JP2015029355A - 機器制御装置、その方法、及び、そのプログラム - Google Patents
機器制御装置、その方法、及び、そのプログラム Download PDFInfo
- Publication number
- JP2015029355A JP2015029355A JP2014212488A JP2014212488A JP2015029355A JP 2015029355 A JP2015029355 A JP 2015029355A JP 2014212488 A JP2014212488 A JP 2014212488A JP 2014212488 A JP2014212488 A JP 2014212488A JP 2015029355 A JP2015029355 A JP 2015029355A
- Authority
- JP
- Japan
- Prior art keywords
- control
- registered
- image feature
- feature amount
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Selective Calling Equipment (AREA)
Abstract
【課題】制御対象機器を簡単に制御でき、ユーザの負担を軽減できる機器制御装置を提供する。【解決手段】取得した画像から制御対象機器100の画像特徴量を認識し、制御対象機器100の画像特徴量と登録機器の画像特徴量との類似度を算出し、前記類似度が類似することを示す場合の画像特徴量に対応した登録機器を、制御対象機器100として特定し、特定された制御対象機器100の制御情報を呼び出し、制御対象機器100を制御する。【選択図】 図1
Description
本実施形態は、機器制御装置、その方法、及び、そのプログラムに関するものである。
エアコン、テレビ、照明器具などの家電機器やその他の機器(以下、「制御対象機器」という)を遠隔制御するための機器制御装置としてマルチリモコンが普及している。しかし、従来のマルチリモコンでは、機器一覧の中から制御する制御対象機器をユーザが選択する必要があり、ユーザの負担が大きかった。
そのため、制御対象機器から発信されるビーコンの情報などを用いて、ユーザが制御したい制御対象機器の特定を行っているマルチリモコンがある。
しかし、上記マルチリモコンに関して、制御対象機器からのビーコンの精度では、制御対象機器と、その近くにある機器との区別ができないという問題点があった。
そこで本実施形態は、上記問題点に鑑み、ユーザが制御対象機器を簡単に制御でき、その負担を軽減できる機器制御装置、その方法、及び、そのプログラムを提供することを目的とする。
本実施形態は、制御を行うために登録する機器である登録機器の識別情報、画像特徴量、制御情報とを対応付けて登録する登録部と、制御を行う対象の機器である制御対象機器が写った画像を取得する画像取得部と、(1)前記画像から前記制御対象機器の前記画像特徴量を認識し、(2)前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量との類似度を算出し、(3)前記類似度が類似することを示す場合の前記画像特徴量に対応した前記登録機器を、前記制御対象機器として特定する認識部と、特定された前記制御対象機器の前記制御情報を前記登録部から呼び出し、前記制御対象機器を制御する制御部と、を有し、前記認識部は、前記登録機器を登録する登録モードにおいて前記画像に写った登録したい機器の前記画像特徴量を認識し、前記登録モードにおいて、(1)複数の前記機器の前記識別情報と前記制御情報とをそれぞれ対応付けた機器一覧から、前記登録したい機器の識別情報を選択し、(2)選択した前記機器の前記識別情報と前記制御情報と、前記登録したい機器の前記画像特徴量とを対応付けて前記登録機器として前記登録部に登録する選択部をさらに有し、前記選択部は、前記認識部における前記類似度が類似することを示さない場合と判断したときに前記登録モードを実行する、機器制御装置である。
一実施形態の機器制御装置10について図面に基づいて説明する。
実施形態1の機器制御装置10について図1から図8に基づいて説明する。
機器制御装置10は、制御対象機器100の登録モードと制御モードの2つのモードを有する。「登録モード」とは、機器の画像を撮像して、この機器を制御対象機器10として登録するモードである。また、「制御モード」とは、画像に写っている制御対象機器100に関する制御情報を予め登録した情報から呼び出し、この制御情報に基づいて制御対象機器100を制御するモードである。なお、図中では、制御対象機器100としてはエアコンで説明する。
機器制御装置10の構成について図1に基づいて説明する。図1は機器制御装置10を示すブロック図である。
機器制御装置10は、撮像部12、操作部14、表示部16、認識部18、選択部20、制御部22、登録部24を有する。機器制御装置10は、例えば、ユーザに対して動画像を提示する液晶パネルなどの表示部16、この表示部16に設けられたタッチパネルである操作部14、動画像を撮像する撮像部12とを、一つの板状のケースに搭載した携帯型端末(例えば、タブレット型携帯端末、スマートフォンなどである)の形態を有している。
撮像部12は、イメージセンサなどの撮像素子を用いて、時系列の画像(動画像)を撮像する。
操作部14は、制御対象機器100の制御時や登録時に、ユーザの入力を処理する。操作部14は、例えば、上記したように表示部16に設けられたタッチパネルである。
表示部16は、液晶パネルなどより構成され、撮像部12で撮像した画像、制御対象機器100の登録時や制御時に必要な制御情報、制御対象機器100の認識状況などを表示する。
認識部18は、制御モードにおいて、撮像部12で撮像された画像中に存在するテレビ、エアコン、照明器具などの制御対象機器100を認識する。認識部18が、画像中に制御対象機器100が存在するか存在しないかを認識するには、画像の画像特徴量を抽出し、抽出した画像特徴量と、登録部25に予め登録されている機器(以下、「登録機器」という)の画像特徴量との類似度を算出し、この類似度が閾値以上か否かで認識する。画像特徴量を抽出する方法としては、例えば、HoG特徴量、SIFT特徴量などのように画素間の輝度差から画像特徴量を抽出する方法がある。
しかし、他の抽出方法としては、図3に示すように、画像の一定領域中の輝度の合計を算出し、領域間の輝度差から画像特徴量を抽出する方法である。この抽出方法であると、画素間の輝度差から画像特徴量を抽出する方法に比べて、制御対象機器100の見え方の変化にロバストになる。領域間の輝度差から画像特徴量を抽出するには、例えば次の方法で抽出する。
第1の処理として、認識部18は、図4に示すように、画像中のサンプリング点Pの周辺から複数の領域A〜Hを選択し、各領域A〜Hの輝度の合計を得る。サンプリング点Pは、図5に示すように、グリッドサンプリングを用いてもよいし、DoG(Difference of Gaussian)の極値を用いてもよい。領域は矩形であって、例えば、サンプリング点Pの上領域A、下領域B、左領域C、右領域D、左上領域E、右上領域F、左下領域G、左下領域Hを選択する。なお、この領域は、機器本体だけでなく、機器の背景の部分にも設定してもよい。
第2の処理として、認識部18は、各領域A〜Hの輝度の合計の重み付き和から、サンプリング点Pの輝度差を得る。各領域A〜Hの輝度の合計の重みは、y方向の輝度差を求める場合は、例えば、サンプリング点Pの上領域Aを2、下領域Bを−2、左領域Cを0、右領域Dを0、左上領域Eを1、右上領域Fを1、左下領域Gを−1、右下領域Hを−1とする。x方向の輝度差を求める場合は、サンプリング点Pの上領域Aを0、下領域Bを0、左領域Cを2、右領域Dを−2、左上領域Eを1、右上領域Fを−1、左下領域Gを1、右下領域Hを−1とする。
第3の処理として、認識部18は、サンプリング点Pの輝度差から、サンプリング点Pの輝度方向を判定する。サンプリング点Pの輝度方向は、上下左右の4方向、斜め4方向を加えた8方向、又は、方向無し(輝度差なし)を加えた5方向(9方向)でもよい。サンプリング点Pの輝度方向の判定は、例えば次の判定方法がある。
第1の判定方法は、x方向の輝度差やy方向の輝度差と0との大小から判定する方法である。
第2の判定方法は、x方向の輝度差とy方向の輝度差との大小から判定する方法である。
第3の判定方法は、x方向の輝度差やy方向の輝度差の絶対値の大きさで判定する方法である。
第4の判定方法は、x方向の輝度差とy方向の輝度差から求めた輝度の角度から判定する方法である。
第5の判定方法は、第1〜第4の判定方法を組み合わせて判定する方法である。
第4の処理として、認識部18は、サンプリング点Pの輝度差方向のヒストグラムを一つ以上作成する。ヒストグラムは次の方法で作成する。
第1の作成方法は、全てのサンプリング点Pから輝度方向のヒストグラムを一つ作成する。
第2の作成方法は、画像を一定領域毎に分割し、各領域内のサンプリング点Pから輝度方向のヒストグラムを作成することで、複数個のヒストグラムを作成する。
第5の処理として、認識部18は、作成したヒストグラムを画像特徴量として抽出する。
認識部18は、抽出した画像特徴量と登録部24に登録されている登録機器の画像特徴量との類似度を、SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、又は、正規化相互相関などを用いて算出する。なお、この類似度は抽出した画像特徴量と登録機器の画像特徴量とが類似するほどに高い値となる。
認識部18は、制御対象機器100の認識状況をユーザに分かりやすく提示するために、制御対象機器100を認識しているときは、図7(a)に示すように表示部16の画像上であって認識された制御対象機器100上に認識マークであるアイコン102を表示する。
また、認識部18は、登録モードにおいて、登録したい機器を撮像部12で撮像した後、この画像から機器の画像特徴量を上記と同様の方法で抽出する。
選択部20は、登録モードにおいて、撮像した機器を登録機器として登録部24に登録するときに、撮像した機器の種類を選択する。登録機器の種類とは、登録機器の識別情報であり、テレビ、エアコンなどの家電機器の型番、又は、製造番号である。
ユーザは、撮像した機器は、図8に示すように機器一覧から選択する。この機器一覧の情報は、機器制御装置10内に予め登録されている。機器一覧は、登録機器の識別情報と制御情報が対応付けて登録されている。制御情報とは、例えば、テレビ、エアコンなどの機器の制御に必要な赤外線や無線通信のパケット内容、又は、制御に必要なボタンやスライドバーに関する制御パネル110の情報である。
選択部20は、機器を選択するときに、撮像した機器の画像を分かりやすくユーザに提示するために、図6に示すように、登録パネル106と登録ボタン107を表示すると共に、撮像部12での撮像を一時停止し、撮像された機器の画像を表示し続ける。
登録部24は、認識部18で抽出した登録したい機器の画像特徴量、選択部20で選択した機器の種類と制御情報を対応付けて、登録機器として登録する。
なお、登録部24は、登録機器の識別情報、画像特徴量、制御情報の一部又は全部を削除でき、また、変更も可能であり、さらに、登録機器に関する画像特徴量と制御情報を新たに加えることもできる。すなわち、ユーザが、図7(b)に示す確認パネル113における登録/変更ボタン113を押し、図7(c)に示すように、登録/変更パネル117における削除ボタン118、変更ボタン119を押して、上記のような変更や削除を行う。
制御部22は、認識部18で認識した制御対象機器100を制御するリモコンとしての役割を行う。すなわち、図7に示すように、認識部18が制御対象機器100を認識しているときに、ユーザによって決定ボタン104が押されると、制御パネル110を表示し、制御部22は、制御対象機器100に対応した登録機器の制御情報を登録部24から呼び出し、その制御パネル110を表示部16に表示し、操作部14の制御に対応した操作を制御対象機器100に対して行う。
画像上に制御対象機器100が複数ある場合は、制御部22は、画像の中心付近の制御対象機器100を制御対象とする。しかし、制御部22は、画像の中から制御対象機器100をユーザが選ぶことができるように選択肢を表示部16に表示してもよい。
制御部22は、制御対象機器100を制御するときに、撮像した制御対象機器100の画像を分かりやすくユーザに提示するために、撮像部12での撮像を一時停止し、撮像された制御対象機器100の画像を表示し続ける。
次に、機器制御装置10の動作状態について、図2と図3のフローチャートに基づいて説明する。
図2に示すように、ステップS001において、ユーザが、機器制御装置10の撮像部12を機器に向けて、この機器を撮像し、表示部16が撮像された機器を表示し、ステップS002に進む。
ステップS002において、認識部18が、撮像した画像から機器の画像特徴量を抽出し、ステップS003に進む。
ステップS003において、認識部18が、抽出した機器の画像特徴量と、登録部24に予め登録されている登録機器の画像特徴量との類似度を算出し、ステップS004に進む。
ステップS004において、認識部18は、類似度が閾値以上の場合(すなわち、類似度が類似することを示す場合)にはステップS014に進んで制御モードに入り(Yの場合、図3に移行)、類似度が閾値未満の場合(すなわち、類似度が類似することを示さない場合)にはステップS005に進み登録モードに入る(Nの場合)。
ステップS005において、登録モードであるため、図6(a)に示すように、選択部20が表示部16に決定ボタン104を表示し、この決定ボタン104がユーザの指により押されればステップS006に進み(Yの場合)、決定ボタン104が押されなければ処理を終了する(Nの場合)。
ステップS006において、図6(a)に示すように、選択部20が、表示部16に表示されている画像を静止させ、ステップS007に進む。
ステップS007において、選択部20は、決定ボタン104を指で押さえているユーザがその指を離せばステップS008に進み(Yの場合)、決定ボタン104を引き続き押した状態であればステップS007を継続する(Nの場合)。
ステップS008において、図6(b)に示すように、選択部20は、確認パネル105を表示した後、図6(c)に示すように登録パネル106を表示部16に表示し、ステップS009に進む。
ステップS009において、選択部20は、登録パネル106中の登録ボタン107が押されればステップS010に進み(Yの場合)、登録ボタン107が押されていなければステップS009を継続する。
ステップS010において、選択部20は、機器一覧を取得して、図8に示すように表示部16に機器一覧を表示し、ステップS011に進む。
ステップS011において、選択部20が表示した機器一覧の中からユーザが登録したい画像中の機器を選択すると、ステップS012に進む。
ステップS012において、選択部20は、撮像した機器の画像特徴量と、選択した機器の種類と制御情報を関連付けて登録機器として、登録部24に登録し、ステップS013に進む。
ステップS013において、選択部20は、撮像部12を用いて画像の撮像を再開して表示部16に表示し、登録モードを終了する。
図3に示すように、ステップS014において、制御モードであるため、制御部22は、図7(a)に示すように、表示部16に表示している制御対象機器100上にアイコン104を重畳表示し、また、決定ボタン104も表示する。そしてステップS015に進む。
ステップS015において、制御部22は、ユーザによって決定ボタン104が押されればステップS016に進み(Yの場合)、決定ボタン104が押されなければ制御モードを終了する(Nの場合)。
ステップS016において、制御部22は、表示部16で表示している画像を静止させ、ステップS017に進む。
ステップS017において、ユーザが決定ボタン104から指を離せばステップS018に進み(Yの場合)、決定ボタン104から離さなければステップS017を継続する。
ステップS018において、制御部22は、認識部18が認識した制御対象機器100の中で最も画像の中心付近の制御対象機器100を特定し、ステップS019に進む。
ステップS019において、制御部22は、図7(b)に示すように、特定した制御対象機器100の制御パネル110を表示部16に表示する。この場合に、制御対象機器100の種類と制御情報は、類似度が閾値以上の登録機器が登録部24に登録されているため、この登録機器に関する種類と制御情報を登録部24から呼び出し、制御パネル110を表示する。そしてステップS020に進む。
ステップS020において、制御部22は、ユーザによって制御パネル110の操作ボタン111が押されればステップS021に進み(Yの場合)、操作ボタン111が押されなければステップS024に進む(Nの場合)。
ステップS021において、制御対象機器100の操作ボタン111が押されたため、制御部22は、その制御内容に従って制御を行いステップS022に進む。
ステップS022において、制御部22は、制御パネル110の終了ボタン112が押されればステップS023に進み(Yの場合)、終了ボタン112が押されなければステップS021に戻る。
ステップS023において、制御部22は、撮像部12を用いて画像の撮像を再開して表示部16に表示し、制御モードを終了する。
ステップS024において、制御部22は、終了ボタン112が押されれば終了し、終了ボタン112が押されなければステップS020に戻る。
本実施形態によると、制御対象機器100を機器制御装置10で撮像するだけで、簡単に制御対象機器100を登録、及び、制御ができ、ユーザの負担を軽減できる。
実施形態2の機器制御装置10について図9から図10に基づいて説明する。
本実施形態の機器制御装置10と、実施形態1の機器制御装置10の異なる点は、制御部22の機能にある。本実施形態の制御部22は、認識部18で認識した制御対象機器100の制御に加えて、その制御対象機器100の関連情報を取得することができる。
制御対象機器100の「関連情報」とは、例えば、テレビで放送されている番組の概要、出演者の詳細、出演者の着ている服のブランド名、テレビで紹介されている店の場所、又は、テレビで紹介されている商品の購入方法などである。この関連情報は、テレビのEPG情報から収集してもよいし、ネットワークにアップロードされているWeb画面から収集してもよい。
本実施形態の機器制御装置10の動作状態について図10のフローチャートに基づいて説明する。
実施形態1と同様に、ユーザが図9(a)に示すように機器制御装置10を制御対象機器100にかざして、この機器を撮像して、次に、図9(b)に示すように、機器制御装置10が、この撮像した機器を認識した後に画像の左上に認識している制御対象機器100を示すアイコン102を表示し制御モードに入る。この制御モードにおけるステップS001〜S023までの処理は、実施形態1と同様であるため、その説明は省略する。
ステップS124において、制御部22は、操作ボタン111が押されず、制御パネル110中の情報表示ボタン114が押されればステップS025に進み、情報表示ボタン114が押されなければステップS028に進む(図9(c)参照)。
ステップS125において、情報表示ボタン114が押されたため制御部22は、制御パネル110の代わりに情報表示メニュー115を表示し、ステップS026に進む(図9(d)参照)。
ステップS126において、制御部22は、情報表示メニュー115の中のメニューボタン(例えば、「服が気になるボタン」である)116が押されればステップS027に進み、メニューボタン116が押されなければステップS026を継続する。
ステップS127において、制御部22は、押されたボタン116に関する表示部16にWeb画面(関連情報)121を表示して終了する(図9(e)参照)。
ステップS128において、操作ボタン111も押されず、情報表示ボタン114も押されないため、制御部22は終了ボタン112が押されたか否かを判断し、終了ボタン112が押されればステップS129に進み、終了ボタン112が押されない場合にはステップS020に戻る。
ステップS129において、制御部22は、撮像部12を用いて画像の撮像を再開して表示部16に表示し、終了する。
本実施形態によると、制御対象機器100を機器制御装置10で撮像するだけで、簡単に制御対象機器100を登録、及び、制御ができ、その上、関連情報を簡単に取得でき、ユーザの負担を軽減できる。
実施形態3の機器制御装置10について説明する。
本実施形態の機器制御装置10の認識部18は、画像特徴量による類似度の算出に加えて、機器制御装置10に内蔵された加速度センサやジャイロセンサの情報を用いる。これにより、制御対象機器100や登録機器の認識精度を向上することができる。
例えば、認識部18が、登録モードにおける登録機器の登録時の加速度センサやジャイロセンサの値と、制御モードにおける制御対象機器100の認識時の加速度センサやジャイロセンサの値とを比較し、これらセンサのセンサ類似度が閾値以下であれば、画像特徴量から求めた類似度にかかわらず、画像中に機器が存在しないと判断する。
上記センサ類似度としては、SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、又は、正規化相互相関などを用いて算出する。
例えば、機器制御装置10が3軸の加速度センサを有している場合、認識部18は、3軸の加速度センサの値全てを用いてセンサ類似度を算出してもよいし、一部の値のみを用いて類似度を算出する。
また、認識部18は、画像特徴量から算出した類似度と、センサ類似度とを重み付き加算した値が閾値以上である場合、画像中に機器が存在すると判定し、閾値未満の場合、画像中に機器が存在しないと認識してもよい。
実施形態4の機器制御装置10について説明する。
本実施形態では、ユーザが機器制御装置10を操作しているとき以外は、画像の撮像や認識処理を行わないことで機器制御装置10の使用電力を抑制する。
例えば、機器制御装置10に内蔵された加速度センサやジャイロセンサを使って、機器制御装置10の操作状態を判断できる。機器制御装置10を床やクレイドルに置いた時のセンサの値と、現時点のセンサの値とのセンサ類似度が閾値以上であれば、ユーザは機器制御装置10を操作していないと判断し、閾値未満であれば、ユーザは機器制御装置10を操作していると判断できる。
なお、現時点のセンサの値ではなく、過去数秒間のセンサの値の平均から類似度を算出すれば、より安定した操作状態の認識が可能になる。
まず、上記実施形態の変更例1について説明する。
上記実施形態では、認識部22が、(1)制御対象機器100の画像特徴量と登録機器の画像特徴量から類似度を算出し、(2)この類似度が閾値より高い場合であっても、制御対象機器100とは異なる登録機器を誤認識する場合がある。
そこで本変更例では、登録部24は、誤認識した画像特徴量を登録機器に対応づけて登録し、新たな制御対象機器100の画像特徴量と登録機器の画像特徴量から新たな類似度を算出する場合に、誤認識した画像特徴量を認識部22に出力しないようにする。これにより、認識部22による誤認識を減らすことができる。なお、誤認識したか否かは、図7(c)に示すように、登録/変更パネル117における誤認識報告120をユーザが押すことにより誤認識であることとする。
次に、上記実施形態の変更例2について説明する。上記実施形態では、登録したい機器は、図8に示すように、機器一覧から選択してが、これに代えてビーコンや無線通信などを用いて機器の種類を特定してもよい。
次に、上記実施形態の変更例3について説明する。上記実施形態では、機器一覧の情報は、機器制御装置10内に予め格納されていたが、ネットワークにアップロードされている機器一覧の情報をダウンロードしてもよいし、周辺の機器との無線通信によって取得してもよい。
なお、機器制御装置10は、例えば、汎用のコンピュータを基本ハードウェアとして用いることでも実現することが可能である。すなわち、撮像部12、操作部14、表示部16、認識部18、選択部20、制御部22、登録部24は、上記のコンピュータに搭載されたプロセッサにプログラムを実行させることにより実現できる。このとき、機器制御装置10は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、CD−ROMなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。例えば、機器制御装置10が、スマートフォンであって、このスマートフォンに上記プログラムをサーバから配信してもよい。
上記では本発明の一実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の主旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10・・・機器制御装置、12・・・撮像部、14・・・操作部、16・・・表示部、18・・・認識部、20・・・選択部、22・・・制御部、24・・・登録部
Claims (8)
- 制御を行うために登録する機器である登録機器の識別情報、画像特徴量、制御情報とを対応付けて登録する登録部と、
制御を行う対象の制御対象機器が写った画像を取得する画像取得部と、
(1)前記画像から前記制御対象機器の前記画像特徴量を認識し、(2)前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量との類似度を算出し、(3)前記類似度が類似することを示す場合の前記画像特徴量に対応した前記登録機器を、前記制御対象機器として特定する認識部と、
特定された前記制御対象機器の前記制御情報を前記登録部から呼び出し、前記制御対象機器を制御する制御部と、
を有し、
前記認識部は、前記登録機器を登録する登録モードにおいて前記画像に写った登録したい機器の前記画像特徴量を認識し、
前記登録モードにおいて、(1)複数の前記機器の前記識別情報と前記制御情報とをそれぞれ対応付けた機器一覧から、前記登録したい機器の識別情報を選択し、(2)選択した前記機器の前記識別情報と前記制御情報と、前記登録したい機器の前記画像特徴量とを対応付けて前記登録機器として前記登録部に登録する選択部をさらに有し、
前記選択部は、前記認識部における前記類似度が類似することを示さない場合と判断したときに前記登録モードを実行する、
機器制御装置。 - 前記認識部は、前記画像中の認識した前記制御対象機器上に認識マークを重畳して表示する、
請求項1に記載の機器制御装置。 - 前記登録部は、前記登録機器の前記識別情報、前記画像特徴量、又は、前記制御情報の一部又は全部を削除する、
請求項1又は2に記載の機器制御装置。 - 前記登録部は、前記登録機器の前記画像特徴量、又は、前記制御情報を変更する、
請求項1乃至3のいずれか一項に記載の機器制御装置。 - 前記登録部は、前記登録機器に関する前記画像特徴量と前記制御情報を新たに加える、
請求項1乃至4のいずれか一項に記載の機器制御装置。 - 前記登録部は、前記機器の画像特徴量に加えて、前記機器の背景の前記画像特徴量も登録する、
請求項1乃至5のいずれか一項に記載の機器制御装置。 - 制御を行うために登録する機器である登録機器の識別情報、画像特徴量、制御情報とを対応付けて登録部に登録する登録ステップと、
制御を行う対象の機器である制御対象機器が写った画像を取得する画像取得ステップと、
(1)前記画像から前記制御対象機器の前記画像特徴量を認識し、(2)前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量との類似度を算出し、(3)前記類似度が類似することを示す場合の前記画像特徴量に対応した前記登録機器を、前記制御対象機器として特定する認識ステップと、
特定された前記制御対象機器の前記制御情報を前記登録部から呼び出し、前記制御対象機器を制御する制御ステップと、
を有し、
前記認識ステップにおいて、前記登録機器を登録する登録モードにおいて前記画像に写った登録したい機器の前記画像特徴量を認識し、
前記登録モードにおいて、(1)複数の前記機器の前記識別情報と前記制御情報とをそれぞれ対応付けた機器一覧から、前記登録したい機器の識別情報を選択し、(2)選択した前記機器の前記識別情報と前記制御情報と、前記登録したい機器の前記画像特徴量とを対応付けて前記登録機器として前記登録部に登録する選択ステップをさらに有し、
前記選択ステップにおいて、前記認識部における前記類似度が類似することを示さない場合と判断したときに前記登録モードを実行する、
機器制御方法。 - 制御を行うために登録する機器である登録機器の識別情報、画像特徴量、制御情報とを対応付けて登録部に登録する登録機能と、
制御を行う対象の機器である制御対象機器が写った画像を取得する画像取得機能と、
(1)前記画像から前記制御対象機器の前記画像特徴量を認識し、(2)前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量との類似度を算出し、(3)前記類似度が類似することを示す場合の前記画像特徴量に対応した前記登録機器を、前記制御対象機器として特定する認識機能と、
特定された前記制御対象機器の前記制御情報を前記登録部から呼び出し、前記制御対象機器を制御する制御機能と、
をコンピュータによって実現させ、
前記認識機能において、前記登録機器を登録する登録モードにおいて前記画像に写った登録したい機器の前記画像特徴量を認識し、
前記登録モードにおいて、(1)複数の前記機器の前記識別情報と前記制御情報とをそれぞれ対応付けた機器一覧から、前記登録したい機器の識別情報を選択し、(2)選択した前記機器の前記識別情報と前記制御情報と、前記登録したい機器の前記画像特徴量とを対応付けて前記登録機器として前記登録部に登録する選択機能をさらに有し、
前記選択機能において、前記認識部における前記類似度が類似することを示さない場合と判断したときに前記登録モードを実行する、
機器制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014212488A JP2015029355A (ja) | 2014-10-17 | 2014-10-17 | 機器制御装置、その方法、及び、そのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014212488A JP2015029355A (ja) | 2014-10-17 | 2014-10-17 | 機器制御装置、その方法、及び、そのプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011248913A Division JP5734810B2 (ja) | 2011-11-14 | 2011-11-14 | 機器制御装置、その方法、及び、そのプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015029355A true JP2015029355A (ja) | 2015-02-12 |
Family
ID=52492693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014212488A Pending JP2015029355A (ja) | 2014-10-17 | 2014-10-17 | 機器制御装置、その方法、及び、そのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015029355A (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006155329A (ja) * | 2004-11-30 | 2006-06-15 | Toshiba Corp | 機器の制御方法及び装置 |
JP2009100217A (ja) * | 2007-10-16 | 2009-05-07 | Canon Inc | ネットワーク機器判別管理システム及び判別管理方法 |
JP2009206920A (ja) * | 2008-02-28 | 2009-09-10 | Nikon Corp | カメラ |
JP2011138387A (ja) * | 2009-12-28 | 2011-07-14 | Canon Inc | オブジェクト識別装置及びその制御方法 |
WO2011086956A1 (ja) * | 2010-01-18 | 2011-07-21 | 日本電気株式会社 | 情報端末機器、情報端末機器による操作方法及びプログラム |
-
2014
- 2014-10-17 JP JP2014212488A patent/JP2015029355A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006155329A (ja) * | 2004-11-30 | 2006-06-15 | Toshiba Corp | 機器の制御方法及び装置 |
JP2009100217A (ja) * | 2007-10-16 | 2009-05-07 | Canon Inc | ネットワーク機器判別管理システム及び判別管理方法 |
JP2009206920A (ja) * | 2008-02-28 | 2009-09-10 | Nikon Corp | カメラ |
JP2011138387A (ja) * | 2009-12-28 | 2011-07-14 | Canon Inc | オブジェクト識別装置及びその制御方法 |
WO2011086956A1 (ja) * | 2010-01-18 | 2011-07-21 | 日本電気株式会社 | 情報端末機器、情報端末機器による操作方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5734810B2 (ja) | 機器制御装置、その方法、及び、そのプログラム | |
EP2453384B1 (en) | Method and apparatus for performing gesture recognition using object in multimedia device | |
KR101444407B1 (ko) | 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법 | |
KR101603017B1 (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
US9007400B2 (en) | Image processing device, image processing method and computer-readable medium | |
US10445887B2 (en) | Tracking processing device and tracking processing system provided with same, and tracking processing method | |
US9436290B2 (en) | Display device and operating method thereof | |
JP5617246B2 (ja) | 画像処理装置、物体選択方法及びプログラム | |
US20120119985A1 (en) | Method for user gesture recognition in multimedia device and multimedia device thereof | |
US9965041B2 (en) | Input device, apparatus, input method, and recording medium | |
US9557821B2 (en) | Gesture recognition apparatus and control method of gesture recognition apparatus | |
CN110456829B (zh) | 定位跟踪方法、装置及计算机可读存储介质 | |
US20170075427A1 (en) | Apparatus and method for remote control using camera-based virtual touch | |
KR20150112708A (ko) | 디스플레이 장치 및 그의 동작 방법 | |
JP6422118B2 (ja) | 表示システム、情報処理装置、及び表示方法 | |
JP2017208702A (ja) | 情報処理装置及びその制御方法、撮影システム | |
JP2015219879A (ja) | 画像認識システム、画像認識方法およびプログラム | |
TWI451344B (zh) | 手勢辨識系統及手勢辨識方法 | |
CN107862852B (zh) | 基于位置匹配的适配多种设备的智能遥控装置及控制方法 | |
US20140145951A1 (en) | Display device and cursor controlling method thereof | |
TW202001783A (zh) | 影像分析方法、電子系統以及非暫態電腦可讀取記錄媒體 | |
JP2015029355A (ja) | 機器制御装置、その方法、及び、そのプログラム | |
CN105138122B (zh) | 一种通过识别手势遥控屏幕设备的方法 | |
CN106331809A (zh) | 电视控制方法和电视控制系统 | |
JP2013149034A5 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151201 |