JP5617246B2 - 画像処理装置、物体選択方法及びプログラム - Google Patents

画像処理装置、物体選択方法及びプログラム Download PDF

Info

Publication number
JP5617246B2
JP5617246B2 JP2010004170A JP2010004170A JP5617246B2 JP 5617246 B2 JP5617246 B2 JP 5617246B2 JP 2010004170 A JP2010004170 A JP 2010004170A JP 2010004170 A JP2010004170 A JP 2010004170A JP 5617246 B2 JP5617246 B2 JP 5617246B2
Authority
JP
Japan
Prior art keywords
image
image processing
processing apparatus
unit
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010004170A
Other languages
English (en)
Other versions
JP2011146796A5 (ja
JP2011146796A (ja
Inventor
福地　正樹
正樹 福地
松田　晃一
晃一 松田
周藤　泰広
泰広 周藤
堅一郎 多井
堅一郎 多井
晶晶 郭
晶晶 郭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2010004170A priority Critical patent/JP5617246B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP10196760.2A priority patent/EP2343882B1/en
Priority to US12/983,424 priority patent/US8345925B2/en
Priority to KR20110000456A priority patent/KR20110083509A/ko
Priority to CN201110006622.1A priority patent/CN102129290B/zh
Publication of JP2011146796A publication Critical patent/JP2011146796A/ja
Priority to US13/670,750 priority patent/US8548199B2/en
Publication of JP2011146796A5 publication Critical patent/JP2011146796A5/ja
Priority to US14/014,785 priority patent/US8744130B2/en
Priority to US14/190,321 priority patent/US9014431B2/en
Application granted granted Critical
Publication of JP5617246B2 publication Critical patent/JP5617246B2/ja
Priority to US14/657,431 priority patent/US9288423B2/en
Priority to US15/052,335 priority patent/US9778735B2/en
Priority to US15/711,198 priority patent/US10386917B2/en
Priority to US16/521,015 priority patent/US10908676B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4108—Peripherals receiving signals from specially adapted client devices characterised by an identification number or address, e.g. local network address
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H04N21/42209—Display device provided on the remote control for displaying non-command information, e.g. electronic program guide [EPG], e-mail, messages or a second television channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/20—Binding and programming of remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42226—Reprogrammable remote control devices

Description

本発明は、画像処理装置、物体選択方法及びプログラムに関する。
家庭内又はオフィス内においてユーザが操作すべき電子機器は年々増加している。また、１つの電子機器が有する機能も多様化している。そのため、これら電子機器を操作するユーザの負担は大きくなっている。そこで、１つの遠隔制御装置を用いて複数の電子機器を操作することを可能にする技術の開発が進められている。しかし、遠隔制御機能を１つの装置に集約する場合には、遠隔操作が可能な被制御機器がユーザの位置する環境内に複数存在する際に、ユーザがいずれの機器を操作しようとしているのかを特定する手段が提供されることが求められる。
例えば、下記特許文献１は、音声認識技術を応用し、ユーザの発する音声から遠隔制御の対象機器及び制御内容を認識する遠隔制御装置を提案している。
特開平１１−３４５０２４号公報
しかしながら、音声から遠隔制御の対象機器及び制御内容を認識しようとすると、同じ種類の機器が複数存在する場合に、個々の機器を互いに区別することが煩雑となる。例えば、リビングとリビングに隣接する部屋とにそれぞれテレビが存在する場合、「リビングの」「小さい方の」「テレビ」などのように修飾語を付さなければ、意図するテレビを適切に指定することができない。また、対象機器を指定する語が認識されなかったときには、ユーザが１つのテレビのスイッチをオフにしようとしたにも関わらず他の機器（他のテレビ又は他の種類の機器）のスイッチまでオフになってしまう恐れがある。
また、例えば、ユーザのジェスチャから遠隔制御の対象機器等を認識することも考えられるが、ジェスチャのみでは、ユーザの視線上で重なる位置にある（又は互いに近傍に位置する）複数の機器を互いに区別することが難しい。
そこで、本発明は、複数の電子機器を互いに区別して遠隔制御の対象として容易に選択することのできる、新規かつ改良された画像処理装置、物体選択方法及びプログラムを提供しようとするものである。
ある実施形態によれば、実空間を映した入力画像を用いて生成される環境マップであって前記実空間内に存在する１つ以上の物体の位置を表現する当該環境マップに含まれる物体のうち、操作可能な物体を識別するための物体識別データに基づいて操作可能であると認識される少なくとも１つの物体を、ユーザによる操作の対象の候補である候補物体として選択する選択部、を含む画像処理装置が提供される。
また、上記入力画像は、上記実空間を撮影する撮像装置から取得され、上記画像処理装置は、上記選択部により選択された上記候補物体の画面上での位置をユーザに認識させるための出力画像を上記入力画像から生成し、生成した当該出力画像を表示装置へ出力する画像出力部、をさらに備えてもよい。
また、上記出力画像内の各候補物体の位置は、上記環境マップ及び上記撮像装置の位置を表す撮像位置データに基づいて計算されてもよい。
また、上記画像処理装置は、上記候補物体のうち操作すべき物体をユーザに指定させるためのユーザインタフェース、をさらに備えてもよい。
また、上記ユーザインタフェースは、上記候補物体のうちユーザ入力が検知された時に上記出力画像の中央又は当該中央の近傍に位置している物体を上記操作すべき物体として決定してもよい。
また、上記ユーザインタフェースは、上記候補物体のうちユーザ入力が検知された時に複数の上記候補物体が上記出力画像の中央に位置している場合には、上記出力画像内での大きさが最も小さい上記候補物体を上記操作すべき物体として決定してもよい。
また、上記画像出力部は、上記画面上で各候補物体を囲む枠を、各物体の３次元的な形状を表す形状データに基づいて生成し、生成した当該枠を上記入力画像に重畳することにより上記出力画像を生成してもよい。
また、上記画像処理装置は、上記撮像装置及び上記表示装置をさらに備え、上記撮像装置の撮像面と上記表示装置の画面とは、互いに反対方向に向けて配置されてもよい。
また、別の実施形態によれば、画像処理装置により実行される画像処理方法において、
実空間を映した入力画像を用いて生成される環境マップであって前記実空間内に存在する１つ以上の物体の位置を表現する当該環境マップに含まれる物体のうち、操作可能な物体を識別するための物体識別データに基づいて操作可能であると認識される少なくとも１つの物体を、ユーザによる操作の対象の候補である候補物体として選択すること、を含む画像処理方法が提供される。
また、別の実施形態によれば、画像処理装置を制御するコンピュータを、実空間を映した入力画像を用いて生成される環境マップであって前記実空間内に存在する１つ以上の物体の位置を表現する当該環境マップに含まれる物体のうち、操作可能な物体を識別するための物体識別データに基づいて操作可能であると認識される少なくとも１つの物体を、ユーザによる操作の対象の候補である候補物体として選択する選択部、として機能させるための、プログラムが提供される。
以上説明したように、本発明に係る画像処理装置、物体選択方法及びプログラムによれば、複数の電子機器を互いに区別して遠隔制御の対象として容易に選択することができる。
一実施形態に係る画像処理装置の概要を説明するための模式図である。 一実施形態に係る画像処理装置の構成の一例を示すブロック図である。 一実施形態に係る環境マップ生成部の詳細な構成の一例を示すブロック図である。 一実施形態に係る自己位置検出処理の流れの一例を示すフローチャートである。 オブジェクト上に設定される特徴点について説明するための説明図である。 特徴点の追加について説明するための説明図である。 予測モデルの一例について説明するための説明図である。 特徴データの構成の一例について説明するための説明図である。 一実施形態に係るオブジェクト認識処理の流れの一例を示すフローチャートである。 物体識別データの構成の一例について説明するための説明図である。 一実施形態に係る機器認識処理の流れの一例を示すフローチャートである。 一実施形態に係る候補物体選択処理の流れの一例を示すフローチャートである。 一実施形態に係る画像出力部により生成される出力画像の一例を示す説明図である。 一実施形態に係る画像出力部により生成される出力画像の他の例を示す説明図である。 一実施形態に係る画像出力部により生成される出力画像のまた別の例を示す説明図である。 一実施形態に係る画像出力部により生成される出力画像のさらに別の例を示す説明図である。 一実施形態に係る画像出力部により生成される出力画像のさらに別の例を示す説明図である。 一実施形態に係る画像出力部により生成される出力画像のさらに別の例を示す説明図である。 汎用コンピュータのハードウェア構成の一例を示すブロック図である。 一変形例に係る画像処理装置の構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．一実施形態に係る画像処理装置の概要
２．一実施形態に係る画像処理装置の構成例
２−１．撮像部
２−２．環境マップ生成部
２−３．環境マップ記憶部
２−４．データ記憶部
２−５．機器認識部
２−６．選択部
２−７．画像出力部
２−８．ユーザインタフェース
２−９．送信部
３．ハードウェア構成
４．まとめ
５．変形例
＜１．一実施形態に係る画像処理装置の概要＞
図１は、本発明の一実施形態に係る画像処理装置の概要を説明するための模式図である。図１には、本発明の一実施形態に係る画像処理装置１００を持つユーザが存在する環境１が示されている。
図１を参照すると、環境１の内部には、物体１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ及び１０ｆを含む複数の物体が存在している。このうち、物体１０ａはテレビ、物体１０ｂはスピーカ、物体１０ｃはＤＶＤプレーヤ、物体１０ｄはプリンタ、物体１０ｅは携帯情報端末、物体１０ｆはテーブルである。これら物体のうち、例えば、物体１０ａ、１０ｂ、１０ｃ及び１０ｄは、遠隔制御され得る被制御機器である。一方、例えば、物体１０ｅ及び１０ｆは、遠隔制御され得ない物体である。
画像処理装置１００は、このような環境１を撮像装置を用いて撮影し、一連の入力画像を取得する。そして、画像処理装置１００は、取得した入力画像に対して後に説明する一実施形態に係る画像処理を実行した後、当該画像処理の結果として出力される画像を画像処理装置１００の画面上に表示する。かかる出力画像は、ユーザにより操作される候補となる候補物体の画面上での位置をユーザに認識させることのできる画像である。
さらに、画像処理装置１００は、好適には、遠隔制御装置としての機能をも有する。画像処理装置１００が遠隔制御装置として機能する際には、ユーザは、画面上に表示される上述した出力画像に基づいて、操作すべき物体を指定することができる。
なお、図１では画像処理装置１００の一例として携帯電話端末を示しているが、画像処理装置１００はかかる例に限定されない。例えば、画像処理装置１００は、撮像装置を備えた携帯情報端末、ゲーム端末、デジタルビデオカメラ又はその他の種類の電子機器であってよい。また、画像処理装置１００は、例えば、視覚としてのカメラを有するロボットなどであってもよい。このような画像処理装置１００の構成の一例について、次節より具体的に説明する。
＜２．一実施形態に係る画像処理装置の構成例＞
図２は、本発明の一実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。図２を参照すると、画像処理装置１００は、撮像部１０２、環境マップ生成部１１０、環境マップ記憶部１２０、データ記憶部１３０、機器認識部１４０、選択部１６０、画像出力部１７０、ユーザインタフェース１８０、及び送信部１９０を備える。
［２−１．撮像部］
撮像部１０２は、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有する撮像装置として実現され得る。撮像部１０２は、図１に例示した環境１などの実空間を撮影することにより生成した画像を、入力画像として、環境マップ生成部１１０、機器認識部１４０、及び画像出力部１７０へ出力する。
［２−２．環境マップ生成部］
環境マップ生成部１１０は、撮像部１０２から入力される入力画像、及びデータ記憶部１３０により記憶されている後述するオブジェクトの特徴データに基づいて、実空間内に存在する１つ以上の物体の位置等を表現する環境マップを生成する。
図３は、本実施形態に係る環境マップ生成部の詳細な構成の一例を示すブロック図である。図３を参照すると、環境マップ生成部１１０は、自己位置検出部１１２、画像認識部１１４、及び構築部１１６を含む。
（１）自己位置検出部
自己位置検出部１１２は、撮像部１０２から入力される入力画像、及びデータ記憶部１３０により記憶されている特徴データに基づいて、入力画像を撮影した撮像装置の位置を動的に検出する。例えば、自己位置検出部１１２は、Andrew J.Davisonによる“Real-Time Simultaneous Localization and Mapping with a Single Camera”（Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410）に記載されているＳＬＡＭ技術を応用することにより、撮像装置が単眼カメラを有する場合にも、当該カメラの位置及び姿勢、並びにカメラの撮像面における特徴点の位置を、フレームごとに動的に決定することができる。
まず、図４を用いて、自己位置検出部１１２によるＳＬＡＭ技術を応用した自己位置検出処理の全体的な流れについて説明する。次に、図５〜図７を用いて、自己位置検出処理の詳細を説明する。
図４は、自己位置検出部１１２によるＳＬＡＭ技術を応用した自己位置検出処理の流れの一例を示すフローチャートである。図４において、自己位置検出処理が開始すると、自己位置検出部１１２は、まず、状態変数を初期化する（ステップＳ１０２）。本実施形態において、状態変数とは、カメラの位置及び姿勢（回転角）、当該カメラの移動速度及び角速度、並びに１つ以上の特徴点の位置を要素として含むベクトルである。そして、自己位置検出部１１２は、撮像部１０２から入力画像を順次取得する（ステップＳ１１２）。ステップ１１２からステップＳ１１８までの処理は、各入力画像について（即ち毎フレーム）繰り返され得る。
ステップＳ１１４では、自己位置検出部１１２は、入力画像に映る特徴点を追跡する。例えば、自己位置検出部１１２は、データ記憶部１３０により予め記憶されている特徴点ごとのパッチ（例えば特徴点を中心とする３×３＝９画素の小画像）を入力画像から検出する。ここで検出されたパッチの位置、即ち特徴点の位置は、後の状態変数の更新の際に用いられる。
ステップＳ１１６では、自己位置検出部１１２は、所定の予測モデルに基づいて、例えば１フレーム後の状態変数の予測値を生成する。また、ステップＳ１１８では、自己位置検出部１１２は、ステップＳ１１６において生成した状態変数の予測値と、ステップＳ１１４において検出した特徴点の位置に応じた観測値とを用いて、状態変数を更新する。自己位置検出部１１２は、ステップＳ１１６及びＳ１１８における処理を、拡張カルマンフィルタの原理に基づいて実行する。
このような処理の結果として、毎フレーム更新される状態変数の値が出力される。以下、特徴点の追跡（ステップＳ１１４）、状態変数の予測（ステップＳ１１６）、状態変数の更新（ステップＳ１１８）の各処理の内容について、より具体的に説明する。
（１−１）特徴点の追跡
本実施形態において、データ記憶部１３０は、実空間内に存在し得る物体に対応するオブジェクトの特徴を表す特徴データを予め記憶している。特徴データには、例えば、各オブジェクトの外観の特徴を表す１つ以上の特徴点についての小画像、即ちパッチ（Patch）が含まれる。パッチとは、例えば、特徴点を中心とする３×３＝９画素よりなる小画像であってよい。
図５は、オブジェクトの２つの例、並びに各オブジェクト上に設定される特徴点（ＦＰ：Feature Point）及びパッチの例を示している。図５の左のオブジェクトは、テレビを表すオブジェクトである（５ａ参照）。当該オブジェクト上には、特徴点ＦＰ１を含む複数の特徴点が設定されている。さらに、特徴点ＦＰ１と関連付けて、パッチＰｔｈ１が定義されている。一方、図５の右のオブジェクトは、丸型テーブルを表すオブジェクトである（５ｂ参照）。当該オブジェクト上には、特徴点ＦＰ２を含む複数の特徴点が設定されている。さらに、特徴点ＦＰ２と関連付けて、パッチＰｔｈ２が定義されている。
自己位置検出部１１２は、撮像部１０２から入力画像を取得すると、入力画像に含まれる部分画像と、データ記憶部１３０に予め記憶されている図５に例示した特徴点ごとのパッチとを照合する。そして、自己位置検出部１１２は、照合の結果として、入力画像に含まれる特徴点の位置（例えば検出されたパッチの中心画素の位置）を特定する。
なお、特徴点の追跡（図４のステップＳ１１４）において、追跡される全ての特徴点に関するデータが予めデータ記憶部１３０に記憶されていなくてもよい。例えば、図６の例では、時刻Ｔ＝ｔ−１において、３つの特徴点が入力画像内で検出されている（６ａ参照）。次に、時刻Ｔ＝ｔにおいてカメラの位置又は姿勢が変化すると、時刻Ｔ＝ｔ−１において入力画像に映っていた３つの特徴点のうち１つのみが入力画像内に映っている。この場合に、自己位置検出部１１２は、入力画像内で特徴的な画素のパターンを有する位置に新たに特徴点を設定し、その新たな特徴点を後のフレームにおける自己位置検出処理に用いてもよい。例えば、図６の例では、時刻Ｔ＝ｔにおいて、５つの新たな特徴点がオブジェクト上に設定されている（６ｂ参照）。かかる点は、ＳＬＡＭ技術の１つの特長であり、それにより、予め全ての特徴点を設定しておくコストを削減できると共に、追加される多数の特徴点を用いて処理の精度を高めることができる。
（１−２）状態変数の予測
本実施形態において、自己位置検出部１１２は、拡張カルマンフィルタを適用すべき状態変数として、次式に示す状態変数Ｘを用いる。
Figure 0005617246
式（１）における状態変数Ｘの第１の要素は、次式の通り、実空間に設定される座標系である世界座標系（ｘ，ｙ，ｚ）でのカメラの３次元位置を表す。
Figure 0005617246
また、状態変数の第２の要素は、カメラの姿勢を表す回転行列に対応する四元数（クォータニオン）を要素として有する４次元ベクトルωである。なお、四元数の変わりにオイラー角を用いてカメラの姿勢が表されてもよい。また、状態変数の第３及び第４の要素は、カメラの移動速度及び角速度をそれぞれ表す。
さらに、状態変数の第５及びそれ以降の要素は、次式の通り、世界座標系での特徴点ＦＰｉ（ｉ＝１…Ｎ）の３次元位置ｐｉをそれぞれ表す。なお、上述したように、特徴点の数Ｎは、処理の間変化し得る。
Figure 0005617246
自己位置検出部１１２は、ステップＳ１０２において初期化された状態変数Ｘの値、又は前フレームにおいて更新された状態変数Ｘの値に基づいて、最新のフレームについての状態変数の予測値を生成する。状態変数の予測値は、次式に示す多次元正規分布に従った拡張カルマンフィルタの状態方程式に従って生成される。
Figure 0005617246
ここで、Ｆはシステムの状態遷移に関する予測モデル、ａは予測条件である。また、ｗはガウシアンノイズであり、例えばモデル近似誤差や観測誤差等を含み得る。一般的に、ガウシアンノイズｗの平均はゼロとなる。
図７は、本実施形態に係る予測モデルの一例について説明するための説明図である。図７を参照すると、本実施形態に係る予測モデルにおける２つの予測条件が示されている。まず、第１の条件として、特徴点の世界座標系における３次元位置は変化しないものとする。即ち、時刻Ｔにおける特徴点ＦＰｋの３次元位置をｐＴとすると、次式の関係が成立する。
Figure 0005617246
次に、第２の条件として、カメラの運動は等速運動であるものとする。即ち、時刻Ｔ＝ｔ−１から時刻Ｔ＝ｔにかけてのカメラの速度及び角速度について、次式の関係が成立する。
Figure 0005617246
このような予測モデル及び式（４）に示した状態方程式に基づいて、自己位置検出部１１２は、最新のフレームについての状態変数の予測値を生成する。
（１−３）状態変数の更新
そして、自己位置検出部１１２は、観測方程式を用いて、例えば状態変数の予測値から予測される観測情報と、特徴点の追跡結果として得られる実際の観測情報との誤差を評価する。なお、式（８）におけるνがその誤差である。
Figure 0005617246
ここで、Ｈは観測モデルを表す。例えば、特徴点ＦＰｉの撮像面（ｕ−ｖ平面）上の位置を、次式のように定義する。
Figure 0005617246
ここで、カメラの位置ｘ、カメラの姿勢ω、及び特徴点ＦＰｉの３次元位置ｐｉは、いずれも状態変数Ｘの要素として与えられる。そうすると、ピンホールモデルに従い、特徴点ＦＰｉの撮像面上の位置は次式を用いて導かれる。
Figure 0005617246
ここで、λは正規化のためのパラメータ、Ａはカメラ内部パラメータ、Ｒωは状態変数Ｘに含まれるカメラの姿勢を表す四元数ωに対応する回転行列である。カメラ内部パラメータＡは、入力画像を撮影する撮像装置の特性に応じて、予め次式のように与えられる。
Figure 0005617246
ここで、ｆは焦点距離、θは画像軸の直交性（理想値は９０°）、ｋｕは撮像面の縦軸のスケール（世界座標系から撮像面の座標系へのスケール変化率）、ｋｖは撮像面の横軸のスケール、（ｕｏ，ｖｏ）は撮像面の中心位置である。
従って、式（１１）を用いて導かれる予測される観測情報、即ち各特徴点の撮像面上の位置と、図４のステップＳ１１４における特徴点の追跡結果との間の誤差を最小にする状態変数Ｘを探索することにより、尤もらしい最新の状態変数Ｘを得ることができる。
Figure 0005617246
自己位置検出部１１２は、このようにＳＬＡＭ技術を応用して動的に更新したカメラ（撮像装置）の位置ｘ及び姿勢ωを、構築部１１６及び機器認識部１４０へ出力する。
（２）画像認識部
画像認識部１１４は、データ記憶部１３０により記憶されている特徴データを用いて、入力画像に映っている物体がそれぞれどのオブジェクトに対応するかを特定する。そこで、まず、データ記憶部１３０により記憶されている特徴データについて説明する。
（２−１）特徴データ
図８は、特徴データの構成の一例について説明するための説明図である。図８を参照すると、オブジェクトの一例である物体１０ｇについての特徴データＦＤ１が示されている。特徴データＦＤ１は、オブジェクト識別子（ＩＤ：Identifier）ＦＤ１１、６方向から撮影した画像データＦＤ１２、パッチデータＤＦ１３、３次元形状データＦＤ１４、及びオントロジーデータＦＤ１５を含む。
オブジェクト識別子ＦＤ１１は、物体１０ｇを一意に特定するための文字列である。図８の例では、オブジェクト識別子ＦＤ１１は、“ＴＶ００”である。
画像データＦＤ１２は、例えば、対応するオブジェクトを前・後・左・右・上・下の６方向からそれぞれ撮影した６つの画像データを含む。パッチデータＦＤ１３は、各オブジェクト上に設定される１つ以上の特徴点ごとの、各特徴点を中心とする小画像の集合である。画像データＦＤ１２及びパッチデータＦＤ１３は、後述する画像認識部１１４によるオブジェクト認識処理のために使用され得る。また、パッチデータＦＤ１３は、前述した自己位置検出部１１２による自己位置検出処理のために使用され得る。
３次元形状データＦＤ１４は、対応するオブジェクトの形状を認識するためのポリゴン情報、及び特徴点の３次元的な位置情報を含む。３次元形状データＦＤ１４は、後述する構築部１１６による環境マップ構築処理、及び画像出力部１７０による出力画像生成処理のために使用され得る。
オントロジーデータＦＤ１５は、例えば、構築部１１６による環境マップ構築処理を支援するために使用され得るデータである。図８の例では、オントロジーデータＦＤ１５は、テレビである物体１０ｇが、テレビ台又は床に対応するオブジェクトに接する可能性が高いこと、及び本棚に対応するオブジェクトに接する可能性が低いことを表している。
（２−２）オブジェクト認識処理
図９は、画像認識部１１４によるオブジェクト認識処理の流れの一例を示すフローチャートである。図９を参照すると、まず、画像認識部１１４は、撮像部１０２から入力画像を取得する（ステップＳ２１２）。次に、画像認識部１１４は、入力画像に含まれる部分画像と、特徴データに含まれる各オブジェクトの１つ以上の特徴点のパッチとを照合し、入力画像に含まれる特徴点を抽出する（ステップＳ２１４）。なお、画像認識部１１４によるオブジェクト認識処理に用いられる特徴点と、自己位置検出部１１２による自己位置検出処理に用いられる特徴点とは、必ずしも同じでなくてもよい。但し、双方の処理で用いられる特徴点が共通している場合には、画像認識部１１４は、自己位置検出部１１２による特徴点の追跡結果を再利用してもよい。
次に、画像認識部１１４は、特徴点の抽出結果に基づいて、入力画像に映っているオブジェクトを特定する（ステップＳ２１６）。例えば、画像認識部１１４は、ある領域内で１つのオブジェクトに属す特徴点が高い密度で抽出された場合には、当該領域にそのオブジェクトが映っていると認識し得る。そして、画像認識部１１４は、特定したオブジェクトのオブジェクト識別子及びそのオブジェクトに属す特徴点の撮像面上の位置を、構築部１１６へ出力する（ステップＳ２１８）。
（３）環境マップ構築部
構築部１１６は、自己位置検出部１１２から入力されるカメラの位置及び姿勢、画像認識部１１４から入力される特徴点の撮像面上の位置、及びデータ記憶部１３０に記憶されている特徴データを用いて、環境マップを生成する。本明細書において、環境マップとは、実空間内に存在する１つ以上の物体の位置（及び姿勢）を表現するデータの集合である。環境マップには、例えば、物体に対応するオブジェクト識別子、当該物体に属す特徴点の３次元位置、及び当該物体の形状を構成するポリゴン情報などが含まれ得る。環境マップは、例えば、画像認識部１１４から入力される特徴点の撮像面上の位置から、上述したピンホールモデルに従って各特徴点の３次元位置を求めることにより構築され得る。
式（１１）に示したピンホールモデルの関係式を変形すると、特徴点ＦＰｉの世界座標系における３次元位置ｐｉは、次式により求められる。
Figure 0005617246
ここで、ｄはカメラと各特徴点との間の世界座標系における距離を表す。構築部１１６は、かかる距離ｄを、オブジェクトごとに少なくとも４つの特徴点の撮像面上の位置、及び当該特徴点間の距離に基づいて、算出することができる。特徴点間の距離は、図８を用いて説明した特徴データに含まれる３次元形状データＦＤ１４として、予めデータ記憶部１３０により記憶されている。なお、式（１４）における距離ｄの算出処理については、特開２００８−３０４２６８号公報において詳しく説明されている。
距離ｄが算出されると、式（１４）における右辺の残りの変数は、自己位置検出部１１２から入力されるカメラの位置及び姿勢、並びに画像認識部１１４から入力される特徴点の撮像面上の位置であり、いずれも既知となる。そこで、構築部１１６は、式（１４）に従って、画像認識部１１４から入力される各特徴点について、世界座標系における３次元位置を計算する。そして、構築部１１６は、算出した特徴点ごとの３次元位置に応じて最新の環境マップを構築し、構築した環境マップを環境マップ記憶部１２０へ出力する。なお、このとき、構築部１１６は、図８を用いて説明した特徴データに含まれるオントロジーデータＦＤ１５を用いて、環境マップのデータの正確性を向上させてもよい。
［２−３．環境マップ記憶部］
環境マップ記憶部１２０は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、環境マップ生成部１１０の構築部１１６により構築される上述した環境マップを記憶する。さらに、環境マップ記憶部１２０は、環境マップ生成部１１０の自己位置検出部１１２により検出されるカメラの位置及び姿勢を含む撮像位置データを記憶する。なお、環境マップ記憶部１２０は、次に説明するデータ記憶部１３０と物理的に同一の記憶媒体を用いて実装されてもよい。
［２−４．データ記憶部］
データ記憶部１３０は、上述したように、ハードディスク又は半導体メモリなどの記憶媒体を用いて、実空間内に存在し得る物体に対応するオブジェクトの特徴を表す特徴データを予め記憶する。また、データ記憶部１３０は、実空間内に存在し得る物体のうちユーザにより操作可能な物体を識別するための物体識別データを予め記憶する。物体識別データは、後に説明する機器認識部１４０による機器認識処理において使用される。
図１０は、物体識別データの構成の一例について説明するための説明図である。図１０を参照すると、物体識別データは、オブジェクト識別子（ＩＤ）、種別、型番、物体画像、操作可能フラグ、及びコマンドリストの６つのデータ項目を有する。
オブジェクト識別子は、実空間内の個々の物体に対応する各オブジェクトを一意に特定するための文字列である。かかるオブジェクト識別子を用いて、物体識別データと、図８を用いて説明した特徴データとを関連付けることができる。図１０では、それぞれオブジェクトＩＤ＝“ＴＶ０１”、“ＳＰ０１”、“ＤＶ０１”、“ＰＴ０１”、“ＰＤ０１”及び“ＴＢ０１”である６つの物体についての物体識別データが例示されている。
種別は、各オブジェクトの種類を表す。オブジェクト“ＴＶ０１”、“ＳＰ０１”、“ＤＶ０１”、“ＰＴ０１”、“ＰＤ０１”及び“ＴＢ０１”の種別は、それぞれ、テレビ、スピーカ、ＤＶＤプレーヤ、プリンタ、ＰＤＡ及びテーブルである。また、型番は、実空間内の個々の物体の型番を表す。
物体画像は、後述する機器認識部１４０による機器認識処理に用いられる画像である。物体画像は、実空間内の個々の物体を少なくとも１方向から撮影した画像であってよい。また、例えば、物体画像は、図８を用いて説明した特徴データに含まれる画像データの一部であってもよい。
操作可能フラグは、実空間内の個々の物体がユーザにより操作可能な物体であるか否かを識別するためのフラグである。操作可能フラグ＝“Ｙｅｓ”であれば、当該物体は操作可能である。また、操作可能フラグ＝“Ｎｏ”であれば、当該物体は操作可能でない。図１０の例では、オブジェクト“ＴＶ０１”、“ＳＰ０１”、“ＤＶ０１”及び“ＰＴ０１”の操作可能フラグは“Ｙｅｓ”である。即ち、これら物体は操作可能である。一方、オブジェクト“ＰＤ０１”及び“ＴＢ０１”の操作可能フラグは“Ｎｏ”である。即ち、これら物体は操作可能ではない。
コマンドリストは、操作可能な物体について各物体を操作するための制御コマンドのリストである。例えば、オブジェクト“ＴＶ０１”のコマンドリストには、“電源ＯＮ”、“電源ＯＦＦ”、“音量ＵＰ”、“音量ＤＯＷＮ”、“チャンネルＵＰ”及び“チャンネルＤＯＷＮ”の６種類の制御コマンドが含まれる。
［２−５．機器認識部］
機器認識部１４０は、上述した物体識別データに含まれる各物体画像を撮像部１０２から入力される入力画像と照合することにより、入力画像に映っている操作可能な物体を認識する。そして、機器認識部１４０は、操作可能な物体が存在する場合には、入力画像内の各操作可能な物体の位置、並びに自己位置検出部１１２から入力されるカメラの位置及び姿勢を用いて、式（１４）に従い、環境マップ１２０内での各操作可能な物体の３次元位置を計算する。さらに、機器認識部１４０は、計算した３次元位置に基づいて、新たに認識された操作可能な物体を環境マップに登録する。
図１１は、機器認識部１４０による機器認識処理の流れの一例を示す説明図である。図１１を参照すると、機器認識部１４０は、まず、撮像部１０２から入力画像を取得する（ステップＳ３０２）。次に、機器認識部１４０は、物体識別データに含まれる各物体画像を入力画像と照合することにより、入力画像に映っている操作可能な物体を認識する（ステップＳ３０４）。ここで照合に用いられる物体画像とは、物体識別データに含まれる物体画像のうち、操作可能フラグが“Ｙｅｓ”であるレコードの物体画像であってよい。次に、機器認識部１４０は、入力画像内で操作可能な物体が認識されたか否かを判定する（ステップＳ３０６）。ここで、入力画像内で操作可能な物体が認識されなかった場合には、処理は終了する。一方、入力画像内で操作可能な物体が認識された場合には、機器認識部１４０は、認識された各操作可能な物体の３次元位置を計算し、当該３次元位置に基づいて、新たに認識された操作可能な物体を環境マップに登録する（ステップＳ３０８）。
このように機器認識部１４０により操作可能であると認識された物体の環境マップ内の３次元位置は、環境マップ記憶部１２０により継続して保持される。即ち、一度操作可能であると認識された物体は、カメラが移動して当該物体が他の物体に隠された場合（即ち、オクルージョンを生じた場合）、又は撮像方向が変わることにより外観が変化した場合にも、環境マップ内で正確に識別され得る。
［２−６．選択部］
選択部１６０は、環境マップ記憶部１２０により記憶されている環境マップに含まれる物体のうち、物体識別データに基づいて操作可能であると認識された少なくとも１つの物体を、ユーザによる操作の対象の候補として選択する。選択部１６０により操作の対象の候補として選択された物体を、本明細書では、候補物体という。
選択部１６０は、例えば、環境マップに含まれる物体のうち、物体識別データにおいて操作可能フラグが“Ｙｅｓ”である全ての物体を候補物体として選択してもよい。その代わりに、選択部１６０は、例えば、入力画像内で複数の操作可能な物体が認識される場合には、予め設定される閾値を超えない数の一部の物体のみを候補物体として選択してもよい。一部の物体とは、例えば、画面の中央又は当該中央の近傍に位置している物体であってよい。操作可能な物体の画面内の位置は、環境マップ記憶部１２０により記憶されている環境マップ並びにカメラの位置及び姿勢に基づいて、式（１１）に従って計算され得る。なお、操作可能な物体は、画面内で通常ある程度の大きさ（例えば画素数により表される面積など）を有する。そのため、選択部１６０は、操作可能な物体の幾何学的な重心位置を当該操作可能な物体の位置とみなして、画面の中央からの距離を決定することができる。また、選択部１６０は、例えば、複数の操作可能な物体が画面の中央に位置している場合には、画面内での大きさが最も小さい物体を候補物体として選択してもよい。
図１２は、選択部１６０による選択処理の流れの一例を示す説明図である。図１２を参照すると、選択部１６０は、まず、環境マップに含まれる物体のうち、物体識別データにおいて操作可能フラグが“Ｙｅｓ”である物体の３次元座標を、式（１１）に従って撮像面上の２次元座標に変換する（ステップＳ４０２）。例えば、物体の形状を構成するポリゴンの頂点の３次元座標を撮像面上の２次元座標に変換することにより、各物体の撮像面上での大きさ及び重心を算出することが可能となる。次に、選択部１６０は、式（１１）により撮像面内に投影される操作可能な物体の数が予め設定される閾値よりも多いか否かを判定する（ステップＳ４０４）。予め設定される閾値とは、例えば、１であってもよく複数であってもよい。ここで、操作可能な物体の数が予め設定される閾値よりも多くない場合には、処理はステップＳ４１２へ進む。一方、操作可能な物体の数が予め設定される閾値よりも多い場合には、処理はステップＳ４０６へ進む。
ステップＳ４０６では、選択部１６０は、複数の操作可能な物体が撮像面の中央で重なっているか否かを判定する（ステップＳ４０６）。例えば、カメラの位置から１つの物体の位置へ伸びる直線上に他の物体が存在している場合には、複数の物体が撮像面上で重なり得る。ここで、複数の操作可能な物体が撮像面の中央で重なっている場合には、処理はステップＳ４０８へ進む。一方、複数の操作可能な物体が撮像面の中央で重なっていない場合には、処理はステップＳ４１０へ進む。
ステップＳ４０８では、選択部１６０は、撮像面の中央に位置する複数の操作可能な物体のうち撮像面上での大きさがより小さい物体（上記閾値が１である場合には最も小さい物体）を、候補物体として選択する（ステップＳ４０８）。また、ステップＳ４１０では、選択部１６０は、画面中央から各物体の重心までの距離が短い順に、上記閾値に相当する数の操作可能な物体を、候補物体として選択する（ステップＳ４１０）。また、ステップＳ４１２では、選択部１６０は、撮像面内に投影される操作可能な物体を、候補物体として選択する（ステップＳ４１２）。
その後、選択部１６０は、選択した候補物体の２次元形状を表す形状データ（ポリゴンの頂点の撮像面上での２次元座標など）をオブジェクトＩＤと関連付けて、画像出力部１７０へ出力する（ステップＳ４１４）。そして、選択部１６０による選択処理は終了する。
［２−７．画像出力部］
画像出力部１７０は、選択部１６０により選択された候補物体の画面上での位置をユーザに認識させるための出力画像を、撮像部１０２から入力される入力画像から生成する。そして、画像出力部１７０は、生成した当該出力画像を表示装置へ出力する。より具体的には、例えば、画像出力部１７０は、画面上で各候補物体を囲む枠を当該候補物体の２次元形状データに基づいて生成し、生成した枠を入力画像に重畳することにより、出力画像を生成する。その代わりに、画像出力部１７０は、例えば、出力画像において各候補物体に対応する画面上の領域と他の領域との間で明暗又は色の濃淡などを変化させることにより、候補物体の画面上での位置をユーザに認識させてもよい。また、画像出力部１７０は、例えば、各候補物体に当該物体の名称等を表す文字列を付すことにより、候補物体の画面上での位置をユーザに認識させてもよい。
図１３は、本実施形態に係る画像出力部１７０により生成される出力画像の一例を示す説明図である。図１３を参照すると、環境１を撮影した入力画像から生成された出力画像Ｉｍ１１が示されている。出力画像Ｉｍ１１において、４つの操作可能な物体１０ａ、１０ｂ、１０ｃ及び１０ｄに、各物体を囲む枠が付されている。なお、枠の形状は、円形又は矩形以外の多角形などであってもよい。図１３の例では、環境マップに含まれる物体のうち、物体識別データにおいて操作可能フラグが“Ｙｅｓ”である４つの物体が全て候補物体として選択されたことが理解され得る。このような出力画像を参照することで、ユーザは、環境１内に存在するいずれの物体を画像処理装置１００を用いて操作することができるかを知ることができる。
図１４は、本実施形態に係る画像出力部１７０により生成される出力画像の他の例を示す説明図である。図１４を参照すると、環境１を撮影した入力画像から生成された出力画像Ｉｍ１２が示されている。出力画像Ｉｍ１２において、画面の中央の最も近くに位置する操作可能な物体１０ａに当該物体を囲む枠が付されている。即ち、図１４の例では、環境マップに含まれる物体のうち１つの物体のみが候補物体として選択されたことが理解され得る。また、出力画像Ｉｍ１２には、画面の中央を指し示す照準１２も重畳されている。このような出力画像によれば、ユーザは、画像処理装置１００（又は撮像部１０２）を動かすことで操作対象としたい機器に照準１２を合わせて、容易に操作対象を指定することができる。
図１５は、本実施形態に係る画像出力部１７０により生成される出力画像のまた別の例を示す説明図である。図１５を参照すると、環境１を撮影した入力画像から生成された出力画像Ｉｍ１３が示されている。出力画像Ｉｍ１３において、画面の中央の最も近くに位置する操作可能な物体１０ａに当該物体を囲む枠が付されている。また、出力画像Ｉｍ１３には、画面の中央を指し示す照準１２も重畳されている。さらに、出力画像Ｉｍ１３において、物体１０ａには、当該物体を操作するための制御コマンド（図１４の例では“電源ＯＮ”）を表示するコマンド欄１４が付されている。かかる制御コマンドは、例えば、図１０を用いて説明した物体識別データに含まれるコマンドリストから取得される。このような出力画像によれば、ユーザは、画像処理装置１００（又は撮像部１０２）を動かすことにより容易に操作対象を指定することができると共に、操作対象へ送信すべき制御コマンドを容易に選択することができる。
図１６は、本実施形態に係る画像出力部１７０により生成される出力画像のさらに別の例を示す説明図である。図１６を参照すると、左にテンポラリ画像Ｉｍ２１、右に出力画像Ｉｍ２２が示されている。テンポラリ画像Ｉｍ２１には、操作可能な物体１０ｃ及び１０ｄが映っている。但し、テンポラリ画像Ｉｍ２１の中央において、物体１０ｃが部分的に物体１０ｄに隠されている。即ち、この場合、複数の操作可能な物体が撮像面の中央で重なっている。これに対し、出力画像Ｉｍ２２では、物体１０ｃ及び１０ｄのうち撮像面上での大きさがより小さい物体１０ｃに、候補物体であることを示す枠が付されている。このような出力画像によれば、操作可能な小さな物体が他の操作可能な物体と重なっていることにより当該小さな物体を選択し得なくなることが防がれる。
図１７は、本実施形態に係る画像出力部１７０により生成される出力画像のさらに別の例を示す説明図である。図１７を参照すると、左に出力画像Ｉｍ３１、右に出力画像Ｉｍ３２が示されている。出力画像Ｉｍ３１には、操作可能な物体１０ｂが映っている。かかる物体１０ｂが操作可能であることは、機器認識部１４０による認識の結果として環境マップへ登録される。出力画像Ｉｍ３２は、その後、画像処理装置１００が環境１の内部で移動した後に生成される出力画像である。出力画像Ｉｍ３２においても、物体１０ｂが操作可能な物体として認識され、候補物体として選択されている。このように、実空間内に存在する物体の位置を表現する環境マップに基づいて候補物体を選択し表示することにより、物体の外観が撮像位置及び撮像方向に応じて変化する場合であっても、柔軟に操作対象を選択することができる。
図１８は、本実施形態に係る画像出力部１７０により生成される出力画像のさらに別の例を示す説明図である。図１８を参照すると、左に出力画像Ｉｍ４１、右に出力画像Ｉｍ４２が示されている。出力画像Ｉｍ４１には、操作可能な物体１０ｄが映っている。かかる物体１０ｄが操作可能であることは、機器認識部１４０による認識の結果として環境マップへ登録される。出力画像Ｉｍ４２は、その後、画像処理装置１００が環境１の内部で移動した後に生成される出力画像である。出力画像Ｉｍ４２においては、物体１０ｂはテーブルの背後に隠れていて視認できない。しかしながら、出力画像Ｉｍ４２においても、テーブルの背後に隠れた物体１０ｄが候補物体として選択されている。このように、実空間内に存在する物体の位置を表現する環境マップに基づいて候補物体を選択し、当該物体を識別可能な枠を表示することにより、物体が他の物体の背後に隠れている場合であっても、柔軟にその隠れた物体を操作対象として選択することができる。
なお、画像出力部１７０は、操作可能な物体が存在しない場合には、撮像部１０２から入力される入力画像をそのまま出力画像として表示装置へ出力してよい。また、画像出力部１７０により生成される出力画像が表示される表示装置の画面と、撮像部１０２に相当する撮像装置の撮像面とは、互いに反対方向に向けて（即ち、背面を合わせるように）配置されるのが好適である。それにより、シースルー方式のディスプレイが構成されるため、ユーザにとって、環境１内で画像処理装置１００をかざして出力画像を見ながら、操作すべき物体を指定することがさらに容易となる。
［２−８．ユーザインタフェース］
ユーザインタフェース１８０は、候補物体のうち操作すべき物体をユーザに指定させるためのインタフェースを提供する。ユーザインタフェース１８０は、例えば、ボタン、タッチパネル、スイッチ又はキーパッドなどの、ユーザ入力を検出可能な任意の入力手段であってよい。例えば、図１４の出力画像Ｉｍ１２又は図１６の出力画像Ｉｍ２２などのように１つの候補物体のみが表示されている場合には、ユーザ入力（例えばボタンの押下など）が検知された時点で表示されている候補物体が、操作すべき物体であるものと決定され得る。また、図１３の出力画像Ｉｍ１１のように複数の候補物体が表示されている場合には、例えば、ユーザ入力が検知された時点で表示されている出力画像の中央又は当該中央の近傍に位置している物体が、操作すべき物体であるものとして決定され得る。また、ユーザ入力が検知された時に複数の候補物体が出力画像の中央に位置している場合には、例えば、ユーザインタフェース１８０は、出力画像内での大きさが最も小さい候補物体を操作すべき物体であるものとして決定してもよい。また、ユーザインタフェース１８０は、ＧＵＩ（graphical User Interface）を含んでもよい。例えば、図１５の出力画像Ｉｍ１３内のコマンド欄１４は、ＧＵＩの一種である。例えば、コマンド欄１４に表示された制御コマンドをユーザが画面上で選択した場合に、次に説明する送信部１９０は、当該制御コマンドを含む制御信号を、コマンド欄１４が付された操作対象の物体へ送信することができる。
［２−９．送信部］
送信部１９０は、ユーザインタフェース１８０に対するユーザ入力に基づいて決定した操作対象の物体への制御コマンドを含む制御信号を生成し、生成した当該制御信号を送信する。制御信号は、例えば、ＩｒＤＡ（Infrared Data Association）に準拠した赤外線信号として送信されてもよい。その代わりに、制御信号は、例えば、無線ＬＡＮ（Local Area Network）などによる無線信号として送信されてもよい。かかる制御信号を操作対象の物体（被制御機器）が受信することにより、ユーザの望む操作が当該物体において行われる。
＜３．ハードウェア構成＞
上述した画像処理装置１００による一連の処理をハードウェアで実現するかソフトウェアで実現するかは問わない。一連の処理又はその一部をソフトウェアで実行させる場合には、ソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれたコンピュータ、又は例えば図１９に示した汎用コンピュータなどを用いて実行される。
図１９において、ＣＰＵ（Central Processing Unit）９０２は、汎用コンピュータの動作全般を制御する。ＲＯＭ（Read Only Memory）９０４には、一連の処理の一部又は全部を記述したプログラム又はデータが格納される。ＲＡＭ（Random Access Memory）９０６には、処理の実行時にＣＰＵ９０２により用いられるプログラムやデータなどが一時的に記憶される。
ＣＰＵ９０２、ＲＯＭ９０４、及びＲＡＭ９０６は、バス９１０を介して相互に接続される。バス９１０にはさらに、入出力インタフェース９１２が接続される。
入出力インタフェース９１２は、ＣＰＵ９０２、ＲＯＭ９０４、及びＲＡＭ９０６と、入力装置９２０、表示装置９２２、記憶装置９２４、撮像装置９２６、及び送信装置９３０とを接続するためのインタフェースである。
入力装置９２０は、例えばボタン、タッチパネル、スイッチ又はキーパッドなどの入力手段を介して、ユーザ入力を受け付ける。表示装置９２２は、例えばＣＲＴ（Cathode Ray Tube）、液晶ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）などを用いて構成され、その画面上に出力画像を表示させる。
記憶装置９２４は、例えばハードディスクドライブ又は半導体メモリなどにより構成され、プログラムやデータを記憶する。撮像装置９２６は、上述した撮像部１０２のハードウェアに相当し、ＣＣＤ又はＣＭＯＳなどの撮像素子を用いて、実空間を撮影する。送信装置９３０は、例えばＩｒＤＡに準拠した赤外線ポートなどにより構成され、電子機器を遠隔制御するための制御コマンドを含む制御信号を赤外線信号などに変調して送信する。
＜４．まとめ＞
ここまで、図１〜図１９を用いて、本発明の一実施形態に係る画像処理装置１００について説明した。画像処理装置１００によれば、実空間内に存在する１つ以上の物体の位置を表現する環境マップに含まれる物体のうち、物体識別データに基づいて操作可能であると認識される少なくとも１つの物体が、ユーザによる操作の対象の候補である候補物体として選択される。従って、撮像装置が移動して入力画像内の物体の外観が変化した場合、又は操作すべき物体が他の物体に隠された場合などにおいても、これら物体を互いに区別して遠隔制御の対象として容易に選択することができる。また、シースルー方式のディスプレイを用いた直感的な操作対象の選択が可能となる。さらに、電子機器に個別に操作用のディスプレイを設けることなく、あるいは個別の専用の遠隔制御装置を用意することなく、１つの画像処理装置１００を用いて各電子機器を操作することが可能となる。
また、出力画像を生成する際に利用される撮像装置の位置及び姿勢は、ＳＬＡＭ技術を用いて動的に検出される。それにより、撮像装置の位置及び姿勢がフレームごとに変化する場合であっても、出力画像に表示すべき候補物体を囲む枠などを、撮像装置の位置及び姿勢に応じて適切に生成することができる。
＜５．変形例＞
なお、上述した画像処理装置１００の一変形例として、環境マップを構築することなく遠隔制御装置として動作可能な画像処理装置を構成することもできる。図２０は、そのような一変形例に係る画像処理装置２００の構成の一例を示すブロック図である。図２０を参照すると、画像処理装置２００は、撮像部１０２、データ記憶部１３０、機器認識部２４０、選択部２６０、画像出力部２７０、ユーザインタフェース１８０、及び送信部１９０を備える。
機器認識部２４０は、データ記憶部１３０に記憶されている物体識別データに含まれる各物体画像を撮像部１０２から入力される入力画像と照合することにより、入力画像に映っている操作可能な物体を認識する。そして、機器認識部２４０は、操作可能な物体が存在する場合には、入力画像内の各操作可能な物体の位置（各物体に対応する画素群の位置など）をオブジェクトＩＤと関連付けて、選択部２６０及び画像出力部２７０へ出力する。
選択部２６０は、機器認識部２４０により物体識別データに基づいて操作可能であると認識された少なくとも１つの物体を、候補物体として選択する。選択部２６０は、例えば、物体識別データにおいて操作可能フラグが“Ｙｅｓ”である全ての物体を候補物体として選択してもよい。その代わりに、選択部２６０は、例えば、入力画像内で複数の操作可能な物体が認識される場合には、予め設定される閾値を超えない数の一部の物体のみを候補物体として選択してもよい。一部の物体とは、例えば、画面の中央又は当該中央の近傍に位置している物体であってよい。また、選択部２６０は、例えば、複数の操作可能な物体が画面の中央に位置している場合には、画面内での大きさが最も小さい物体を候補物体として選択してもよい。選択部２６０は、選択した候補物体のオブジェクトＩＤを画像出力部２７０へ出力する。
画像出力部２７０は、選択部２６０により選択された候補物体の画面上での位置をユーザに認識させるための出力画像を、撮像部１０２から入力される入力画像から生成する。そして、画像出力部２７０は、生成した当該出力画像を表示装置へ出力する。より具体的には、例えば、画像出力部２７０は、画面上で各候補物体を囲む枠を機器認識部２４０から入力される当該候補物体の位置に基づいて生成し、生成した枠を入力画像に重畳することにより、出力画像を生成する。ユーザは、かかる出力画像を見ながら、ユーザインタフェース１８０を介して操作対象を指定することができる。
なお、画像出力部２７０は、上述した画像出力部１７０と同様、操作可能な物体が存在しない場合には、撮像部１０２から入力される入力画像をそのまま出力画像として表示装置へ出力してよい。画像出力部２７０により生成される出力画像が表示される表示装置の画面と、撮像部１０２に相当する撮像装置の撮像面とは、互いに反対方向に向けて配置されるのが好適である。
かかる画像処理装置２００によれば、物体識別データに基づいて操作可能であると認識される入力画像内の少なくとも１つの物体が、ユーザによる操作の対象の候補である候補物体として選択され、出力画像内に表示される。従って、ユーザは、直感的に操作対象を選択することができる。この場合にも、電子機器に個別に操作用のディスプレイを設けることなく、あるいは個別の専用の遠隔制御装置を用意することなく、１つの画像処理装置２００を用いて各電子機器を操作することが可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
１００ 画像処理装置
１０２ 撮像部
１１０ 環境マップ生成部
１２０ 環境マップ記憶部
１３０ データ記憶部
１４０ 機器認識部
１６０ 選択部
１７０ 画像出力部
１８０ ユーザインタフェース
１９０ 送信部

Claims (10)

  1. 実空間を映した入力画像を用いて生成される環境マップであって前記実空間内に存在する１つ以上の物体の位置を表現する当該環境マップに含まれる物体のうち、ユーザにより操作可能な物体を識別するための物体識別データに基づいて操作可能であると認識される少なくとも１つの候補物体から、操作すべき物体を選択する選択部、
    を備え、
    前記選択部は、ユーザインタフェースを介してユーザ入力が検知された時点で前記入力画像の中央又は当該中央の近傍に位置している候補物体を前記操作すべき物体として選択する、
    画像処理装置。
  2. 前記選択部は、複数の前記候補物体が前記入力画像の中央に位置している場合には、画面上での大きさが最も小さい前記候補物体を前記操作すべき物体として選択する、請求項１に記載の画像処理装置。
  3. 前記画像処理装置は、
    前記候補物体を操作するための制御コマンドを表示する第１の表示オブジェクトを、表示装置の画面上の前記候補物体の位置に付すように、前記表示装置への画像の出力を制御する制御部、をさらに備える、
    請求項１又は請求項２に記載の画像処理装置。
  4. 前記物体識別データは、前記実空間内に存在する前記１つ以上の物体の各々がユーザにより操作可能であるかを示すフラグを含み、
    前記選択部は、前記フラグに基づいて前記候補物体を選択する、
    請求項１〜３のいずれか１項に記載の画像処理装置。
  5. 前記入力画像は、前記実空間を撮影する撮像装置から取得され、
    前記画像処理装置は、
    前記候補物体の画面上での位置をユーザに認識させるための出力画像を前記入力画像から生成し、生成した当該出力画像を表示装置へ出力する画像出力部、
    をさらに備える、請求項１に記載の画像処理装置。
  6. 前記出力画像内の各候補物体の位置は、前記環境マップ及び前記撮像装置の位置を表す撮像位置データに基づいて計算される、
    請求項５に記載の画像処理装置。
  7. 前記画像出力部は、前記画面上で各候補物体を囲む枠を、各物体の３次元的な形状を表す形状データに基づいて生成し、生成した当該枠を前記入力画像に重畳することにより前記出力画像を生成する、
    請求項５又は請求項６に記載の画像処理装置。
  8. 前記画像処理装置は、
    前記撮像装置及び前記表示装置をさらに備え、
    前記撮像装置の撮像面と前記表示装置の画面とは、互いに反対方向に向けて配置される、
    請求項５〜７のいずれか１項に記載の画像処理装置。
  9. 画像処理装置により実行される画像処理方法において、
    実空間を映した入力画像を用いて生成される環境マップであって前記実空間内に存在する１つ以上の物体の位置を表現する当該環境マップに含まれる物体のうち、ユーザにより操作可能な物体を識別するための物体識別データに基づいて操作可能であると認識される少なくとも１つの候補物体から、操作すべき物体を選択すること、
    を含み、
    前記画像処理装置は、ユーザインタフェースを介してユーザ入力が検知された時点で前記入力画像の中央又は当該中央の近傍に位置している候補物体を前記操作すべき物体として選択する、
    画像処理方法。
  10. 画像処理装置を制御するコンピュータを、
    実空間を映した入力画像を用いて生成される環境マップであって前記実空間内に存在する１つ以上の物体の位置を表現する当該環境マップに含まれる物体のうち、ユーザにより操作可能な物体を識別するための物体識別データに基づいて操作可能であると認識される少なくとも１つの候補物体から、操作すべき物体を選択する選択部、
    として機能させ、
    前記選択部は、ユーザインタフェースを介してユーザ入力が検知された時点で前記入力画像の中央又は当該中央の近傍に位置している候補物体を前記操作すべき物体として選択する、
    プログラム。
JP2010004170A 2010-01-12 2010-01-12 画像処理装置、物体選択方法及びプログラム Active JP5617246B2 (ja)

Priority Applications (12)

Application Number Priority Date Filing Date Title
JP2010004170A JP5617246B2 (ja) 2010-01-12 2010-01-12 画像処理装置、物体選択方法及びプログラム
EP10196760.2A EP2343882B1 (en) 2010-01-12 2010-12-23 Image processing device, object selection method and program
US12/983,424 US8345925B2 (en) 2010-01-12 2011-01-03 Image processing device, object selection method and program
KR20110000456A KR20110083509A (ko) 2010-01-12 2011-01-04 화상 처리 장치, 화상 처리 방법 및 프로그램
CN201110006622.1A CN102129290B (zh) 2010-01-12 2011-01-05 图像处理设备和对象选择方法
US13/670,750 US8548199B2 (en) 2010-01-12 2012-11-07 Image processing device, object selection method and program
US14/014,785 US8744130B2 (en) 2010-01-12 2013-08-30 Image processing device, object selection method and program
US14/190,321 US9014431B2 (en) 2010-01-12 2014-02-26 Image processing device, object selection method and program
US14/657,431 US9288423B2 (en) 2010-01-12 2015-03-13 Image processing device, object selection method and program
US15/052,335 US9778735B2 (en) 2010-01-12 2016-02-24 Image processing device, object selection method and program
US15/711,198 US10386917B2 (en) 2010-01-12 2017-09-21 Image processing device, object selection method and program
US16/521,015 US10908676B2 (en) 2010-01-12 2019-07-24 Image processing device, object selection method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010004170A JP5617246B2 (ja) 2010-01-12 2010-01-12 画像処理装置、物体選択方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2011146796A JP2011146796A (ja) 2011-07-28
JP2011146796A5 JP2011146796A5 (ja) 2013-01-17
JP5617246B2 true JP5617246B2 (ja) 2014-11-05

Family

ID=43987556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010004170A Active JP5617246B2 (ja) 2010-01-12 2010-01-12 画像処理装置、物体選択方法及びプログラム

Country Status (5)

Country Link
US (8) US8345925B2 (ja)
EP (1) EP2343882B1 (ja)
JP (1) JP5617246B2 (ja)
KR (1) KR20110083509A (ja)
CN (1) CN102129290B (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101219933B1 (ko) * 2010-09-13 2013-01-08 현대자동차주식회사 증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법
JP5731272B2 (ja) * 2011-05-09 2015-06-10 双葉電子工業株式会社 被操縦体の無線操縦装置
JPWO2013136702A1 (ja) 2012-03-12 2015-08-03 パナソニックＩｐマネジメント株式会社 無線通信装置、無線通信方法、および無線通信制御プログラム
JP2013191163A (ja) * 2012-03-15 2013-09-26 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
JP2013205983A (ja) * 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
US9218526B2 (en) 2012-05-24 2015-12-22 HJ Laboratories, LLC Apparatus and method to detect a paper document using one or more sensors
JP5550124B2 (ja) * 2012-08-17 2014-07-16 Ｎｅｃシステムテクノロジー株式会社 入力装置、機器、入力方法およびプログラム
KR101921610B1 (ko) * 2012-08-31 2018-11-23 에스케이 텔레콤주식회사 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
JP2014053667A (ja) * 2012-09-05 2014-03-20 Sony Corp 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN108337525B (zh) 2012-09-28 2020-08-25 杜比国际公司 图像解码装置
US10824313B2 (en) * 2013-04-04 2020-11-03 P.J. Factory Co., Ltd. Method and device for creating and editing object-inserted images
US20140320387A1 (en) * 2013-04-24 2014-10-30 Research In Motion Limited Device, System and Method for Generating Display Data
US10025378B2 (en) * 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
KR102044493B1 (ko) * 2013-07-30 2019-11-13 삼성전자주식회사 타겟 장치의 위치를 결정하기 위한 방법 및 그 전자 장치
JP2015049372A (ja) * 2013-09-02 2015-03-16 有限会社Ｂｒｕｃｅ Ｉｎｔｅｒｆａｃｅ 外国語学習支援装置及び外国語学習支援プログラム
CN105005145B (zh) * 2015-08-03 2018-02-09 众景视界（北京）科技有限公司 智能眼镜及智能眼镜的外接设备
US9881191B2 (en) * 2015-12-14 2018-01-30 Leadot Innovation, Inc. Method of controlling operation of cataloged smart devices
CN106997236B (zh) * 2016-01-25 2018-07-13 亮风台（上海）信息科技有限公司 基于多模态输入进行交互的方法和设备
WO2018047458A1 (ja) * 2016-09-07 2018-03-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN108266960B (zh) * 2017-01-03 2020-09-22 三星电子株式会社 食物储存装置及其控制方法
US10887195B2 (en) 2017-04-28 2021-01-05 Optim Corporation Computer system, remote control notification method and program
CN110293554A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 机器人的控制方法、装置和系统
JP7139762B2 (ja) * 2018-07-31 2022-09-21 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
US11445107B2 (en) 2019-08-08 2022-09-13 Qorvo Us, Inc. Supervised setup for control device with imager
CN110706147B (zh) * 2019-09-29 2023-08-11 阿波罗智联(北京)科技有限公司 图像处理的环境确定方法、装置、电子设备和存储介质
EP3842911B1 (en) * 2019-12-26 2023-04-05 Dassault Systèmes A 3d interface with an improved object selection
JP7321459B2 (ja) * 2020-03-19 2023-08-07 日本電信電話株式会社 携帯端末、操作方法、及びプログラム
CN114527899A (zh) * 2020-10-30 2022-05-24 北京中地泓科环境科技有限公司 基于图件显示环境信息的方法
US11335091B1 (en) 2020-12-22 2022-05-17 Sony Group Corporation Enabling a device with camera and display to control other devices (universal remote control app)
US11879231B2 (en) 2021-04-19 2024-01-23 Deere & Company System and method of selective automation of loading operation stages for self-propelled work vehicles
US11965308B2 (en) 2021-05-12 2024-04-23 Deere & Company System and method of truck loading assistance for work machines
US11953337B2 (en) 2021-05-12 2024-04-09 Deere & Company System and method for assisted positioning of transport vehicles for material discharge in a worksite
US11966220B2 (en) 2021-05-25 2024-04-23 Deere & Company Method and user interface for selectively assisted automation of loading operation stages for work vehicles
US20230168786A1 (en) * 2021-11-30 2023-06-01 Verizon Patent And Licensing Inc. Methods and Systems for Location-Based Accessing of Predesignated Data Payloads Using Extended Reality

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5887216A (en) * 1997-03-19 1999-03-23 Ricoh Company, Ltd. Method and system to diagnos a business office device based on operating parameters set by a user
US6968375B1 (en) * 1997-03-28 2005-11-22 Health Hero Network, Inc. Networked system for interactive communication and remote monitoring of individuals
JP2973311B1 (ja) 1998-06-03 1999-11-08 日本電気株式会社 リモコン装置
US6848104B1 (en) * 1998-12-21 2005-01-25 Koninklijke Philips Electronics N.V. Clustering of task-associated objects for effecting tasks among a system and its environmental devices
US8055752B1 (en) * 1999-11-16 2011-11-08 Ricoh Company, Ltd. Application unit monitoring and reporting system and method with usage data logged into a map structure
US7174512B2 (en) * 2000-12-01 2007-02-06 Thomson Licensing S.A. Portal for a communications system
JP3811025B2 (ja) * 2001-07-03 2006-08-16 株式会社日立製作所 ネットワーク・システム
KR100441605B1 (ko) * 2001-10-17 2004-07-23 삼성전자주식회사 원격제어장치, 원격제어가능한 전자기기, 전자기기의원격제어시스템 및 전자기기의 원격제어방법
US7177737B2 (en) * 2002-12-17 2007-02-13 Evolution Robotics, Inc. Systems and methods for correction of drift via global localization with a visual landmark
JP4281400B2 (ja) * 2003-04-14 2009-06-17 ソニー株式会社 通信装置、その表示方法、コンピュータプログラム、および通信方法
CN2626745Y (zh) * 2003-05-21 2004-07-21 任宗勇 热驱动叶片旋转装饰物
JPWO2004106009A1 (ja) * 2003-06-02 2006-07-20 松下電器産業株式会社 物品取扱いシステムおよび物品取扱いサーバ
WO2005043484A1 (en) * 2003-11-04 2005-05-12 Koninklijke Philips Electronics N.V. Universal remote control device with touch screen
KR100703692B1 (ko) * 2004-11-03 2007-04-05 삼성전자주식회사 공간상에 존재하는 오브젝트들을 구별하기 위한 시스템,장치 및 방법
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
CN101213506B (zh) * 2005-06-30 2011-06-22 皇家飞利浦电子股份有限公司 控制方法、控制设备及包括控制设备的娱乐系统和照明系统
US7558950B2 (en) * 2005-10-27 2009-07-07 Sony Ericsson Mobile Communications Ab Methods of configuring an electronic device to be operable with an electronic apparatus based on automatic identification thereof and related devices
JP2007243726A (ja) * 2006-03-09 2007-09-20 Fujifilm Corp 遠隔制御装置、方法およびシステム
JP4789745B2 (ja) * 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
JP2008067219A (ja) * 2006-09-08 2008-03-21 Sony Corp 撮像装置、撮像方法
US8089455B1 (en) * 2006-11-28 2012-01-03 Wieder James W Remote control with a single control button
JP5380789B2 (ja) * 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5564946B2 (ja) * 2007-09-20 2014-08-06 日本電気株式会社 映像提供システム、および映像提供方法
JP2009105574A (ja) * 2007-10-22 2009-05-14 Sony Corp テレビジョン放送受信システム
JPWO2009110204A1 (ja) * 2008-03-05 2011-07-14 パナソニック株式会社 機器選択制御装置
JP5292937B2 (ja) 2008-06-18 2013-09-18 富士通モバイルコミュニケーションズ株式会社 情報処理装置
KR101657565B1 (ko) * 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법

Also Published As

Publication number Publication date
US10386917B2 (en) 2019-08-20
US9778735B2 (en) 2017-10-03
US8345925B2 (en) 2013-01-01
US20180018013A1 (en) 2018-01-18
EP2343882A3 (en) 2013-01-23
US20150189216A1 (en) 2015-07-02
US8744130B2 (en) 2014-06-03
US20160170479A1 (en) 2016-06-16
US20130064429A1 (en) 2013-03-14
EP2343882A2 (en) 2011-07-13
US20140177917A1 (en) 2014-06-26
US9288423B2 (en) 2016-03-15
US20110170742A1 (en) 2011-07-14
KR20110083509A (ko) 2011-07-20
US8548199B2 (en) 2013-10-01
US20140003667A1 (en) 2014-01-02
JP2011146796A (ja) 2011-07-28
US20190346914A1 (en) 2019-11-14
CN102129290B (zh) 2014-06-25
US10908676B2 (en) 2021-02-02
CN102129290A (zh) 2011-07-20
US9014431B2 (en) 2015-04-21
EP2343882B1 (en) 2018-03-14

Similar Documents

Publication Publication Date Title
JP5617246B2 (ja) 画像処理装置、物体選択方法及びプログラム
JP3926837B2 (ja) 表示制御方法および装置、プログラム、並びに携帯機器
US8860760B2 (en) Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
JP5488011B2 (ja) 通信制御装置、通信制御方法及びプログラム
JP2011203823A (ja) 画像処理装置、画像処理方法及びプログラム
CN104471511A (zh) 无触摸用户接口
JP2011146796A5 (ja)
JP2011159163A (ja) 画像処理装置、画像処理方法及びプログラム
JP2011203824A (ja) 画像処理装置、画像処理方法及びプログラム
JP5668587B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2017084335A (ja) ユーザーインターフェースのリアルタイムインタラクティブ操作のためのシステム及び方法
WO2015093130A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2005063225A (ja) 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
JP2016095557A (ja) 表示制御装置、及び、表示制御方法
CN115830280A (zh) 数据处理方法、装置、电子设备及存储介质
JP6358996B2 (ja) 警備シミュレーション装置
JP6358998B2 (ja) 警備シミュレーション装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140819

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140901

R151 Written notification of patent or utility model registration

Ref document number: 5617246

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250