JP2017062812A - 制御装置、及び制御方法 - Google Patents
制御装置、及び制御方法 Download PDFInfo
- Publication number
- JP2017062812A JP2017062812A JP2016213642A JP2016213642A JP2017062812A JP 2017062812 A JP2017062812 A JP 2017062812A JP 2016213642 A JP2016213642 A JP 2016213642A JP 2016213642 A JP2016213642 A JP 2016213642A JP 2017062812 A JP2017062812 A JP 2017062812A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- information
- user
- spot
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/96—Management of image or video recognition tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】入力できる情報の制限をなくし、使用者の所望の情報入力を提供できる制御装置を提供する。
【解決手段】制御装置は、利用者の音声入力を受け付ける音入力部と、制御部において、所定の範囲に置かれた物体の種類を前記音声入力により判別する物体種類判別部と、前記物体との通信を行う通信部と、前記物体が有するデータの取得を示す前記音声入力を前記音入力部が受け付けると、前記物体の記憶装置に記憶された前記データを、前記通信を介して取得する取得部とを備える。
【選択図】図1
【解決手段】制御装置は、利用者の音声入力を受け付ける音入力部と、制御部において、所定の範囲に置かれた物体の種類を前記音声入力により判別する物体種類判別部と、前記物体との通信を行う通信部と、前記物体が有するデータの取得を示す前記音声入力を前記音入力部が受け付けると、前記物体の記憶装置に記憶された前記データを、前記通信を介して取得する取得部とを備える。
【選択図】図1
Description
本発明は、制御装置、及び制御方法に関する。
本願は、2013年2月8日に出願された、日本特許出願2013−023270号、及び日本特許出願2013−023271号に基づき優先権を主張し、その内容をここに援用する。
本願は、2013年2月8日に出願された、日本特許出願2013−023270号、及び日本特許出願2013−023271号に基づき優先権を主張し、その内容をここに援用する。
近年、様々な電子制御装置が知られている。
バーコードを読み取るバーコードスキャナが知られている(例えば、特許文献1参照)。
バーコードを読み取るバーコードスキャナが知られている(例えば、特許文献1参照)。
また、例えば特許文献2には、ユーザが指先をスクリーン上の一定位置に闘値時間以上にわたって止めた動作を、メニュー又はアイコンなどのインターフェイスを表示させる起動動作とすることや、スクリーンに対して円形の軌跡を描く動作を起動動作とすることが記載されている。
上記従来のバーコードスキャナは、バーコードしか読み取ることができない。このため、複数種類の物体が有する情報を取得することができず、利便性が十分でない。
また、特許文献2記載の技術では、使用者が選択する項目であるメニュー又はアイコンが表示されるだけで、入力できる情報が限られていた。さらに、表示されるメニュー又はアイコンは定型であり、表示するスペースの大きさ又は位置にあった適切な範囲の設定ができなかった。このように、特許文献2記載の技術では、使用者の所望のインターフェイスが提供されない場合がある。
本発明の態様は、利便性の高い電子制御装置等を提供することを目的の一つとする。
また、別の目的は、使用者の所望の情報入力を提供できる制御装置、及び制御方法を提供することである。
また、別の目的は、使用者の所望の情報入力を提供できる制御装置、及び制御方法を提供することである。
本発明の一態様は、利用者の音声入力を受け付ける音入力部と、所定の範囲に置かれた物体の種類を前記音声入力により判別する判別部と、前記物体との通信を行う通信部と、前記物体が有するデータの取得を示す前記音声入力を前記音入力部が受け付けると、前記物体の記憶装置に記憶された前記データを、前記通信を介して取得する取得部とを備える制御装置である。
本発明の別の一態様は、利用者の音声入力を受け付けることと、前記音声入力により、所定の範囲に置かれた物体の種類を判別することと、前記物体との通信が可能な状態にすることと、前記物体が有するデータの取得を示す前記音声入力がなされると、前記物体の記憶装置に記憶された前記データを、前記通信を介して取得することとを含む制御装置の制御方法である。
本発明の態様によれば、利便性の高い電子制御装置等を提供することができる。また、本発明の態様によれば、使用者の所望の情報入力を提供できる。
以下、図面を参照し、本発明の電子制御装置、電子制御装置の制御方法、および電子制御装置の制御プログラムの実施形態について説明する。以下の説明では、電子制御装置は、少なくともその構成の一部である照射部および撮像部が建物の壁面又は天井に取り付けられる態様であるものとする。しかし、本発明はこれに限定されず、電子制御装置の一部または全部は、利用者によって持ち運び可能なものであっても構わない。例えば、本発明の電子制御装置は、通信機能付カメラ、カメラ付携帯電話、カメラ付パーソナルコンピュータ(デスクトップコンピュータ、ラップトップコンピュータ、携帯型電子機器を含む)などであってもよい。
[構成]
図1は、本発明の一実施形態に係る電子制御装置1の機能構成、および通信環境の一例を示す図である。電子制御装置1は、例えば、音入力部10と、音出力部20と、照射部30と、撮像部40と、通信部50と、電力供給部60と、制御部70とを備える。
図1は、本発明の一実施形態に係る電子制御装置1の機能構成、および通信環境の一例を示す図である。電子制御装置1は、例えば、音入力部10と、音出力部20と、照射部30と、撮像部40と、通信部50と、電力供給部60と、制御部70とを備える。
音入力部10は、例えばマイクロホンであり、入力された音声のデータを制御部70に出力する。音出力部20は、例えば、スピーカ及び/又はブザーなどを含み、音響を出力する。音出力部20は、制御部70によって生成された音声、音楽、アラームなどを出力する。
照射部30は、例えば、制御部70によって生成される画像を投射する投射装置(プロジェクタ)として機能するように構成される。撮像部40は、例えば、CCD(ChargeCoupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したカメラである。撮像部40はこれに限定されない。撮像部40として、様々なデバイスを採用可能である。
電子制御装置1の少なくとも照射部30および撮像部40は、例えば、建物の壁面、天井、床面、又は台上など、人が視認可能な特定の箇所に光を照射すると共に、この特定の箇所を撮像可能な、任意の箇所に取り付けられる。図2は、電子制御装置1が建物内に取り付けられた様子を模式的に示す図である。なお、一例において、電子制御装置1のうち照射部30および撮像部40以外の構成要素は、照射部30および撮像部40とは離れた場所に取り付けられ(または置かれ)、照射部30および撮像部40と有線通信線または無線通信により接続されるようにできる。また、照射部30および撮像部40は、特定の箇所「のみ」に光を照射し撮像するものである必要はなく、特定の箇所を含む広範囲な領域に光を照射し撮像するように構成可能である。代替的に、照射部30と撮像部40とは互いに離して配置可能である。照射部30は、例えば、図2における机80Aの天板面などの任意の投射面に、矩形、円形、楕円形、又は星形などの任意の形状を有する入力領域80Bを投射する。この入力領域80Bは、利用者によって視認可能な光で投射され、以下に説明するように、情報の入力領域を示すものである。図2は、入力領域80B内にデジタルカメラ80Cが置かれた様子を示している。
図1に戻り、説明を行う。通信部50は、ネットワーク100を介して、通信装置200その他の通信主体と通信する。また、通信部50は、赤外線通信、Bluetooth(登録商標)、又は照射部30の照射する光を用いた光通信などの短距離通信機能を有することができる。図1に示す通信装置200には、後述する「通信機能および記憶装置を有する電子機器」が含まれる。電力供給部60は、建物に取り付けられたコンセント又は照明器具取り付け用ソケットなどに接続するための接続部材を備える。また、電力供給部60は、商用電源の交流を直流に変換するAC―DCコンバータなどを備え、電子制御装置1全体に電力を供給する。
図3は、制御部70の機能構成の一例を示す図である。制御部70は、例えば機能部として、ユーザインターフェース部71と、入力領域設定部72と、物体種類判別部73と、情報取得部74と、処理部75と、記憶部76とを備える。記憶部76は、例えば、画像記憶部76Aと、判別用データ記憶部76Bと、取得データ記憶部76Cとを備える。
ユーザインターフェース部71は、例えば、音入力部10から入力された利用者の音声を認識してこれをテキストデータに変換し、利用者からの指示として他の機能部に出力する。また、ユーザインターフェース部71は、撮像部40によって撮像された画像に含まれる利用者のジェスチャに基づいて、利用者の指示を判別してもよい。また、ユーザインターフェース部71は、他の機能部により生成された利用者へのメッセージに基づき音声出力のためのデータを生成し、音出力部20に出力する。
入力領域設定部72は、照射部30が投射する入力領域80B(図2参照)の位置及び/又はサイズを決定する。入力領域設定部72は、例えば、利用者の指先による指示によって入力領域80Bを決定する。図4は、入力領域設定部72が入力領域80Bを設定する様子を示す図である。入力領域設定部72は、利用者が、入力領域80Bを意味する「カーソル」などの音声指示を発し、机80Aの天板面などの任意の投射面に手を近づけるなどの特定の動作(例えば、ジェスチャ)を行った場合に、例えば親指80Tと人差し指80Iの間を一辺とする縦横比が所定比率の矩形の領域を、入力領域80Bとして設定する。そして、入力領域設定部72は、決定した入力領域80Bが投射面に表示されるように、照射部30を制御する。入力領域80Bは、例えば、スポットライト状の光が照射されることによって、投射面上で視認可能となる。
[物体の種類の判別]
物体種類判別部73は、入力領域80B内に置かれた物体の種類を判別する。一例において、「入力領域80B内に置かれた」とは、物体の全部が入力領域80B内に収まることを意味する。別の一例において、物体の一部が入力領域80B内にあれば、入力領域80B内に物体が置かれたとみなされる。物体種類判別部73は、例えば、入力領域80B内に置かれた物体の種類が、予め定められた複数の物体の種類の候補の中から、いずれの物体の種類であるかを判別する。
物体種類判別部73は、入力領域80B内に置かれた物体の種類を判別する。一例において、「入力領域80B内に置かれた」とは、物体の全部が入力領域80B内に収まることを意味する。別の一例において、物体の一部が入力領域80B内にあれば、入力領域80B内に物体が置かれたとみなされる。物体種類判別部73は、例えば、入力領域80B内に置かれた物体の種類が、予め定められた複数の物体の種類の候補の中から、いずれの物体の種類であるかを判別する。
物体種類判別部73は、例えば、利用者が発した物体を特定可能な音声指示(例えば「カメラ」、「名刺」など)に基づいて、入力領域80B内に置かれた物体の種類を判別する。一例において、物体種類判別部73は、通信部50が、赤外線通信などの指向性の強い通信機能を有している場合、入力領域80Bを指向した通信が成立したか否かに基づいて、通信機能を有する電子機器であるか否かを判別することができる。別の例において、物体種類判別部73は、通信が成立した物体であって、入力領域80B内で利用者がその物体を指さしていることが撮像部40の撮像した画像から判明した場合に、通信機能を有する電子機器であると判別することができる。通信が成立したことのみでは、通信相手である物体が入力領域80B内にあるかどうかまでは分からないが、物体種類判別部73は、指向性の強い通信を用いたり、利用者の指さしを認識することで、物体が入力領域80B内にあることの確認をすることができる。
追加的及び/又は代替的に、物体種類判別部73は、利用者が発した「データ」などの音声指示(電子機器が有するデータを取得させるための指示)に基づいて、入力領域80B内に置かれた物体が通信機能と記憶装置を有する電子機器であると判別することができる。「データ」などの音声指示により通信機能と記憶装置を有する電子機器であることが判別された場合、情報取得部74は、当該電子機器との通信によって、電子機器の記憶装置に記憶された情報を取得する。
追加的及び/又は代替的に、物体種類判別部73は、以下に説明するように、撮像部40の撮像した画像に対する画像認識及び/又は通信成立の有無などに基づいて物体の種類を判別することができる。物体の種類の候補は、例えば、通信機能及び/又は記憶装置を有する電子機器、表面に情報を表示する表示媒体(情報を表示している電子機器と、名刺、ノート、新聞、雑誌などの紙媒体を含む)、特定の意味付けがされた道具、利用者の手などを含む。物体種類判別部73は、判別用データ記憶部76Bに記憶された情報を用いて、入力領域80B内に置かれた物体の種類が、これらのうちいずれであるかを判別する。一例において、後述するような物体の形状(form (figure, aspect, shape, contour,
outline, geometric characteristic, geometric parameter, and/or graphical model)
)を検出する機能を用いることができる。
outline, geometric characteristic, geometric parameter, and/or graphical model)
)を検出する機能を用いることができる。
図5は、判別用データ記憶部76Bに記憶される情報の一例を示す図である。図5の例において、電子機器(1)とは、通信機能と記憶装置を有する電子機器であって、通信IDなどの通信に必要な情報が判明している電子機器である。電子機器(1)には、電子制御装置1の利用者が保有する通信機能付カメラ、携帯電話、又はタブレット端末などが該当する。例えば、利用者は、例えば、予め電子機器(1)の通信IDなどの情報を、電子制御装置1に登録しておく。判別用データ記憶部76Bでは、電子機器(1)に対して、例えば、対象となる電子機器(1)を複数の方向から撮像した複数の画像データを含む図形データ(DAT1)、及び通信IDなどの通信に必要な情報が対応付けられて記憶されている。なお、電子機器(1)が複数登録される場合、図形データ(DAT1)及び通信IDなどは、電子機器(1)毎に登録される。電子機器(2)、表示媒体(1)及び(2)、道具、利用者の体の一部についても同様である。なお、図形データ(DAT1〜DAT5)は、撮像画像(二次元モデルを含む)に限らず、対象となる物体の形状を表す三次元モデルであってもよい。二次元モデル及び三次元モデルは、例えば、認識対象を複数の直線及び/又はポリゴン(三角形及び/又は四角形などの組み合わせで物体を表現する場合の各要素)などで表したものであり、各直線の端点の座標、或いはポリゴンの大きさ、接続線の位置、接続角度などの情報を含む。
また、図5において、電子機器(2)とは、通信機能と記憶装置を有する電子機器であって、通信IDなどの通信に必要な情報が判明していない電子機器である。判別用データ記憶部76Bでは、電子機器(2)に対して、図形データ(DAT2)が対応付けられて記憶されている。図形データ(DAT2)は、例えば、市販されている各種通信機能付カメラ、携帯電話、又はタブレット端末などの外観を示すデータである。
また、図5において、表示媒体(1)とは、カメラ、携帯電話、タブレット端末などのうち、情報を表示している状態のものであり、通信IDなどの通信に必要な情報が判明している表示媒体である。判別用データ記憶部76Bでは、表示媒体(1)に対して、図形データ(DAT3)、及び通信IDなどの通信に必要な情報が対応付けられて記憶されている。図形データ(DAT3)は、例えば、対象となる表示媒体(1)を複数の方向から撮像した複数の画像データを含む。なお、同じ電子機器が、電子機器として扱われたり、表示媒体として扱われる場合があり得るが、この場合、電子制御装置1は、例えば、電子機器側から送信される情報などに基づいて、電子機器が、情報を表示する表示媒体として機能しているか否かを判別する。
また、図5において、表示媒体(2)とは、名刺、ノート、新聞、雑誌などの媒体である。図5では、表示媒体(2)には、特段の判別用データが対応付けられていないが、物体種類判別部73は、例えば、入力領域80B内に略矩形の物体が存在し、且つその物体が電子機器(1)、(2)、表示媒体(1)、道具、利用者の体の一部のいずれでもない場合に、物体が表示媒体(2)であると判別する。
また、図5において、道具とは、例えば、所定の色のペンなど、特定の意味付けがされた道具である。詳しくは、後述する。判別用データ記憶部76Bでは、道具に対して、図形データ4が対応付けられて記憶されている。図形データ4は、例えば、対象となる道具を複数の方向から撮像した複数の画像データを含む。
また、図5において、利用者の体の一部とは、例えば、利用者の手、顔、頭部などである。判別用データ記憶部76Bでは、利用者の体の一部に対して、図形データ6が対応付けられて記憶されている。図形データ5は、例えば、対象となる利用者の体の一部を複数の方向から撮像した複数の画像データを含む。図形データ5は、指紋、掌紋、虹彩パターンなど、高精度に人物を認証可能なものであってもよいし、利用者の体の一部の外観を示すものであってもよい。
一例において、入力領域設定部72により設定される入力領域80Bの色及び/又は形状は、物体種類判別部73が判別しようとする物体の種類(例えば、利用者が指定する)に応じて異ならせることができる。この場合、例えば、利用者は、予め判別しようとする物体の種類の範囲を絞り込む音声指示(前述した「カメラ」、「名刺」など)を発し、電子制御装置1は、絞り込まれた物体の種類の範囲に応じた色及び/又は形状で入力領域80Bを表示する。
[物体が有する情報の取得]
情報取得部74は、物体種類判別部73により種類が判別された物体が有する情報であって、物体の種類に応じた情報を取得する。情報取得部74は、物体種類判別部73により判別された物体の種類に応じて、取得する情報の態様(例えば、種別、性質、形式、量などをいう)を異ならせる。情報の態様は、記録装置に記録されている情報であったり、撮像した画像そのものの情報であったり、さらに、そこから認識される文字情報及び/又は数値情報であったりする。
情報取得部74は、物体種類判別部73により種類が判別された物体が有する情報であって、物体の種類に応じた情報を取得する。情報取得部74は、物体種類判別部73により判別された物体の種類に応じて、取得する情報の態様(例えば、種別、性質、形式、量などをいう)を異ならせる。情報の態様は、記録装置に記録されている情報であったり、撮像した画像そのものの情報であったり、さらに、そこから認識される文字情報及び/又は数値情報であったりする。
情報取得部74は、入力領域80B内に存在する物体が電子機器(1)である場合、例えば、電子機器(1)との通信によって、電子機器(1)の記憶装置に記憶された情報を取得し、取得データ記憶部76Cに記憶させる。これによって、利用者は、例えば自分の保有するカメラに記憶された写真データなどを、電子機器(1)を入力領域80Bに置くことで自動的に記憶部76に記憶させることができ、煩わしい操作を行うことなくデータの保存を行うことができる。入力領域80B内に存在する物体との通信は、電磁波又は赤外線による通信に限らず、入力領域80Bを視認させるために照射する光を用いた光通信であってもよい。
また、情報取得部74は、入力領域80B内に存在する物体が電子機器(2)である場合、例えば、電子機器(2)との通信を試行し、通信が成立した場合は、通信IDを判別用データ記憶部76Bに登録し、以降は電子機器(1)として扱う。すなわち、情報取得部74は、当該電子機器の記憶装置に記憶された情報を取得し、取得データ記憶部76Cに記憶させる。また、電子機器(2)との通信が成立しなかった場合、情報取得部74は、例えば、その旨を表示するか、或いは電子機器(2)の情報をインターネット等から収集した内容を表示するように照射部30を制御する。この電子機器(2)の情報は、取得データ記憶部76Cに記憶されてよい。また、通信が成立しなかった電子機器(2)については、表示媒体(2)として扱ってもよい。
また、情報取得部74は、入力領域80B内に存在する物体が表示媒体(1)である場合、例えば、表示媒体(1)との通信によって、表示媒体(1)が表示している情報の元データを取得し、取得データ記憶部76Cに記憶させる。これによって、利用者は、電子機器(1)の場合と同様、自分の保有するタブレット端末などが表示する電子コンテンツなどを、照射部30により机80Aなどの投射面に表示させることができる。
また、情報取得部74は、入力領域80B内に存在する物体が表示媒体(1)である場合、表示媒体(1)が表示している情報(テキスト、画像など)を、撮像部40の撮像した画像から切り出して取得し、取得データ記憶部76Cに記憶させてもよい。この場合、情報取得部74は、撮像部40の撮像した画像に対してOCR(Optical Character Reader)技術などを適用してテキストを読み取ることができる。これによって、利用者は、例えば、表示媒体(1)が表示する情報を、表示媒体(1)を入力領域80Bに置くことで拡大させて閲覧することができる。
また、情報取得部74は、入力領域80B内に存在する物体が表示媒体(2)である場合、表示媒体(1)の場合と同様、表示媒体(2)が表示している情報を、撮像部40の撮像した画像から切り出して取得し、取得データ記憶部76Cに記憶させる。この場合、情報取得部74は、撮像部40の撮像した画像に対してOCR技術などを適用してテキストを読み取ることができる。これによって、利用者は、例えば名刺に記載された氏名及び連絡先などの情報を、表示媒体(2)を入力領域80Bに置くことで自動的に記憶部76に記憶させることができ、仮想的な名刺フォルダを作成させることができる。同様に、利用者は、新聞、雑誌などの仮想的なスクラップ帳を作成させることができる。
また、情報取得部74は、入力領域80B内に存在する物体が道具である場合、予めその形状(form (figure, aspect, shape, contour, outline, geometric characteristic,
geometric parameter, and/or graphical model))及び/又は色彩と対応付けられた情
報を取得する。例えば、情報取得部74は、入力領域80B内に存在する物体が、赤いペンとノート(表示媒体(2))である場合、ノートに記載された情報の中から赤字で記載された部分を抽出したものを取得する。このように、情報取得部74が、物体種類判別部73が判別した複数の物体の種類の組み合わせに基づく情報を取得することによって、利用者は、本来は複数の入力操作を必要とする処理を、物体を入力領域80Bに置くことで行わせることができる。これによって、利用者は、既存の装置のスケールに収まらない高度な機能を利用することができる。
geometric parameter, and/or graphical model))及び/又は色彩と対応付けられた情
報を取得する。例えば、情報取得部74は、入力領域80B内に存在する物体が、赤いペンとノート(表示媒体(2))である場合、ノートに記載された情報の中から赤字で記載された部分を抽出したものを取得する。このように、情報取得部74が、物体種類判別部73が判別した複数の物体の種類の組み合わせに基づく情報を取得することによって、利用者は、本来は複数の入力操作を必要とする処理を、物体を入力領域80Bに置くことで行わせることができる。これによって、利用者は、既存の装置のスケールに収まらない高度な機能を利用することができる。
この場合、処理部75は、入力領域80B内で判別された順序が、ノート→赤いペンの順であれば、例えば、上記取得された情報(ノートに記載された情報の中から赤字で記載された部分を抽出したもの)を机80Aなどに投射するように照射部30を制御する。逆に、赤いペン→ノートの順であれば、制御部75は、例えば、ノート画像に赤いペンで書き込み可能なアプリケーションなどを起動させる。追加的及び/又は代替的に、物体種類判別部73が判別する順序は、物体が入力領域80B内に位置付けられた順序に応じて決定することができる。このように、処理部75は、物体種類判別部73が判別した複数の物体の種類の組み合わせ及び/又は判別順に基づく処理を行う。これによって、利用者は、本来は複数の入力操作を必要とする処理を、物体を入力領域80Bに置くことで行わせることができる。
処理部75が物体の種類の組み合わせ及び/又は判別順に基づいて行う処理は、利用者によって編集可能としてよい。こうすれば、利用者は、高度にカスタマイズされた電子制御装置1の機能を利用することができる。また、このような処理は、赤いペンのキャップが外されている場合にのみ行われるなど、道具の形状及び/又は状態に基づいて行われてよい。
また、情報取得部74は、入力領域80B内に存在する物体が利用者の体の一部である場合、何らかの情報から、当該利用者に関連する情報を抽出したものを取得する。例えば、情報取得部74は、入力領域80B内に存在する物体が、利用者の手と通信機能付カメラ(電子機器(1))である場合、通信機能付カメラとの通信によって取得された写真データから、当該利用者が写ったものを抽出して取得する。利用者が写った写真データの抽出に際して、情報取得部74は、公知の人物認証手法を用いてよい。例えば、情報取得部74は、顔画像における両目のサイズ、位置、目と鼻と口の位置関係、輪郭、その他の要素を数値化した特徴量に基づいて、利用者が写ったものであるか否かを判定する。
処理部75は、上記の処理の他、ユーザインターフェース部71から入力される利用者の指示に応じて、種々の処理を行い、音出力部20、照射部30、撮像部40、通信部50などを制御する。例えば、処理部75は、利用者の指示に応じて、ウェブサイト、文書、及び/又は図表などを投射面に投射したり、利用者の指定した音楽を記憶部76から読み出して再生したりするための制御を行う。また、処理部75は、入力領域80B内に存在する電子機器と通信し、電子機器のファームウェアのアップデートを支援するなどの処理を行ってもよい。
[処理フロー]
図6は、本実施形態の制御部70により実行される処理の流れを示すフローチャートの一例である。
図6は、本実施形態の制御部70により実行される処理の流れを示すフローチャートの一例である。
まず、制御部70は、入力領域80B内に物体が存在するか否かを判定する(ステップS100)。入力領域80B内に物体が存在しない場合、制御部70は、図6のフローチャートの1ルーチンを終了する。
入力領域80B内に物体が存在する場合、物体種類判別部73は、入力領域80B内に存在する物体が電子機器(1)であるか否かを判定する(ステップS102)。入力領域80B内に存在する物体が電子機器(1)である場合、情報取得部74は、入力領域80B内に存在する物体との通信により情報を取得する(ステップS104)。
入力領域80B内に存在する物体が電子機器(1)でない場合、物体種類判別部73は、入力領域80B内に存在する物体が電子機器(2)であるか否かを判定する(ステップS106)。入力領域80B内に存在する物体が電子機器(2)である場合、情報取得部74は、入力領域80B内に存在する物体との通信を試行し、通信が成立したか否かを判定する(ステップS108)。入力領域80B内に存在する物体との通信が成立した場合、情報取得部74は、入力領域80B内に存在する物体との通信により情報を取得する(ステップS104)。一方、入力領域80B内に存在する物体との通信が成立しなかった場合、情報取得部74は、例えば機器情報をインターネット等から取得して表示する(ステップS110)。
入力領域80B内に存在する物体が電子機器(2)でない場合、物体種類判別部73は、入力領域80B内に存在する物体が表示媒体(1)であるか否かを判定する(ステップS112)。入力領域80B内に存在する物体が表示媒体(1)である場合、情報取得部74は、入力領域80B内に存在する物体との通信または撮像部40の撮像した画像から情報を取得する(ステップS114)。
入力領域80B内に存在する物体が表示媒体(1)でない場合、物体種類判別部73は、入力領域80B内に存在する物体が道具である(または道具を含む)か否かを判定する(ステップS116)。入力領域80B内に存在する物体が道具である場合、情報取得部74は、入力領域80B内に存在する物体の形状及び/又は色彩と対応付けられた情報を取得する(ステップS118)。
入力領域80B内に存在する物体が道具でない場合、物体種類判別部73は、入力領域80B内に存在する物体が利用者の体の一部である(または利用者の体の一部を含む)か否かを判定する(ステップS120)。入力領域80B内に存在する物体が利用者の体の一部である場合、情報取得部74は、利用者に関連する情報を取得する(ステップS122)。
入力領域80B内に存在する物体が利用者の体の一部でない場合(従って、表示媒体(2)である場合)、物体種類判別部73は、撮像部40の撮像した画像から情報を取得する(ステップS124)。
ステップS102〜S124の処理が行われると、処理部75は、入力領域80B内に存在する物体の種類に応じた処理を行う(ステップS126)。処理部75は、上記例示したように、物体種類判別部73が判別した複数の物体の種類の組み合わせ及び/又は判別順に基づく処理を行う。
[まとめ]
従来、情報処理装置などに情報を入力するために、利用者がキーボード及び/又はマウスを使って手動で入力操作を行っていた。しかしながら、このような入力態様では、入力したい情報を利用者が解釈して自ら入力しなければならなかったり、キーボードのキー配列を利用者が覚えたり、画面を見ながら操作確認をしながら操作しなければならないといった煩わしさがあった。従って、このような入力態様を行わせるユーザインターフェースは、直感的なユーザインターフェースとはいえず、情報アクセスのストレス要因となっていた。
従来、情報処理装置などに情報を入力するために、利用者がキーボード及び/又はマウスを使って手動で入力操作を行っていた。しかしながら、このような入力態様では、入力したい情報を利用者が解釈して自ら入力しなければならなかったり、キーボードのキー配列を利用者が覚えたり、画面を見ながら操作確認をしながら操作しなければならないといった煩わしさがあった。従って、このような入力態様を行わせるユーザインターフェースは、直感的なユーザインターフェースとはいえず、情報アクセスのストレス要因となっていた。
これに対し、本実施形態の電子制御装置1は、入力領域80B内に存在する物体の種類を判別し、判別された物体の種類に応じた情報を取得するため、利用者は、コマンドの入力などの煩わしい操作を行う必要がなく、情報を有する物体を入力領域80Bに置くことで情報を電子制御装置1に取得させることができる。このため、電子制御装置1は、利便性が高いものである。
また、本実施形態の電子制御装置1は、物体の種類に応じた情報を取得することにより、取得された情報から派生する種々の便利な機能を実現することができる。
[照射部30と撮像部40の構成]
なお、本実施形態において、照射部30と撮像部40は、光学系を共通にして一体に構成することができる。以下、光学系が一体に構成された照射部30と撮像部40とを含む装置を、撮像照射装置C1と称する。
なお、本実施形態において、照射部30と撮像部40は、光学系を共通にして一体に構成することができる。以下、光学系が一体に構成された照射部30と撮像部40とを含む装置を、撮像照射装置C1と称する。
図7は、撮像照射装置C1の構成の一例を示す構成図である。図7において、撮像照射装置C1は、照射光生成部C12、入出光分離部C131、光学部C132、及び固体撮像部C141を備える。
照射光生成部C12は、制御部12からの制御に基づいて、照射する画像を表す光を生成し、生成した光を出力する。
入出光分離部C131は、光学部C132と照射光生成部C12の間の光路上であって、光学部C132と固体撮像部C141の間の光路上に設けられている。入出光分離部C131は、撮像照射装置C1が外部へ出射する出射光と、外部から撮像照射装置C1へ入射する入射光の光路を分離する。例えば、入出光分離部C131は、照射光生成部C12から入射された光の少なくも一部を透過し、光学部C132から入射された光の少なくも一部を反射する。入出光分離部C131は、例えばハーフミラーであり、入射した光の一部を反射し、一部を透過する。
光学部C132は、例えば複数枚のレンズで構成される。固体撮像部C141は、例えば、CMOS(相補性金属酸化膜半導体)イメージセンサである。
照射光生成部C12から出力された光は、入出光分離部C131を透過し、光学部C132を介して照射される。一方、撮像照射装置C1の外部から光学部C132へ入射された光は、入出光分離部C131で反射された後、反射部C140で反射される。反射部C140で反射された光は、固体撮像部C141へ入射し、光電変換によって、画像を示すデータに変換される。これにより、撮像照射装置C1は、照射と撮像で光学部C132を共通にすることができる。また、撮像照射装置C1は、照射と撮像の光軸を同じにすることができる。
以上のように、撮像照射装置C1は、照射と撮像で光軸を同じにすることができる。これにより、制御部70は、照射したスポットを同じ光軸の撮像画像でそのまま認識できるので、スポットの調整を容易に行うことができる。また、撮像照射装置C1は、光学系を共通にするので、光学系を共通にしない場合と比較して、スペースを省くことができ、また、コストを下げることができる。また、利用者は、光学系から光が照射されているので、撮像されていることに気づき難い場合がある。これにより、利用者は、カメラで撮影されていることを意識することなく、電子制御装置1を利用することができる。
なお、撮像照射装置C1において、照射と撮像で、独立して焦点を合わせる機能を有してもよい。例えば、撮像照射装置C1は、光学部C132と照射光生成部C12の間の光路上に可動レンズが設けられてもよい。また、撮像照射装置C1は、光学部C132と固体撮像部C141の間の光路上に可動レンズが設けられてもよいし、固体撮像部C141が可動である構成であってもよい。これにより、撮像照射装置C1は、照射と撮像各々で、焦点を合わせることができる。
[ハードウェア構成等]
前述した実施形態における電子制御装置1および通信装置200は、内部にコンピュータシステムを有している。「コンピュータシステム」は、CPU(Central Processing
Unit)、RAM等のメモリ装置、ROM、HDD、フラッシュメモリ等の記憶装置、記憶媒体を装着可能なドライブ装置、周辺機器等のハードウェアを含むものである。
前述した実施形態における電子制御装置1および通信装置200は、内部にコンピュータシステムを有している。「コンピュータシステム」は、CPU(Central Processing
Unit)、RAM等のメモリ装置、ROM、HDD、フラッシュメモリ等の記憶装置、記憶媒体を装着可能なドライブ装置、周辺機器等のハードウェアを含むものである。
そして、電子制御装置1のユーザインターフェース部71、入力領域設定部72、物体種類判別部73、情報取得部74、処理部75などの動作の過程は、例えば、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。なお、上記各機能部の処理が、全てプログラムを実行することによって行われる必要は無く、一部の機能部は、IC(Integrated Circuit)、LSI(Large Scale Integration)、ネットワークカードなどのハードウェアによって実現されてもよい。
なお、上記実施形態では、照射部30が投射する光によって入力範囲を決定していたが、これに代えて、ディスプレイなどの表示部が入力範囲を表示することで入力範囲を決定してもよい。このような表示部が用いられる例としては、上記実施形態における机80Aの天板面の全面または一部が液晶ディスプレイで構成されている場合、又は有機ELによるフレキシブルなディスプレイが部屋の壁面に貼付されている場合などが挙げられる。この場合、表示部は、利用者の特定の動作及び/又は音声に基づいて決定された入力範囲を示す円形、又は矩形などの画像を表示する。さらに、表示部は、入力範囲を示す光を表示するだけでなく、情報取得部74が取得した情報を表示する機能も有する。なお、電子制御装置1を構成する表示部と撮像部40は、それぞれ離れた場所に設置されてもよい。そして、他の実施形態における電子制御装置1は、上記実施形態における照射部30を表示部に置き換えることにより、上記実施形態の全ての機能を実現することができる。
次に、図面を参照しながら、本発明の別の実施形態について詳しく説明する。
図8は、本実施形態に係る電子制御装置1001の使用の一例を表す概略図である。この図において、電子制御装置1001は、部屋の天井に取り付けられている。電子制御装置1001は、撮像された物体の形状(form (figure, aspect, shape, contour, outlin
e, geometric characteristic, geometric parameter, and/or graphical model))に応
じて、情報を入力できる範囲(情報入力範囲と称する)を決定する。例えば、電子制御装置1001は、使用者の手の形状に応じて、情報入力範囲を決定する。電子制御装置1001は、決定した情報入力範囲を示す光を照射する。この図では、この光に照らされた被照射面に、スポットS11、S12が出現している。そして、電子制御装置1001は、光が照射されている状態において、情報入力範囲内で情報の入力を可能とする。
e, geometric characteristic, geometric parameter, and/or graphical model))に応
じて、情報を入力できる範囲(情報入力範囲と称する)を決定する。例えば、電子制御装置1001は、使用者の手の形状に応じて、情報入力範囲を決定する。電子制御装置1001は、決定した情報入力範囲を示す光を照射する。この図では、この光に照らされた被照射面に、スポットS11、S12が出現している。そして、電子制御装置1001は、光が照射されている状態において、情報入力範囲内で情報の入力を可能とする。
なお、各スポットは、その態様(例えば、大きさ、色、模様、又は形状)が同じであってもよいし、互いに異なってもよい。例えば、図8のスポットS11、S12は、大きさ及び色が互いに異なっている。
使用者U11は、レシート(領収書)R11の内容を、電子制御装置1001に読み込ませようとしている。ここで、使用者U11は、片手の形状に応じて、電子制御装置1001にスポットS11を出現させている。使用者U11がレシートR11をスポットS11内に置いた場合、電子制御装置1001は、例えば、文字解析によってレシートR11の記載内容を読み込む。
使用者U12は、電子制御装置1001による表示D12を参照し、製品R12の情報を調べようとしている。ここで、使用者U12は、両手の形状に応じて、電子制御装置1001にスポットS12を出現させている。使用者U12が製品R12をスポットS12内に置いた場合、電子制御装置1001は、例えば、製品R12を認識し、認識した製品R12が有する情報を取得する。例えば、電子制御装置1001は、表示D12によってカメラの情報を表示しているとき、画像解析によって、製品R12がレンズであることを認識する。この場合、電子制御装置1001は、認識したレンズと表示D12のカメラに互換性があるか否かの情報を取得する。電子制御装置1001は、この取得した情報を、表示及び/又は音によって使用者に知らせる。
<電子制御装置1001について>
図9は、本実施形態に係る電子制御装置1001の構成を示す概略ブロック図である。この図において、電子制御装置1001は、撮像部1010、音入力部1011、制御部1012、通信部1013、照射部1014、音出力部1015、及び電力供給部1016を含んで構成される。
図9は、本実施形態に係る電子制御装置1001の構成を示す概略ブロック図である。この図において、電子制御装置1001は、撮像部1010、音入力部1011、制御部1012、通信部1013、照射部1014、音出力部1015、及び電力供給部1016を含んで構成される。
撮像部1010は、例えばカメラである。撮像部1010は、撮像した画像を示すデータを制御部1012へ出力する。
音入力部1011は、例えばマイクである。音入力部1011は、音をデータに変換し、変換したデータを制御部1012へ出力する。
制御部1012は、例えばCPU(中央演算処理装置)と記憶装置である。制御部1012は、撮像部1010及び音入力部1011から入力されたデータに基づいて処理を行う。例えば、制御部1012は、情報入力範囲を決定する入力範囲決定処理を行う。また、制御部1012は、情報入力範囲を示す光が照射されている状態において、情報入力範囲内から情報を取得することで、情報入力範囲内で情報の入力が可能となる。
なお、制御部1012は、通信部1013を介して他の装置と通信を行い、通信で取得した情報に基づいて処理を行ってもよい。制御部1012は、情報処理の結果に基づいて、照射部1014及び音出力部1015を制御する。
通信部1013は、有線又は無線によって、他の装置と通信を行う。
照射部1014は、例えばプロジェクタである。照射部1014は、制御部1012からの制御に基づいて、光を照射する。なお、撮像部1010と照射部1014は、一体に構成されてもよい(図7参照)。代替的に、撮像部1010と照射部1014とは互いに離して配置可能である。照射部1014は、制御部1012が決定した情報入力範囲を示す光を照射する。
音出力部1015は、例えばスピーカである。音出力部1015は、制御部1012からの制御に基づいて、音を出力する。なお、音出力部1015は、指向性スピーカであってもよい。
電力供給部1016は、内部又は外部の電源から電力を取得し、電子制御装置1001の各部へ電力を供給する。電力供給部1016は、例えばコンセント又は照明器具取り付け用ソケットを介して、電力を取得する。
<入力範囲決定処理について>
図10は、本実施形態に係る入力範囲決定処理の一例を表す概略図である。例えば、使用者は、中指、薬指及び小指を閉じたまま、親指と人差指を開いてL字型(L字形状と称する)とする。制御部1012は、L字形状を検出した場合に、L字形状に応じて情報入力範囲を決定する。
図10は、本実施形態に係る入力範囲決定処理の一例を表す概略図である。例えば、使用者は、中指、薬指及び小指を閉じたまま、親指と人差指を開いてL字型(L字形状と称する)とする。制御部1012は、L字形状を検出した場合に、L字形状に応じて情報入力範囲を決定する。
具体的には、使用者U11は、片手H11をL字型形状にして、情報入力範囲を指定している。制御部1012は、撮像画像中の手H11について、2本の指を直線(近似直線と称する)で近似する。制御部1012は、2本の近似直線に接する円を、情報入力範囲として決定する。例えば、制御部1012は、直線L110と直線L111に接する円であって予め定められた半径r11の円を情報入力範囲に決定する。電子制御装置1001がこの情報入力範囲に光を照射することで、スポットS11が出現する。
このように、制御部1012は、手の形状に応じて線を検出し、検出した2本の線に応じて情報入力範囲の位置を決定する。これにより、使用者U11は、手の形状に応じて、スポットS11の位置を指定でき、所望の位置で情報入力をすることができる。
制御部1012は、両手の形状に応じて、情報入力範囲の大きさを決定してもよい。使用者U12は、両手H12(左手H120、右手H121)をL字型形状にして、情報入力範囲を指定している。制御部1012は、撮像画像中の手H120、H121各々について、2本の指を近似直線で近似し、近似直線のうち3本に接する円を、情報入力範囲に決定する。例えば、制御部1012は、直線L120と直線L121のなす角の2等分線L124を特定する。制御部1012は、線L124上に中心がある円であって、線L121に接する円を情報入力範囲に決定する。電子制御装置1001がこの情報入力範囲に光を照射することで、スポットS12が出現する。
このように、制御部1012は、手の形状に応じて線を検出し、検出した3本の線に応じて情報入力範囲の位置及び大きさを決定する。これにより、使用者U12は、手の形状に応じて、スポットS12の位置及び大きさを指定でき、所望の位置及び大きさの範囲で情報入力をすることができる。
<制御部1012について>
図11は、本実施形態に係る制御部1012の構成を示す概略ブロック図である。この図において、制御部1012は、画像変換部120、使用者決定部121、形状検出部122、入力範囲決定部123、入力範囲情報記憶部124、入力範囲制御部125、入力取得部126、及び処理部127を含んで構成される。
図11は、本実施形態に係る制御部1012の構成を示す概略ブロック図である。この図において、制御部1012は、画像変換部120、使用者決定部121、形状検出部122、入力範囲決定部123、入力範囲情報記憶部124、入力範囲制御部125、入力取得部126、及び処理部127を含んで構成される。
画像変換部120は、撮像部1010が撮像した画像の座標と、情報処理に用いる画像(撮像画像と称する)の座標を、座標変換するためのマッピング情報を記憶する。また、画像変換部120は、照射部1014が照射する画像と、情報処理に用いる画像(照射画像と称する)の座標を、座標変換するためのマッピング情報を記憶する。マッピング情報は、例えば、撮像した画像及び/又は照射された画像が歪む場合に、その歪みを補正するための情報である。
画像変換部120は、マッピング情報に基づいて、撮像部1010から入力されたデータが示す画像を撮像画像へ変換し、撮像画像を使用者決定部121及び形状検出部122へ出力する。また、画像変換部120は、マッピング情報に基づいて、入力範囲制御部125及び処理部127から入力されたデータが示す照射画像を変換し、変換後の画像を照射部1014に照射させる。
使用者決定部121は、画像変換部120から入力された撮像画像に基づいて、撮像画像中の使用者を識別し、識別した使用者の使用者識別情報を入力範囲決定部123へ出力する。具体的には、使用者決定部121は、撮像画像から物体を認識し、認識した物体の特徴量(feature value, characteristic parameters)を算出する。使用者決定部121
は、使用者識別情報と特徴量の組を予め記憶し、記憶している特徴量のいずれかと算出した特徴量と記憶している特徴量が一致するか否かを判定する。
は、使用者識別情報と特徴量の組を予め記憶し、記憶している特徴量のいずれかと算出した特徴量と記憶している特徴量が一致するか否かを判定する。
特徴量が一致すると判定した場合、使用者決定部121は、撮像画像中の使用者が予め登録された使用者であると判定する。この場合、使用者決定部121は、特徴量が一致した使用者識別情報を抽出し、抽出した使用者識別情報を入力範囲決定部123へ出力する。
一方、特徴量が一致しないと判定した場合、使用者決定部121は、撮像画像中の使用者部分から特徴量を算出する。使用者決定部121は、新たな使用者識別情報を生成し、生成した使用者識別情報と算出した特徴量の組を記憶する。この場合、使用者決定部121は、生成した使用者識別情報を入力範囲決定部123へ出力する。
形状検出部122は、画像変換部120から入力された撮像画像に基づいて、スポット照射指示を検出する。スポット照射指示とは、例えば、使用者による特定のジェスチャ(例えば、身振り、手振り)であって、スポットの出現、つまり、情報入力を要求する指示である。具体的には、形状検出部122は、スポット照射指示を示す物体の形状(照射指示形状と称する)について、特徴量を予め記憶する。形状検出部122は、この特徴量と同一又は類似する特徴量を持つ部分を、撮像画像から検出することにより、スポット照射指示を検出する。スポット照射指示を検出した場合、形状検出部122は、検出した照射指示形状を示す情報を、入力範囲決定部123へ出力する。
入力範囲決定部123は、形状検出部122から入力された情報が示す照射指示形状に応じて、情報入力範囲を決定する。例えば、入力範囲決定部123は、照射指示形状に応じて、情報入力範囲の位置、大きさ、形状、色、又は模様のうち、一部或いは全部を決定する。入力範囲決定部123は、使用者決定部121から入力された使用者識別情報、及び、決定した情報入力範囲を示す情報を対応付け、対応付けた情報(入力範囲情報と称する)を、入力範囲情報記憶部124に記憶させる。
入力範囲制御部125は、入力範囲情報記憶部124が記憶する入力範囲情報に基づいて、情報入力範囲を示す光の画像を含む照射画像を生成する。入力範囲制御部125は、生成した照射画像を、画像変換部120へ出力する。これにより、照射部1014は、情報入力範囲を示す光を照射し、スポットが出現することとなる。また、入力範囲制御部125は、撮像画像と入力範囲情報に応じて、情報入力範囲を調整することで、スポットの位置及び/又は大きさを変えてもよい。
入力取得部126は、撮像画像と入力範囲情報に応じて、処理画像中のスポット、つまり、情報入力範囲を特定する。入力取得部126は、撮像画像から、スポット内の画像を取得する。
処理部127は、入力取得部126が取得した画像に基づいて、スポット内の物体が有する情報を取得する。すなわち、処理部127は、情報入力範囲において、その中で認識した物体の持つ情報を取得する。例えば、処理部127は、スポット内の物体の画像を取得する。また例えば、処理部127は、スポット内の物体の特徴量を取得してもよい。また例えば、処理部127は、文字解析を行って、スポット内の物体に記載された文字の文書データを取得してもよい。
処理部127は、取得した画像、特徴量、又は文書データに基づいて、スポット内の物体を特定し、物体に関する情報(商品名等)を取得してもよい。また例えば、処理部127は、取得した画像又は文書データを印刷させてもよい。また、処理部127は、取得した画像又は文書データに基づいて、インターネットで検索した検索結果を取得してもよいし、文書データを本文とし、撮像画像を添付したメールを生成してもよい。
処理部127は、取得した情報に基づいて、照射画像を生成してもよい。これにより、照射部1014は、処理部127が取得した情報に基づいて、情報を表示できる。ここで、処理部127は、入力範囲情報に応じて、情報入力範囲を避けた位置及び大きさで情報を表示させてもよい。これにより、電子制御装置1001は、スポットと照射された表示が重なることで、表示が見難くなることを防止できる。また、処理部127は、取得した情報に基づいて、音データを生成してもよい。電子制御装置1001は、処理部127が取得した情報に基づいて、音を出力できる。
<動作について>
図12は、本実施形態に係る電子制御装置1001の動作の一例を示すフローチャートである。
図12は、本実施形態に係る電子制御装置1001の動作の一例を示すフローチャートである。
(ステップS1101)
使用者決定部121は、撮像画像中の使用者の特徴量に基づいて、使用者を決定する。なお、使用者決定部121は、新たな使用者を検出した場合、新たな使用者識別情報を生成して登録する。その後、ステップS1102へ進む。
使用者決定部121は、撮像画像中の使用者の特徴量に基づいて、使用者を決定する。なお、使用者決定部121は、新たな使用者を検出した場合、新たな使用者識別情報を生成して登録する。その後、ステップS1102へ進む。
(ステップS1102)
形状検出部122は、照射指示形状を検出したか否かを判定することで、ステップS1101で決定した使用者がスポット照射指示を行ったか否かを判定する。その後、ステップS1103へ進む。
形状検出部122は、照射指示形状を検出したか否かを判定することで、ステップS1101で決定した使用者がスポット照射指示を行ったか否かを判定する。その後、ステップS1103へ進む。
(ステップS1103)
入力範囲決定部123は、ステップS1102で検出した照射指示形状に応じて、情報入力範囲を決定する。その後、ステップS1104へ進む。
入力範囲決定部123は、ステップS1102で検出した照射指示形状に応じて、情報入力範囲を決定する。その後、ステップS1104へ進む。
(ステップS1104)
入力範囲制御部125は、ステップS1103で決定した情報入力範囲を示す光を、照射部1014に照射させる。これにより、スポットが出現する。その後、ステップS1105へ進む。
入力範囲制御部125は、ステップS1103で決定した情報入力範囲を示す光を、照射部1014に照射させる。これにより、スポットが出現する。その後、ステップS1105へ進む。
(ステップS1105)
入力取得部126は、スポット内の画像を取得する。処理部127は、入力取得部126が取得した画像に基づいて、スポット内の物体が有する情報を取得する。その後、処理を終了する。ただし、ステップS1105の終了後、ステップS1102に戻ってもよいし、定期的にステップS1105の処理を続けてもよい。
入力取得部126は、スポット内の画像を取得する。処理部127は、入力取得部126が取得した画像に基づいて、スポット内の物体が有する情報を取得する。その後、処理を終了する。ただし、ステップS1105の終了後、ステップS1102に戻ってもよいし、定期的にステップS1105の処理を続けてもよい。
以上のように、本実施形態では、制御部1012は、物体の形状に応じて情報入力範囲を決定する。照射部1014は、この情報入力範囲を示す光を照射し、スポットが出現することとなる。これにより、使用者は、スポットを見て、情報入力範囲を確認できる。また、使用者は、物体の形状によってスポットを指定でき、指定したスポット内で情報入力をすることができる。また、制御部1012は、ジェスチャ(例えば、使用者が手を照射指示形状にする)を検出し、検出したジェスチャに応じて、情報入力範囲を決定する。これにより、使用者は、例えば特定の電子機器を把持して操作することなく、ジェスチャによってスポットを指定でき、指定したスポット内で所望の情報入力をすることができる。
また、制御部1012は、物体の形状に応じて情報入力範囲の位置及び大きさを決定する。これにより、使用者は、物体の形状によってスポットの位置や大きさを指定でき、指定した位置や大きさの範囲で情報入力をすることができる。
例えば、図8において、使用者U11、U12は、手の形状で、それぞれ、スポットS11、S12の位置又は大きさを指定できる。なお、使用者U11は、レシートR11が製品R11と比較して小さいので、スポットS11より小さなスポットS11を出現させている。使用者は、スポットS11とレシートR11を同程度の大きさ(広さ、範囲、面積、又は幅)とすることで、他の物体がスポットS11内に含まれることを防止でき、電子制御装置1001が他の物体の情報を読み込んでしまうことを防止できる。
また、制御部1012は、物体の形状に応じて直線を検出し、検出した直線のうち少なくとも2個に応じて、情報入力範囲の位置又は大きさを決定する。このように、制御部1012は、直線で位置又は大きさを決定するので、曲線の場合と比較して低い負荷で位置又は大きさを決定できる。
制御部1012は、情報入力範囲内において、物体が有する情報を取得する。これにより、使用者は、物体そのものが持つ情報を容易に取得させることができる。また、情報入力範囲が示されているので、使用者は、所望の物体、又は物体の部分のみが有する情報を取得させることができる。
<第1変形例>
制御部1012は、使用者の片手の形状に応じて、情報入力範囲の位置及び大きさを決定してもよい。例えば、使用者は、指先でスポットの位置を指定し、2本の指の間隔でスポットの大きさを指定する。
制御部1012は、使用者の片手の形状に応じて、情報入力範囲の位置及び大きさを決定してもよい。例えば、使用者は、指先でスポットの位置を指定し、2本の指の間隔でスポットの大きさを指定する。
図13は、本実施形態の第1変形例に係る入力範囲決定処理の一例を表す概略図である。
図13(A)のスポットS21は、手H21の形状に応じて出現するスポットの一例である。図13(B)のスポットS22は、手H22の形状に応じて出現するスポットの一例である。制御部1012は、使用者の人差指の先端を、情報入力範囲の中心(又は重心)に決定する。図13では、スポットS21、S22の中心P21、P22は、人差指の先端となっている。
図13(A)のスポットS21は、手H21の形状に応じて出現するスポットの一例である。図13(B)のスポットS22は、手H22の形状に応じて出現するスポットの一例である。制御部1012は、使用者の人差指の先端を、情報入力範囲の中心(又は重心)に決定する。図13では、スポットS21、S22の中心P21、P22は、人差指の先端となっている。
制御部1012は、親指と人差指の間隔に応じて、情報入力範囲を決定する。具体的には、制御部1012は、親指の近似直線と人差指の近似直線のなす角度、及び円の半径を対応付けた情報を、予め記憶する。制御部1012は、この情報と、親指の近似直線と人差指の近似直線のなす角度を検出し、検出した角度に応じて、円の半径を決定する。例えば、制御部1012は、検出した角度が大きい程、情報入力範囲を大きくし、逆に、検出した角度が小さい程、情報入力範囲を小さくする。図13では、線L220と線L221のなす角R22は、線L210と線L211のなす角R21より小さい。このため、スポットS22の半径r22は、スポットS21の半径r21より小さくなる。
このように、制御部1012は、物体の形状に関する複数の直線を検出し、それぞれの直線の位置関係に応じて前記情報入力範囲の大きさを決定する。また、制御部1012は、2つの直線に接する円を、前記情報入力範囲として決定する。なお、制御部1012は、2つの直線に接する図形(例えば、多角形)を情報入力範囲として決定してもよい。
なお、制御部1012は、スポットを出現させた後に、使用者が親指と人差指の間隔を変化させた場合、出現させたスポットの大きさを変化させてもよい。これにより、使用者は、出現したスポットを見ながら、スポットの大きさを調整できる。
制御部1012は、情報入力範囲の半径をr2×R2/90に決定してもよい。ここで、r2は半径の基準値であり、R2は親指の近似直線と人差指の近似直線のなす角度である。また、制御部1012は、人差指の長さに応じてr2を決定してもよく、例えば、人差指の付根から先端までの長さをr2としてもよい。
<第2変形例>
制御部1012は、物体の形状に応じて、情報入力範囲を消滅させてもよい(入力範囲消滅処理という)。制御部1012は、スポット消滅指示に関する物体の形状(消滅指示形状と称する)について、消滅指示形状の特徴量を予め記憶する。制御部1012は、この特徴量と同一又は類似する特徴量を持つ部分を、撮像画像から検出することにより、スポット消滅指示を検出する。例えば、使用者は、手の甲を下(電子制御装置1001の逆側)にし、手のひらを上(電子制御装置1001側)にすることで、スポット消滅指示をする。
制御部1012は、物体の形状に応じて、情報入力範囲を消滅させてもよい(入力範囲消滅処理という)。制御部1012は、スポット消滅指示に関する物体の形状(消滅指示形状と称する)について、消滅指示形状の特徴量を予め記憶する。制御部1012は、この特徴量と同一又は類似する特徴量を持つ部分を、撮像画像から検出することにより、スポット消滅指示を検出する。例えば、使用者は、手の甲を下(電子制御装置1001の逆側)にし、手のひらを上(電子制御装置1001側)にすることで、スポット消滅指示をする。
図14は、本実施形態の第2変形例に係る入力範囲消滅処理の一例を表す概略図である。この図において、手H311は、消滅指示形状であり、照射指示形状のまま手の表裏を返した場合の形状である。制御部1012は、爪N31、N32、及び/又はN33を示す特徴量、及び/又は手のひらの筋(生命線)を示す特徴量を検出することで、スポット消滅指示を検出する。この場合、制御部1012は、その消滅指示形状の少なくとも一部を含むスポットS31を消滅させる。このように、制御部1012は、特定のジェスチャにより情報入力範囲を消滅させる。これにより、使用者は、スポットを消滅させることができる。
また、入力範囲消滅処理の他の一例として、スポットS31が表示されている状態で、親指と人差し指との角度を狭めるにつれてスポットS31が徐々に小さくなり、親指の指先と人差し指の指先が接触した時点でスポットS31が消滅する態様が挙げられる。このように、制御部1012は、スポットの位置又は大きさ指定する指同士が、接した場合又は交差した場合に、入力範囲消滅処理を行ってもよい。また、制御部1012は、物体の形状に応じて情報入力範囲の大きさが調整されたとき、情報入力範囲が大きさを持たなくなる場合又は予め定められた大きさより小さくなる場合に、入力範囲消滅処理を行ってもよい。
なお、制御部1012は、スポット消滅指示を検出した場合、その消滅指示形状が指し示す情報入力範囲のみを消滅させてもよい。また、制御部1012は、スポット消滅指示を検出した場合、そのスポット消滅指示をした使用者の情報入力範囲の全てを消滅させてもよい。
<第3変形例>
照射指示形状及び/又は消滅指示形状は、L字形状でなくてもよい。また、制御部1012は、物体の形状に応じて面を検出し、検出した面の辺に応じて情報入力範囲を決定してもよい。また、制御部1012は、物体の形状に応じて線又は辺を検出し、検出した線又は辺で構成される図形に応じて情報入力範囲を決定してもよい。
照射指示形状及び/又は消滅指示形状は、L字形状でなくてもよい。また、制御部1012は、物体の形状に応じて面を検出し、検出した面の辺に応じて情報入力範囲を決定してもよい。また、制御部1012は、物体の形状に応じて線又は辺を検出し、検出した線又は辺で構成される図形に応じて情報入力範囲を決定してもよい。
図15は、本実施形態の第3変形例に係る入力範囲決定処理の一例を表す概略図である。この図において、手H41、H420、及びH421は、L字形状より、親指と人差指の間隔を狭めている。制御部1012は、手H41の形状に応じて面A410、A411を検出している。制御部1012は、検出した面A410の辺と面A411の辺に応じて情報入力範囲を決定し、スポットS41を出現させる。このように、制御部1012は、物体の形状に応じて面を検出し、検出した面の辺のうち少なくとも2個に応じて、情報入力範囲の位置又は大きさを決定してもよい。
制御部1012は、手H420、H421の形状に応じて、親指と人差指の付根(点P420、P421)を検出し、付根から人差指の指し示す方向の交点P422を検出している。制御部1012は、点P420、P421、P422を結ぶ三角形に応じて、その三角形の内接する図形(図15では内接円)を情報入力範囲に決定し、スポットS42を出現させる。なお、制御部1012は、三角形の外接する図形(例えば外接円)を情報入力範囲に決定してもよい。
<第4変形例>
制御部1012は、物体の形状に応じて曲線を検出し、検出した曲線に応じて情報入力範囲を決定してもよい。
図16は、本実施形態の第4変形例に係る入力範囲決定処理の一例を表す概略図である。この図において、使用者は、指を曲げている。
制御部1012は、物体の形状に応じて曲線を検出し、検出した曲線に応じて情報入力範囲を決定してもよい。
図16は、本実施形態の第4変形例に係る入力範囲決定処理の一例を表す概略図である。この図において、使用者は、指を曲げている。
図16(A)では、制御部1012は、手H51の形状に応じて線L510を検出している。制御部1012は、線L510に接する円を情報入力範囲に決定し、スポットS51を出現させる。なお、制御部1012は、図16(A)のように、手H51に重ならないように、スポットS51を出現させてもよい。
図16(B)では、制御部1012は、手H520の形状に応じて線L520、L521を検出し、手H521の形状に応じて線L522、L523を検出ている。ここで、線L520、L522は親指の輪郭を表し、線L521、L523は人差指の輪郭を表す。
制御部1012は、人差指の輪郭を表す線L521及びL523に接する円を情報入力範囲に決定し、スポットS52を出現させる。なお、制御部1012は、図16(B)のように、手H520、H521のうち、親指を除く範囲に重なるように(外接するように)、スポットS52を出現させてもよい。また、制御部1012は、親指を含む手H520、H521の全てに重なるように、スポットS52を出現させてもよい。
制御部1012は、人差指の輪郭を表す線L521及びL523に接する円を情報入力範囲に決定し、スポットS52を出現させる。なお、制御部1012は、図16(B)のように、手H520、H521のうち、親指を除く範囲に重なるように(外接するように)、スポットS52を出現させてもよい。また、制御部1012は、親指を含む手H520、H521の全てに重なるように、スポットS52を出現させてもよい。
(Cl.7:曲線に近似する図形に決定)
図16(C)では、制御部1012は、両手H530、H531を組み合わせた形状に応じて線L53を検出している。制御部1012は、線L53に接する円を情報入力範囲に決定し、スポットS53を出現させる。
図16(C)では、制御部1012は、両手H530、H531を組み合わせた形状に応じて線L53を検出している。制御部1012は、線L53に接する円を情報入力範囲に決定し、スポットS53を出現させる。
図16(D)では、制御部1012は、手H540の形状に応じて線L540を検出し、手H541の形状に応じて線L541を検出ている。制御部1012は、線L540及びL541に接する円を情報入力範囲に決定し、スポットS54を出現させる。
スポットS53、S54のように、制御部1012は、使用者の両手の開き具合に応じて、情報入力範囲を決定してもよい。また、図16のように、制御部1012は、手の甲側ではなく、手のひら側に情報入力範囲を位置させてもよい。
また、制御部1012は、物体の形状に関する曲線を検出し、検出した曲線に近似する図形を、情報入力範囲として決定してもよい。例えば、制御部1012は、図16では、多角形よりも曲線に近似する円を、情報入力範囲として決定している。一方、制御部1012は、図10のように直線を検出した場合には、多角形(例えば四角形)を情報入力範囲として決定してもよい。なお、近似とは、例えば、曲線の一部の形状が図形の縁の一部と同じ形状(相似形状を含む)であり、同じ形状部分の数が多いもの及び/又は同じ形状部分の長さの総和が長いものであってもよい。また、近似とは、曲線と接するものであってもよく、接点の数が多いもの及び/又は接する部分の長さの総和が長いものであってもよい。
<第5変形例>
制御部1012は、スポットを出現する際に、スポットの位置及び/又は大きさを変化させてもよい。
制御部1012は、スポットを出現する際に、スポットの位置及び/又は大きさを変化させてもよい。
図17は、本実施形態の第5変形例に係る電子制御装置1001の処理の一例を表す概略図である。
図17(A)のスポットS61は、最初に出現するスポットの一例である。図17(B)のスポットS62は、途中段階で出現するスポットの一例である。図17(C)のスポットS63は、最終的に出現するスポットの一例である。
図17(A)のスポットS61は、最初に出現するスポットの一例である。図17(B)のスポットS62は、途中段階で出現するスポットの一例である。図17(C)のスポットS63は、最終的に出現するスポットの一例である。
図17(A)では、制御部1012は、決定した情報入力範囲より小さなスポットS61を出現させている。その後、制御部1012は、スポットS61の大きさを、段々と大きく変化させる。その結果、図17(C)では、制御部1012は、スポットが線L610及びL611に接したことを検出し、スポットS63となった場合には、変化を停止する。
一方、スポットS61の大きさを変化させた結果、制御部1012は、スポットが線L610及びL611に接しなかった場合には、情報入力範囲の位置又は大きさを調整してもよい。図17(B)において、制御部1012は、スポットS62が線L611を超えたことを検出した場合、情報入力範囲の位置又は大きさを変更する。その結果、図17(C)では、制御部1012は、スポットが線L610及びL611に接したことを検出し、スポットS63となった場合には、変化を停止する。
このように、制御部1012は、情報入力範囲を段々と変化させることにより、スポットと情報入力範囲のずれを調整でき、スポットと情報入力範囲を一致させることができる。
<第6変形例>
制御部1012は、情報入力範囲の形状を、任意の形状(例えば、多角形、星型、使用者が登録した形状)に決定してもよい。例えば、制御部1012は、使用者個人の紋章を登録しておき、その紋章の態様を情報入力範囲の態様としてもよい。これにより、使用者は、スポットの態様を見て、そのスポットが自分専用のスポットであることを直感的に理解できる。また、制御部1012は、物体の形状に応じて、情報入力範囲の位置、大きさ、方向、又は形状を決定してもよい。
制御部1012は、情報入力範囲の形状を、任意の形状(例えば、多角形、星型、使用者が登録した形状)に決定してもよい。例えば、制御部1012は、使用者個人の紋章を登録しておき、その紋章の態様を情報入力範囲の態様としてもよい。これにより、使用者は、スポットの態様を見て、そのスポットが自分専用のスポットであることを直感的に理解できる。また、制御部1012は、物体の形状に応じて、情報入力範囲の位置、大きさ、方向、又は形状を決定してもよい。
図18は、本実施形態の第6変形例に係る電子制御装置1001の使用の別の一例を表す概略図である。この図において、スポットS11、S12は、図8のものと同じである。
使用者U13は、資料を複写(コピー)しようとしている。ここで、使用者U13は、電子制御装置1001にスポットS13を出現させている。電子制御装置1001は、資料R131を撮像し、撮像した資料R131の画像をプリンタ又はコピー機(図示せず)に印刷させる。スポットS13によって情報入力範囲が示されているので、使用者U13は、例えば、コピー対象の資料R131のみをスポットS13の中に置き、コピー対象でない資料R132をスポットS13の外に置くことができ、資料R131のみを複写できる。また、使用者U13は、スポットS13を資料R131と同じ長方形とし、その領域内に置かれる物体と類似した形状としている。これにより、使用者U13は、スポットS13が物体と類似しない形状(例えば、円形)である場合と比較して、狭い場所で資料R132を複写でき、スポットS13以外の領域を広く活用できる。
また、使用者U13は、スポットS12とは別のスポットS14を、新たに出現させている。スポットS14は、三角形であり、スポットS12と同じ機能又は別の機能を発揮させることができる。
なお、スポットS11、S12、S13のように、スポットは、その領域内で発揮される機能が互いに異なってもよい。
また、電子制御装置1001は、スポットが出現できる領域と出現できない領域を分けても良い。例えば、電子制御装置1001は、部屋の壁を、表示(例えば、表示D14)を行う領域だが、スポットが出現できない領域としてもよい。
図19は、本実施形態の第6変形例に係る入力範囲決定処理の一例を表す概略図である。
図19(A)では、制御部1012は、手H71の形状に応じて線L710、L711を検出している。制御部1012は、線L710、L711に接する四角形を情報入力範囲に決定し、スポットS71を出現させる。ここで、制御部1012は、線L710、L711の一部を四角形の2辺とすることで、情報入力範囲の方向を決定している。なお、制御部1012は、この四角形の2辺の長さを、予め定められた長さとしてもよい。
図19(B)では、制御部1012は、手H720の形状に応じて線L720、L721を検出し、手H721の形状に応じて線L722、L723を検出している。制御部1012は、線L721、L722、L723に接する四角形を情報入力範囲に決定し、スポットS72を出現させる。ここで、制御部1012は、この四角形の1辺の長さを、予め定められた長さとしてもよい。
なお、制御部1012は、線L720を情報入力範囲の接線とはせずに、線L721を情報入力範囲の接線の一つとする。例えば、制御部1012は、使用者の頭又は胴体から遠い方の接線を情報入力範囲の接線の一つとする。これにより、制御部1012は、手H721の少なくとも一部がスポットに含まれてしまうことを防止できる。
図19(C)では、制御部1012は、手H730の形状に応じて線L730、L731を検出し、手H731の形状に応じて線L732、L733を検出している。制御部1012は、線L730〜L733に接する四角形を情報入力範囲に決定し、スポットS73を出現させる。このように、制御部1012は、線L730〜L733の一部を四角形の4辺とすることで、情報入力範囲の形状を決定してもよい。
図19(D)では、制御部1012は、手H740の形状に応じて線L740、L741を検出し、手H741の形状に応じて点P74を検出している。制御部1012は、線L740、L741に接し、点P74を頂点の1つとする四角形(例えば、平行四辺形)を情報入力範囲に決定し、スポットS74を出現させる。なお、制御部1012は、線L740、L741に接し、点P74を重心とする四角形(例えば、平行四辺形)を情報入力範囲に決定してもよい。
<第7変形例>
制御部1012は、使用者が指し示す物体及び/又は使用者の携帯物に応じて、情報入力範囲を決定してもよい。
図20は、本実施形態の第7変形例に係る入力範囲決定処理の一例を表す概略図である。
制御部1012は、使用者が指し示す物体及び/又は使用者の携帯物に応じて、情報入力範囲を決定してもよい。
図20は、本実施形態の第7変形例に係る入力範囲決定処理の一例を表す概略図である。
図20(A)では、制御部1012は、手H81の指し示す資料R81の形状A81を検出している。制御部1012は、形状A81を囲む範囲を情報入力範囲に決定し、スポットS81を出現させる。ここで、制御部1012は、情報入力範囲を資料R81と同じ長方形とし、資料R81と類似した形状とする。
図20(B)では、制御部1012は、使用者が手H82に持っている紙R82の形状A82を検出している。制御部1012は、形状A82を囲む範囲を情報入力範囲に決定し、スポットS82を出現させる。
図20(C)では、制御部1012は、右手H831の指し示す電話機R83の形状A83を検出し、形状A83に応じて情報入力範囲の形状及び大きさを決定する。ここで、制御部1012は、情報入力範囲の形状及び大きさを、形状A83を囲むことが可能な形状及び大きさに決定する。また、制御部1012は、左手H830の形状に応じて線L830、L831を検出し、線L830、L831に接する位置を、情報入力範囲の位置に決定する。制御部1012は、決定した位置、形状及び大きさに応じて、スポットS83を出現させる。
図20(D)では、制御部1012は、右手H841の指し示す電話機R84の形状A84を検出し、形状A84に応じて情報入力範囲の形状及び大きさを決定する。また、制御部1012は、左手H840の形状に応じて点P84を検出し、点P84が頂点の1つになる位置を、情報入力範囲の位置に決定する。制御部1012は、決定した位置、形状及び大きさに応じて、スポットS84を出現させる。
このように、制御部1012は、一方の手で指し示された物体、又は使用者に携帯された物体に応じて情報入力範囲の形状及び/又は大きさを決定し、他方の手の形状に応じて情報入力範囲の位置を決定してもよい。
<第8変形例>
制御部1012は、各スポットで発揮される機能を表す情報、及び/又は機能を発揮している最中であることを表す情報を、表示及び/又は音声を用いて通知してもよい。また、制御部1012は、各スポット内又は各スポットの周辺に、アイコン及び/又はメニューを表示してもよい。
制御部1012は、各スポットで発揮される機能を表す情報、及び/又は機能を発揮している最中であることを表す情報を、表示及び/又は音声を用いて通知してもよい。また、制御部1012は、各スポット内又は各スポットの周辺に、アイコン及び/又はメニューを表示してもよい。
図21は、本実施形態の第8変形例に係る表示の一例を表す概略図である。
電子制御装置1001は、スポットS12に置かれた製品R12を撮像している。このとき、制御部1012は、撮像中であることを表す情報M12を、スポットS12の周辺に表示している。
電子制御装置1001は、スポットS12に置かれた製品R12を撮像している。このとき、制御部1012は、撮像中であることを表す情報M12を、スポットS12の周辺に表示している。
制御部1012は、スポットS14の周辺にメニューを表示している。このメニューは、スポットS14に発揮させる機能を選択させるメニューである。このように、制御部1012は、スポットに発揮させる機能の選択枝を表示し、使用者に機能を選択させてもよい。
<第9変形例>
制御部1012は、使用者に応じて、スポットの態様を決定してもよい。
図22は、本実施形態の第9変形例に係る入力範囲テーブルの一例を表す概略図である。入力範囲テーブルは、スポットID、使用者ID、形状、位置大きさ、色、指示形状、機能、出現時刻、及び消滅時刻の各項目の列を有している。入力範囲テーブルには、スポットID毎に、入力範囲情報が格納される。なお、入力範囲テーブルは、入力範囲情報記憶部124に記憶される。
制御部1012は、使用者に応じて、スポットの態様を決定してもよい。
図22は、本実施形態の第9変形例に係る入力範囲テーブルの一例を表す概略図である。入力範囲テーブルは、スポットID、使用者ID、形状、位置大きさ、色、指示形状、機能、出現時刻、及び消滅時刻の各項目の列を有している。入力範囲テーブルには、スポットID毎に、入力範囲情報が格納される。なお、入力範囲テーブルは、入力範囲情報記憶部124に記憶される。
例えば、図22の1行目の入力範囲情報によれば、スポット「S11」は、使用者が使用者「U11」であり、中心座標が「(x1,y1)」で半径r11の「円」の形状である。また、スポットS11は、色が「赤」であり、出現の契機となる照射指示形状が「形状1」(例えば、L字形状)である。スポットS11は、文字解析によって記載内容を読み込む「文書読込」を発揮させる。スポットS11は、「2012年12月14日19時15分」に出現し、文書読込みが完了した場合に消滅する。なお、制御部1012は、スポットを消滅させるまでに、機能が発揮される回数を予め記憶してもよい。この場合、制御部1012は、この回数だけ機能が発揮された場合に、スポットを消滅させる。
図22の入力範囲テーブルは、使用者毎に色が選択可能であることを表す。例えば、ユーザU11のスポットは「赤」であり、ユーザU12のスポットは「青」である。また、この入力範囲テーブルは、使用者毎に照射指示形状が選択可能であることを表す。例えば、ユーザU11の照射指示形状は「形状1」であり、ユーザU12の照射指示形状は「形状2」である。なお、スポットの形状は選択可能であってもよく、例えば、使用者毎にスポットの形状が選択できてもよい。
制御部1012は、発揮させる機能に応じて、スポットの態様を決定してもよい。例えば、読み取り可能な情報の種別に併せて、スポットの態様がデザインされてもよい。これにより、使用者は、スポットの態様を見て、そのスポットで発揮される機能を認識できる。
また、制御部1012は、照射開始時刻、照射終了時刻、及び/又は現在の時刻に応じて、スポットの態様を決定してもよい。例えば、4行目の入力範囲情報のように、例えばスポットの出現時に、消滅時刻を設定(例えば予約)できてもよい。制御部1012は、消滅時刻を経過した場合に、その消滅時刻が設定されたスポットを消滅させる。
<第10変形例>
制御部1012は、撮像部1010の光学系と照射部1014の光学系を共通にして一体に構成してもよい(一体に構成された装置を撮像照射装置C1と称する)。例えば、制御部1012は、撮像部1010の光軸と照射部1014の光軸を同じにしてもよい。
制御部1012は、撮像部1010の光学系と照射部1014の光学系を共通にして一体に構成してもよい(一体に構成された装置を撮像照射装置C1と称する)。例えば、制御部1012は、撮像部1010の光軸と照射部1014の光軸を同じにしてもよい。
本実施形態の第10変形例に係る撮像照射装置C1は、図7と同様の構成を有することができる。図7において、撮像照射装置C1は、照射光生成部C12、入出光分離部C131、光学部C132、及び固体撮像部C141を備える。この構成は、図7を用いた説明したものと同様のものを採用でき、同様の利点を有することができる。ここではその説明を省略する。
なお、上記実施形態(変形例含む)において、物体の形状(form (figure, aspect, sh
ape, contour, outline, geometric characteristic, geometric parameter, and/or gra
phical model))には、指示に用いる物体(指示体)の形状が含まれる。制御部1012
は、手首、腕を含む、使用者の身体の一部を指示体の形状とし、それらの形状に応じて、情報入力範囲を決定してもよい。制御部1012は、ポインタ及び/又はペン等の指示体の形状に応じて、情報入力範囲を決定してもよい。制御部1012は、物体に描かれた絵及び/又は印刷された画像を指示体とし、それらの形状に応じて、情報入力範囲を決定してもよい。これにより、使用者は、特定の絵を描くことによって、スポットを出現させることができ、スポットに様々な機能を発揮させることができる。
ape, contour, outline, geometric characteristic, geometric parameter, and/or gra
phical model))には、指示に用いる物体(指示体)の形状が含まれる。制御部1012
は、手首、腕を含む、使用者の身体の一部を指示体の形状とし、それらの形状に応じて、情報入力範囲を決定してもよい。制御部1012は、ポインタ及び/又はペン等の指示体の形状に応じて、情報入力範囲を決定してもよい。制御部1012は、物体に描かれた絵及び/又は印刷された画像を指示体とし、それらの形状に応じて、情報入力範囲を決定してもよい。これにより、使用者は、特定の絵を描くことによって、スポットを出現させることができ、スポットに様々な機能を発揮させることができる。
また、使用者の手の形状には、指の形状が含まれる。換言すれば、電子制御装置1001は、指の形状を検出し、検出した指の形状に応じて、情報入力範囲を決定する。
制御部1012は、情報入力範囲を示す光を照射する際に、その光の周囲を暗くしてもよい。例えば、他の照明装置による照明を暗くしてもよいし、自装置の投射画像において情報入力範囲の周囲の明るさを低くしてもよい。これにより、スポットの周囲が暗くなるので、使用者は、スポットを認識し易くなる。
制御部1012は、情報入力範囲の境界を示す画像を、投影画像に含ませてもよい。例えば、制御部1012は、情報入力範囲に縁を設け、縁の色を情報入力範囲の色とは異なる色にしてもよい。また、制御部1012は、情報入力範囲の周りに、情報入力範囲ではない領域を設け、その領域の色を情報入力範囲の色とは異なる色にしてもよい。これにより、使用者及び電子制御装置1001は、情報入力範囲と情報入力範囲でない領域を、より正確に区別できる。
制御部1012は、スポットで発揮される機能及び/又は用途に応じて、波長(周波数)及び/又は強度を決定してもよい。例えば、スポット内の物体の立体形状を計測する機能を発揮させる場合には、情報入力範囲を示す光として、短い波長の光を照射してもよい。また、スポット内の物体の温度測定を発揮させる場合には、情報入力範囲を示す光として赤外光以外の光を照射してもよい。これにより、電子制御装置1001は、撮像部1010で、物体からの赤外光をより正確に測定でき、正確に温度測定ができる。このように、制御部1012は、撮像部1010で測定に用いる光の波長と、照射部1014で照射に用いる光の波長が異なるようにしてもよい。
制御部1012は、スポット内に物体が置かれた場合に、情報入力範囲を示す光の強度を、置かれる前と比較して高くしてもよい。
制御部1012は、使用者の音声に基づいて、使用者からの指示を検出してもよい。例えば、制御部1012は、使用者の音声に応じて、情報入力範囲の位置、大きさ、態様、又は方向を決定してもよい。制御部1012は、使用者の音声に応じて、スポットを出現させてもよいし、スポットを消滅させてもよい。例えば、制御部1012は、使用者が「スポット」と発声したことを検出した場合、その使用者の手の形状に応じて情報入力範囲を決定してもよい。また、制御部1012は、使用者の音声に応じて、照射指示形状又は消滅指示形状を登録してもよい。制御部1012は、使用者の音声に応じて、使用者を認証することで、使用者を識別してもよい。制御部1012は、使用者の音声に応じて、情報入力範囲の位置、大きさ、態様、又は方向を調整してもよい。
制御部1012は、使用権限を設けてもよい。制御部1012は、特定の使用者のみからの指示に応じてスポットを出現させてもよく、それ以外の使用者の指示ではスポットを出現させなくてもよい。また、制御部1012は、使用者に応じて、スポットで使用できる機能を制限したり、出現するスポットの種類を制限してもよい。
制御部1012は、用途及び/又は使用権限に応じて、スポットの態様を決定してもよい。例えば、制御部1012は、個人の使用者が使用できるスポット、グループに加入する複数の使用者が使用できるスポット、又は、誰もが使用できるスポットをそれぞれ特定の色にしてもよい。
制御部1012は、情報入力範囲を合体させてもよい。例えば、制御部1012は、複数の情報入力範囲について、少なくとも一部が重なる場合、それらの情報入力範囲を合体させてもよい。これにより、使用者は、スポットを合体させることができ、スポットを拡大できる。また、使用者は、様々な形状のスポットを容易に生成できる。また、制御部1012は、情報入力範囲を合体させる場合に、合体後の情報入力範囲で発揮される機能を、合体前の情報入力範囲で発揮される機能を合わせたものとしてもよいし、使用者に選択させてもよい。例えば、制御部1012は、コピー機能を発揮する情報入力範囲と、「文書読込」機能を発揮する情報入力範囲を合体させ、「文書読込」機能で読み込まれた文書のみをコピーする機能を発揮する情報入力範囲を生成してもよい。
(Cl.13:記憶部の情報を取得)
制御部1012は、スポット内に通信可能な電子機器が置かれた場合、その電子機器と通信を行ってもよい。電子機器は、電子制御装置1001と通信を開始した場合に、通信を開始したことを表示及び/又は音により、電子制御装置1001に通知してもよい。一方、制御部1012は、電子制御装置1001と電子機器が通信できなかった場合には、その旨を表示してもよい。また、制御部1012は、電子制御装置1001と電子機器の通信により、電子機器が記憶する情報を取得してもよい。つまり、制御部1012は、スポット内の電子機器を認識し、認識した電子機器が有する情報を取得する。なお、電子制御装置1001は、スポット内の電子機器と光無線通信を行ってもよい。
制御部1012は、スポット内に通信可能な電子機器が置かれた場合、その電子機器と通信を行ってもよい。電子機器は、電子制御装置1001と通信を開始した場合に、通信を開始したことを表示及び/又は音により、電子制御装置1001に通知してもよい。一方、制御部1012は、電子制御装置1001と電子機器が通信できなかった場合には、その旨を表示してもよい。また、制御部1012は、電子制御装置1001と電子機器の通信により、電子機器が記憶する情報を取得してもよい。つまり、制御部1012は、スポット内の電子機器を認識し、認識した電子機器が有する情報を取得する。なお、電子制御装置1001は、スポット内の電子機器と光無線通信を行ってもよい。
制御部1012は、被照射面と電子制御装置1001の間の距離を示す距離情報を予め記憶し、この距離情報と入力範囲情報に基づいて、情報入力範囲を示す光の画像を含む照射画像を生成してもよい。また、制御部1012は、例えば、照射と撮像の光学系が異なる場合には、各光学系の光軸の位置、方向を示す情報、及び光学系の画角を示す情報を含む光学情報を予め記憶してもよい。制御部1012は、光学情報に基づいて、情報入力範囲を示す光の画像を含む照射画像を生成し、スポットが情報入力範囲と一致するように、光を照射する。
制御部1012は、物体の関節部分を検出し、関節を結ぶ線に応じて、情報入力範囲を決定してもよい。
制御部1012は、情報入力範囲を長方形に決定する場合(例えば、図19(A))、1辺の長さを予め記憶し、人差指の長さ(親指の付根から人差指の指先までの長さ)と親指の長さの比に応じて、もう一方の辺の長さを決めてもよい。また、制御部1012は、人差指の長さに応じて、長方形の1辺の長さを決めてもよい。
なお、光学部C132は、例えば魚眼レンズであってもよい。これにより、電子制御装置1001は、広範囲に照射でき、広範囲で撮像できる。なお、照射面及び光学系による画像の歪みの影響等を考慮しない場合には、制御部1012は、画像変換部120を備えなくてもよい。
なお、上記実施形態(変形例含む)では、照射部1014が照射する光が情報入力範囲を示していたが、これに代えて、ディスプレイなどの表示部が情報入力範囲を表示してもよい。このような表示部が用いられる例としては、図8における机の天板面の全面または一部が液晶ディスプレイで構成される場合、有機ELによるフレキシブルなディスプレイが部屋の壁面に貼付される場合などが挙げられる。この場合、表示部は、物体の形状に応じて決定された情報入力範囲を示す図形を表示する。さらに、表示部は、情報入力範囲を示す光を表示するだけでなく、電子制御装置1001が取得した情報を表示する機能も有してもよい。また、電子制御装置1001を構成する表示部と撮像部1010は、それぞれ離れた場所に設置されてもよい。また、表示部は、タッチパネルなどの情報入力部をさらに有してもよい。そして、上述した実施形態における電子制御装置1001は、照射部1014を表示部に置き換えることにより、上記実施形態の全ての機能を実現することができる。
なお、上述した実施形態における電子制御装置1,1001の一部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、電子制御装置1,1001に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。また、上述した実施形態における電子制御装置1,1001の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。電子制御装置1,1001の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
1,1001・・・電子制御装置、10,1011・・・音入力部、20,1015・・・音出力部、30,1014・・・照射部、40,1010・・・撮像部、50,1013・・・通信部、60,1016・・・電力供給部、70,1012・・・制御部、72・・・入力領域設定部、73・・・物体種類判別部、74・・・情報取得部、75・・・処理部、76・・・記憶部、76B・・・判別用データ記憶部、76C・・・取得データ記憶部、100・・・ネットワーク、120・・・画像変換部、121・・・使用者決定部、122・・・形状検出部、123・・・入力範囲決定部、124・・・入力範囲情報記憶部、125・・・入力範囲制御部、126・・・入力取得部、127・・・処理部、C1・・・撮像照射装置、C12…照射光生成部、C131・・・入出光分離部、C132・・・光学部、C141・・・固体撮像部
Claims (6)
- 利用者の音声入力を受け付ける音入力部と、
所定の範囲に置かれた物体の種類を前記音声入力により判別する判別部と、
前記物体との通信を行う通信部と、
前記物体が有するデータの取得を示す前記音声入力を前記音入力部が受け付けると、前記物体の記憶装置に記憶された前記データを、前記通信を介して取得する取得部と
を備える制御装置。 - 前記判別部は、前記通信部と前記物体の通信が成立するか否かの結果を、前記物体の種類の判別に用いる請求項1に記載の制御装置。
- 前記取得部は、前記通信部と前記物体との通信が成立しなかった場合に、前記物体の情報を、ネットワークを介して収集する請求項1に記載の制御装置。
- 前記物体を撮像する撮像部を有し、
前記判別部は、前記物体が撮像された画像を画像認識した結果を、前記物体の種類の判別に用いる請求項1から請求項3のいずれか一項に記載の制御装置。 - 前記所定の範囲を表示する表示部を有する請求項1から請求項4のいずれか一項に記載の制御装置。
- 利用者の音声入力を受け付けることと、
前記音声入力により、所定の範囲に置かれた物体の種類を判別することと、
前記物体との通信が可能な状態にすることと、
前記物体が有するデータの取得を示す前記音声入力がなされると、前記物体の記憶装置に記憶された前記データを、前記通信を介して取得することと
を含む制御装置の制御方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013023271 | 2013-02-08 | ||
JP2013023270 | 2013-02-08 | ||
JP2013023270 | 2013-02-08 | ||
JP2013023271 | 2013-02-08 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014560821A Division JP6036856B2 (ja) | 2013-02-08 | 2014-02-07 | 電子制御装置、制御方法、及び制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017062812A true JP2017062812A (ja) | 2017-03-30 |
Family
ID=51299814
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014560821A Active JP6036856B2 (ja) | 2013-02-08 | 2014-02-07 | 電子制御装置、制御方法、及び制御プログラム |
JP2016213642A Pending JP2017062812A (ja) | 2013-02-08 | 2016-10-31 | 制御装置、及び制御方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014560821A Active JP6036856B2 (ja) | 2013-02-08 | 2014-02-07 | 電子制御装置、制御方法、及び制御プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20150339538A1 (ja) |
JP (2) | JP6036856B2 (ja) |
WO (1) | WO2014123224A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160102412A (ko) * | 2013-12-27 | 2016-08-30 | 소니 주식회사 | 제어 장치, 제어 방법 및 컴퓨터 프로그램 |
JP2016099743A (ja) * | 2014-11-19 | 2016-05-30 | 日本電信電話株式会社 | 対象領域検出装置、方法、及びプログラム |
CN108389875A (zh) * | 2017-02-03 | 2018-08-10 | 松下知识产权经营株式会社 | 摄像装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002247666A (ja) * | 2001-02-20 | 2002-08-30 | Seiko Epson Corp | 機器制御方法および機器制御システム |
JP2005100419A (ja) * | 2003-09-25 | 2005-04-14 | Microsoft Corp | ピアツーピア通信のサーバ制御方法及び制御システム |
US20100088100A1 (en) * | 2008-10-02 | 2010-04-08 | Lindahl Aram M | Electronic devices with voice command and contextual data processing capabilities |
JP2011248733A (ja) * | 2010-05-28 | 2011-12-08 | Nikon Corp | 電子機器 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3997566B2 (ja) * | 1997-07-15 | 2007-10-24 | ソニー株式会社 | 描画装置、及び描画方法 |
JP2000032228A (ja) * | 1998-07-13 | 2000-01-28 | Nec Corp | 画像入力装置およびその方法 |
JP5161690B2 (ja) * | 2008-07-31 | 2013-03-13 | キヤノン株式会社 | 情報処理装置及びその制御方法 |
US9674458B2 (en) * | 2009-06-03 | 2017-06-06 | Flir Systems, Inc. | Smart surveillance camera systems and methods |
US8447070B1 (en) * | 2010-04-19 | 2013-05-21 | Amazon Technologies, Inc. | Approaches for device location and communication |
JP5149943B2 (ja) * | 2010-07-23 | 2013-02-20 | 東芝テック株式会社 | 無線タグ読取装置およびプログラム |
JP2012053545A (ja) * | 2010-08-31 | 2012-03-15 | Canon Inc | 画像処理システムおよびその制御方法 |
US8836788B2 (en) * | 2012-08-06 | 2014-09-16 | Cloudparc, Inc. | Controlling use of parking spaces and restricted locations using multiple cameras |
-
2014
- 2014-02-07 JP JP2014560821A patent/JP6036856B2/ja active Active
- 2014-02-07 WO PCT/JP2014/052916 patent/WO2014123224A1/ja active Application Filing
-
2015
- 2015-08-06 US US14/820,158 patent/US20150339538A1/en not_active Abandoned
-
2016
- 2016-10-31 JP JP2016213642A patent/JP2017062812A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002247666A (ja) * | 2001-02-20 | 2002-08-30 | Seiko Epson Corp | 機器制御方法および機器制御システム |
JP2005100419A (ja) * | 2003-09-25 | 2005-04-14 | Microsoft Corp | ピアツーピア通信のサーバ制御方法及び制御システム |
US20100088100A1 (en) * | 2008-10-02 | 2010-04-08 | Lindahl Aram M | Electronic devices with voice command and contextual data processing capabilities |
JP2011248733A (ja) * | 2010-05-28 | 2011-12-08 | Nikon Corp | 電子機器 |
Also Published As
Publication number | Publication date |
---|---|
WO2014123224A1 (ja) | 2014-08-14 |
JP6036856B2 (ja) | 2016-11-30 |
US20150339538A1 (en) | 2015-11-26 |
JPWO2014123224A1 (ja) | 2017-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11574115B2 (en) | Method of processing analog data and electronic device thereof | |
EP3258423B1 (en) | Handwriting recognition method and apparatus | |
EP3147816A2 (en) | Mobile terminal and method of controlling the same | |
KR101026630B1 (ko) | 범용 컴퓨팅 장치 | |
JP5802667B2 (ja) | ジェスチャ入力装置およびジェスチャ入力方法 | |
JP5470051B2 (ja) | ノート捕捉装置 | |
TW200928892A (en) | Electronic apparatus and operation method thereof | |
WO2006036069A1 (en) | Information processing system and method | |
JP2000105671A (ja) | 座標入力/検出装置および電子黒板システム | |
JP5877824B2 (ja) | 情報処理システム、情報処理方法および情報処理プログラム | |
Matulic et al. | Pensight: Enhanced interaction with a pen-top camera | |
JP2017062812A (ja) | 制御装置、及び制御方法 | |
JP2016103137A (ja) | ユーザインタフェース装置、画像処理装置及び制御用プログラム | |
JP2000259338A (ja) | 入力システム、表示システム、プレゼンテーションシステム及び情報記憶媒体 | |
JP2008117083A (ja) | 座標指示装置、電子機器、座標指示方法、座標指示プログラム、及び座標指示プログラムを記録した記録媒体 | |
JP4871226B2 (ja) | 認識装置および認識方法 | |
US20190324548A1 (en) | Gesture-based designation of regions of interest in images | |
JP2019046310A (ja) | 情報処理システム、端末装置、情報処理方法及び情報処理プログラム | |
JP2010079529A (ja) | 情報処理装置、情報処理方法、そのプログラム及および記録媒体 | |
JP7420016B2 (ja) | 表示装置、表示方法、プログラム、表示システム | |
WO2021084761A1 (ja) | 画像読取装置 | |
EP4064019A1 (en) | Display system, display method, and carrier means | |
JP7480608B2 (ja) | 表示装置、表示方法、プログラム | |
JP2022147384A (ja) | 表示装置、表示方法、プログラム | |
JP2021086548A (ja) | 画像処理システム、画像処理装置、画像処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170830 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20171010 |