JP2015007986A - Electronic apparatus, program for controlling electronic apparatus, and method for controlling electronic apparatus - Google Patents
Electronic apparatus, program for controlling electronic apparatus, and method for controlling electronic apparatus Download PDFInfo
- Publication number
- JP2015007986A JP2015007986A JP2014152264A JP2014152264A JP2015007986A JP 2015007986 A JP2015007986 A JP 2015007986A JP 2014152264 A JP2014152264 A JP 2014152264A JP 2014152264 A JP2014152264 A JP 2014152264A JP 2015007986 A JP2015007986 A JP 2015007986A
- Authority
- JP
- Japan
- Prior art keywords
- image
- movement
- user
- electronic device
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、画像を表示する表示部と画像を取得する撮影部とを有する電子機器、電子機器制御用プログラム、及び電子機器の制御方法に関する。 The present invention relates to an electronic device having a display unit that displays an image and a photographing unit that acquires an image, an electronic device control program, and an electronic device control method.
従来から、画像を表示する電子機器としては、ブラウン管、液晶ディスプレイ等の所定の表示面に表示させる装置、プロジェクタ等の壁面やスクリーンに画像を投影する装置がある。 2. Description of the Related Art Conventionally, electronic devices that display images include devices that display on a predetermined display surface such as a cathode ray tube or a liquid crystal display, and devices that project an image on a wall surface or a screen such as a projector.
このプロジェクタは、商用電源から電力が供給され、所定位置に固定した状態で使用される、いわゆる据え置き型の装置が主流である。この据え置き型のプロジェクタは、固定した状態で、一定箇所の壁面やスクリーンに画像を投影させる。また、近年、プロジェクタとしては、小型で持ち運びが容易な携帯型のプロジェクタが提案されている。例えば、特許文献1には、上キャビネットと、下キャビネットと、上キャビネットおよび下キャビネットを互いに回動可能に接続するヒンジ部とを備え、レンズと光源とを有するプロジェクタが搭載されたプロジェクタ機能付携帯端末が記載されている。 This projector is mainly a so-called stationary apparatus that is supplied with power from a commercial power source and is used in a fixed state. This stationary projector projects an image on a fixed wall or screen in a fixed state. In recent years, portable projectors that are small and easy to carry have been proposed. For example, Patent Document 1 includes a projector-equipped mobile phone that includes an upper cabinet, a lower cabinet, a hinge portion that rotatably connects the upper cabinet and the lower cabinet, and a projector having a lens and a light source. The terminal is listed.
また、電子機器としては、画像を表示する機能と、画像を撮影する機能の両方を備える装置もある。例えば、特許文献2には、外部から入力された投影画像をスクリーン上に投影する投影部と、前記スクリーンを撮像し、撮像画像を生成する撮像部と、前記撮像部により生成された前記撮像画像に基づいて、前記スクリーン上に直接書き込まれた書き込みを前記投影画像に対応付けて記憶する書込記憶部とを備えるプロジェクタ装置が記載されている。 In addition, as an electronic device, there is an apparatus that has both a function of displaying an image and a function of capturing an image. For example, Patent Document 2 discloses a projection unit that projects a projection image input from the outside onto a screen, an imaging unit that captures the screen and generates a captured image, and the captured image generated by the imaging unit. Based on the above, there is described a projector device including a writing storage unit that stores writing directly written on the screen in association with the projection image.
特許文献2に記載の装置は、操作者によりスクリーン上に書き込まれた書き込みを撮影部により検出し、記憶することで、操作者による操作を検出し、表示していた画像を加工することが可能となる。 The apparatus described in Patent Document 2 can detect the operation written by the operator on the screen by the photographing unit and store it, thereby detecting the operation by the operator and processing the displayed image. It becomes.
しかしながら、特許文献2に記載の装置は、操作者が筆記具によりスクリーンに書き込まれた画像を記録させているため、画像を投影するスクリーンが書き込みできるものである必要がある。また、文字等の情報を実際に書き込むため、画像が切り替わるたびにスクリーンに書いた情報を消す必要があり、操作に手間がかかる。また、特許文献2に記載の装置は、単にスクリーンに書かれた情報を画像として取り込んでいるに過ぎず、スクリーンに表示される画像を切り替える等の操作を行うためには操作部で操作する必要がある。 However, since the apparatus described in Patent Document 2 records an image written on the screen by a writing tool by an operator, the screen on which the image is projected needs to be writable. In addition, since information such as characters is actually written, it is necessary to erase the information written on the screen every time the image is switched, which takes time and effort. In addition, the apparatus described in Patent Document 2 merely captures information written on the screen as an image, and it is necessary to operate the operation unit to perform operations such as switching the image displayed on the screen. There is.
本発明は、上記に鑑みてなされたものであって、簡単な操作で表示する画像を操作することができ、操作性の高い電子機器、電子機器制御用プログラム、及び電子機器の制御方法を提供することを目的とする。 The present invention has been made in view of the above, and provides an electronic device with high operability, an electronic device control program, and an electronic device control method capable of operating an image to be displayed with a simple operation. The purpose is to do.
本発明は、電子機器であって、表示部に画像を表示させるとともに、撮影部にユーザを撮影させ、さらに、ユーザとの距離及び不可視光の波長の光の検出により検出部にユーザの動きと位置を検出させる制御部と、を有し、前記制御部は、前記ユーザの動きに基づいて、前記画像を変化させるとともに、前記表示部の画像上に表示させるユーザの位置を決定することを特徴とする。 The present invention is an electronic device that displays an image on a display unit, causes a photographing unit to photograph a user, and further detects the distance of the user and light of a wavelength of invisible light by detecting the user's movement. A control unit that detects a position, and the control unit changes the image based on the movement of the user and determines a position of the user to be displayed on the image of the display unit. And
ここで、前記検出部は、前記ユーザの手の動きまたは足の動き、或いは頭部の動き、または全身の動きの少なくとも一つを検出することが好ましい。 Here, it is preferable that the detection unit detects at least one of the user's hand movement or foot movement, head movement, or whole body movement.
また、前記制御部は、前記ユーザの動きをアイコン表示或いはキャラクタ表示により前記表示部に表示することが好ましい。 Moreover, it is preferable that the said control part displays the said user's movement on the said display part by icon display or character display.
また、前記制御部は、前記ユーザの動きと前記体重とから運動量を推定し、消費カロリーを前記表示部に表示することが好ましい。
また、前記制御部は、前記ユーザの動きを検出した後に、前記動きに対応したメッセージ或いは前記動きに関連付けられた画像を前記表示部に表示することが好ましい。
また、前記制御部は、前記ユーザの動きを検出した後に、前記動きの結果に対応したメッセージ或いは前記動きに関連付けられた画像を前記表示部に表示することが好ましい。
また、前記動きは、キック動作、パンチ動作、体当たり動作、ジャンプ動作、しゃがむ動作、走る動作のいずれかが含まれることが好ましい。
Moreover, it is preferable that the said control part estimates exercise amount from the said user's movement and the said body weight, and displays a calorie consumption on the said display part.
The control unit may display a message corresponding to the movement or an image associated with the movement on the display unit after detecting the movement of the user.
In addition, it is preferable that the control unit displays a message corresponding to the result of the movement or an image associated with the movement on the display unit after detecting the movement of the user.
The movement preferably includes any one of a kick action, a punch action, a body contact action, a jump action, a squatting action, and a running action.
また、前記撮影部は、前記画像表示部が画像を表示させている面とは異なる位置の画像を取得することが好ましい。 Moreover, it is preferable that the said imaging | photography part acquires the image of the position different from the surface where the said image display part displays an image.
また、前記画像表示部は、画像を投影して表示させることが好ましい。 The image display unit preferably projects and displays an image.
また、さらに前記ユーザとの距離を測定する距離計測部を備えることが好ましい。 Furthermore, it is preferable to further include a distance measuring unit that measures the distance to the user.
また、前記表示画面に表示される人物を特定する人物特定部を備えることが好ましい。 Moreover, it is preferable to provide the person specific part which specifies the person displayed on the said display screen.
本発明は、電子機器であって、表示部に画像を表示させるとともに、撮影部にユーザを撮影させ、さらに、検出部にユーザの動きを検出させる制御部と、を有し、前記制御部は、前記ユーザの走行動作に基づいて、前記画像を変化させることを特徴とする。 The present invention is an electronic device, and includes a control unit that displays an image on a display unit, causes a photographing unit to photograph a user, and further causes a detection unit to detect a user's movement, and the control unit includes: The image is changed based on the running operation of the user.
本発明は、電子機器制御用プログラムであって、表示部に画像を表示させるとともに、撮影部にユーザを撮影させ、さらに、ユーザとの距離及び不可視光の波長の光の検出によりユーザの動きと位置を検出させ、ユーザの動きに基づいて、前記画像を変化させるとともに、前記表示部の画像上に表示させるユーザの位置を決定することを特徴とする。
本発明は、電子機器の制御方法であって、表示部に画像を表示させるとともに、撮影部にユーザを撮影させ、さらに、ユーザとの距離及び不可視光の波長の光の検出によりユーザの動きと位置を検出させ、ユーザの動きに基づいて、前記画像を変化させるとともに、前記表示部の画像上に表示させるユーザの位置を決定することを特徴とする。
The present invention is an electronic device control program that displays an image on a display unit, causes a photographing unit to photograph a user, and further detects a user's movement by detecting a distance from the user and light having a wavelength of invisible light. A position is detected, the image is changed based on a user's movement, and a position of the user to be displayed on the image of the display unit is determined.
The present invention relates to a method for controlling an electronic device, wherein an image is displayed on a display unit, a user is photographed by a photographing unit, and the user's movement is detected by detecting a distance from the user and light having a wavelength of invisible light A position is detected, the image is changed based on a user's movement, and a position of the user to be displayed on the image of the display unit is determined.
本発明にかかる電子機器は、取得した被写体の動きに基づいて、表示部に表示させる画像を制御できるという効果を奏する。 The electronic device according to the present invention has an effect that an image to be displayed on the display unit can be controlled based on the acquired movement of the subject.
以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、電子機器を携帯電話機とした場合を例として説明するが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、PHS(Personal Handyphone System)、PDA、ビデオカメラ、ポータブルナビゲーション装置、ノートパソコン、ポータブルゲーム機等の各種携帯電子機器、画像表示装置(例えば、テレビモニタ)、据置き型プロジェクタ、ゲーム機等の据置き型の電子機器に対しても本発明は適用できる。 Hereinafter, the present invention will be described in detail with reference to the drawings. The present invention is not limited to the following description. In addition, constituent elements in the following description include those that can be easily assumed by those skilled in the art, those that are substantially the same, and those in a so-called equivalent range. In the following, the case where the electronic device is a mobile phone will be described as an example. However, the application target of the present invention is not limited to the mobile phone, and for example, PHS (Personal Handyphone System), PDA, video camera, portable The present invention can also be applied to various portable electronic devices such as navigation devices, notebook personal computers, and portable game machines, image display devices (for example, television monitors), stationary projectors, and stationary electronic devices such as game machines. .
まず、携帯電子機器の外観の構成を説明する。図1は、携帯電子機器の一実施形態の概略構成を示す斜視図である。携帯電子機器10は、無線通信機能を備えた携帯電話機である。携帯電子機器10は、1つの箱型形状の筐体11の内部に各部が収納されたストレート形状の携帯電話機である。なお、本実施形態では、筐体11を1つの箱型形状としたが、ヒンジで連結された2つの部材で構成した折りたたみ可能な筐体や、2つの部材をスライドさせる筐体としてもよい。また、3つ以上の部材を連結した筐体も用いることができる。
First, the external configuration of the portable electronic device will be described. FIG. 1 is a perspective view illustrating a schematic configuration of an embodiment of a portable electronic device. The mobile
筐体11には、表示部として、図1に示すディスプレイ12が設けられる。ディスプレイ12は、所定の画像として、携帯電子機器10が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器10の操作を補助するために用いられるメニュー画像を表示したりする。
The
筐体11には、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー13が複数設けられている。さらに、筐体11の一つの側部(操作キー13が設けられる面と略直交する面のうちの一つ)には、後述するプロジェクタ34の動作を制御する専用キー14が設けられる。なお、操作キー13及び専用キー14は、携帯電子機器10の操作部を構成する。また、筐体11には、携帯電子機器10の通話時に音声を受け取るマイク15、携帯電子機器10の通話時に音声を発するレシーバ16が設けられる。
The
また、筐体11の上面(一辺が、操作キー13が設けられる面と接し、他の一辺が、専用キー14が設けられている面と接している面)には、画像を投影するプロジェクタ34の光射出部34aが設けられている。また、筐体11の専用キー14が設けられている面とは反対側の面には、さらに、撮影部38の撮像部38aが設けられている。
Further, the
図2は、図1に示す携帯電子機器の機能の概略構成を示すブロック図である。図2に示すように携帯電子機器10は、制御部22と、記憶部24と、送受信部26と、操作部28と、音声処理部30と、表示部32と、プロジェクタ34と、撮影部38と、を有する。
FIG. 2 is a block diagram showing a schematic configuration of functions of the portable electronic device shown in FIG. As shown in FIG. 2, the portable
制御部22は、CPU(Central Processing Unit)等の携帯電子機器10の全体的な動作を統括的に制御する処理部である。すなわち、携帯電子機器10の各種の処理が、操作部28の操作や携帯電子機器10の記憶部24に保存されるソフトウェアに応じて適切な手順で実行されるように、送受信部26や、音声処理部30や、表示部32等の動作を制御する。携帯電子機器10の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのWeb(World Wide Web)サイトの閲覧等がある。また、送受信部26、音声処理部30、表示部32等の動作としては、例えば、送受信部26による信号の送受信、音声処理部30による音声の入出力、表示部32による画像の表示、プロジェクタ34による画像の投影、撮影部38による画像の取得等がある。
The
制御部22は、記憶部24に保存されているプログラム(例えば、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。制御部22は、例えば、マイクロプロセッサユニット(MPU:Micro Processor Unit)で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子機器10の各種の処理を実行する。すなわち、制御部22は、記憶部24に保存されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
The
制御部22は、複数のアプリケーションプログラムを実行する機能を有する。制御部22が実行するアプリケーションプログラムとしては、例えば、プロジェクタ34の駆動を制御するアプリケーションプログラムや、撮影部38の駆動を制御するアプリケーションプログラム、各種ゲームを作動させるゲームアプリケーションプログラム等の複数のアプリケーションプログラムがある。
The
記憶部24には、制御部22での処理に利用されるソフトウェアやデータが保存されており、上述した、プロジェクタ34の駆動を制御するアプリケーションプログラムを作動させるタスクや、撮影部38の駆動を制御するアプリケーションプログラムを作動させるタスクや、各種ゲームアプリケーションプログラムを作動させるタスクが保存されている。
The
また、記憶部24には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部24に対する制御に制御部22が用いるソフトウェア、通信相手の電話番号やメールアドレス等を保存し、管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が保存されている。また、記憶部24には、被写体(被投影対象)の大きさ情報を有する画像のデータ等も保存されている。なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、制御部22によって記憶部24に割り当てられた作業領域へ一時的に保存される。記憶部24は、例えば、不揮発性の記憶デバイス(ROM:Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等)や、読み書き可能な記憶デバイス(例えば、SRAM:Static Random Access Memory、DRAM:Dynamic Random Access Memory)等で構成される。
In addition to these tasks, the
送受信部26は、アンテナ26aを有し、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。
The transmission /
操作部28は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キーなど、各種の機能が割り当てられた操作キー13と専用キー14とで構成され、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。そして、発生した信号は、ユーザの指示として制御部22へ入力される。
The
音声処理部30は、マイク15に入力される音声信号やレシーバ16から出力される音声信号の処理を実行する。すなわち、音声処理部30は、マイク15から入力される音声を増幅し、AD変換(Analog Digital変換)を実行した後さらに符号化等の信号処理を施して、ディジタルの音声データに変換して制御部22へ出力する。また、制御部22から送られる音声データに対して復号化、DA変換(Digital Analog変換)、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ16へ出力する。
The
表示部32は、液晶ディスプレイ(LCD、Liquid Crystal Display)や、有機EL(Organic Electro−Luminescence)パネルなどで構成された表示パネル(上述したディスプレイ12等)を備え、制御部22から供給される映像データに応じた映像、画像データに応じた画像を表示パネルに表示させる。
The
プロジェクタ34は、画像を投影する画像投影機構であり、上述したように、筐体11の上面に画像を投影する光射出部34aが設けられている。ここで、図3は、図1に示す携帯電子機器で画像を表示させている状態を示す説明図である。携帯電子機器10は、プロジェクタ34の光射出部34aから画像を投影する、つまり画像を構成する光を射出することで、図3に示すように、筐体11の上面に対向する面にある壁面、スクリーン等のうち、一定の領域(投影領域)に画像を投影することができる。なお、プロジェクタ34は、制御部22により動作が制御され、制御部22から送られる種々の映像、例えば映画、プレゼンテーション資料を投影し、投影領域に表示させる。
The
プロジェクタ34は、光源と、画像データに応じて、光源から射出された光を投影するか否かを切り換える光学系とで構成されている。例えば、プロジェクタ34には、ハロゲンライトや、LED光源、LD光源を光源とし、LCD(Liquid Crystal Display)や、DMD(Digital Micro-mirror Device)を光学系とした構成のプロジェクタを用いることができる。この場合は、光学系を各画素に対応して投影領域の全面に配置し、光源から射出された光を画像に合わせて光学系をオンオフさせることで画像を投影領域の全面に投影させることができる。また、プロジェクタ34には、レーザ光を光源とし、光源から射出された光を透過させるか否かを切り換える切り換え素子と、切り換え素子を通過した光をラスター走査させるミラーとで構成される光学系とした構成のプロジェクタを用いることもできる。この場合は、ミラーによってレーザ光から射出された光の角度を変えて、投影領域の全面に光源から照射された光を走査させることで、投影領域に画像を投影させることができる。
The
撮影部38は、筐体11の側面に設けられた撮像部38aにより画像を取得する機構である。つまり、撮影部38は、プロジェクタ34が光を射出する方向とは異なる方向の画像を取得する。撮影部38は、撮像部38aから取得した画像を制御部22に送る。
The
次に、図4を用いて携帯電子機器10の動作について説明する。ここで、図4は、携帯電子機器の動作の一例を示すフロー図である。携帯電子機器10は、撮影部38で取得した画像に含まれる被写体を抽出し、その被写体の動きを検出し、被写体の動きに基づいて、プロジェクタ34から投影する画像の制御(操作)を行うモードが設定可能となっている。なお、画像から被写体を抽出する方法としては、種々の画像処理技術を用いることができる。また、被写体の動きと画像の制御との関係は、予め設定され、記憶部24に記憶されている。
Next, the operation of the portable
まず、操作者による操作部28の操作、または、設定により、撮影部38により取得した被写体の動きに基づいて画像を制御するモードを立ち上げる指示が入力されると、制御部22は、処理を開始し、ステップS12として、撮影部38による画像の取得を開始する。具体的には、撮影部38を起動させ、撮像部38aから取得した画像を制御部22に送る。
First, when an instruction to start a mode for controlling an image based on the movement of the subject acquired by the photographing
制御部22は、ステップS12で画像の取得を開始したら、ステップS14として、撮影した画像から被写体を抽出する。具体的には、撮影部38で取得した画像を解析し、画像に写っている被写体を抽出する。なお、制御部22は、取得した画像から被写体が抽出できない場合は、次に取得した画像(一定時間経過後の画像)から被写体の抽出を行う。
When the acquisition of the image is started in step S12, the
制御部22は、ステップS14で被写体を抽出したら、ステップS16として、所定の被写体が抽出されたかを判定する。具体的には、ステップS14で抽出した被写体が、予め設定されている被写体、つまり、画像の制御と対応付けて記憶されている被写体であるかを判定する。制御部22は、ステップS16で抽出した被写体が所定の被写体ではない(No)と判定したら、ステップS14に進み、次に取得した画像から被写体の抽出を行う。制御部22は、このように、所定の被写体が抽出されるまで、ステップS14とステップS16の処理を繰り返す。
When the subject is extracted in step S14, the
制御部22は、ステップS16で抽出した被写体が所定の被写体である(Yes)と判定したら、ステップS18として、抽出した被写体の動きを検出する。つまり、制御部22は、一定時間分の画像から、ステップS16で特定した所定の被写体を抽出し、所定の被写体の動きを検出する。
If it is determined that the subject extracted in step S16 is a predetermined subject (Yes), the
制御部22は、ステップS18で被写体の動きを検出したら、ステップS20として、ステップS18で検出した動きに対応する操作はあるかを判定する。つまり、検出した被写体の動きが画像の制御と対応付けて記憶されている被写体の動きであるかを判定する。
When the movement of the subject is detected in step S18, the
制御部22は、ステップS20で対応する操作がある(Yes)と判定したら、ステップS22として、ステップS20で検出した操作に基づいて画面を変化させる。つまり、制御部22は、検出した操作指示に基づいて画面を制御する。画面の操作については、後ほど説明する。制御部22は、ステップS22で画面を変化させたらステップS24に進む。制御部22は、ステップS20で対応する操作がない(No)と判定したら、ステップS24に進む。
When it is determined that there is a corresponding operation in Step S20 (Yes), the
制御部22は、ステップS20でNoと判定したら、または、ステップS22の処理を行ったら、ステップS24として、処理終了の指示があるかを判定する。なお、処理終了の指示は、操作部28からの入力や、ステップS16からステップS22の処理で検出される操作指示等によって入力される。制御部22は、ステップS24で処理終了ではない(No)、つまり、終了指示が入力されていないと判定したら、ステップS14に進み、ステップS14からステップS24の処理を繰り返す。また、制御部22は、ステップS24で処理終了である(Yes)、つまり、終了指示が入力されていると判定したら、ステップS26として、撮影部38による画像の取得を終了し、処理を終了する。
If it is determined No in step S20 or if the process of step S22 is performed, the
以上のように、撮影部38で撮影した画像から被写体を抽出し、その被写体の動き(動きの規則性、移動量、運動量)に基づいてプロジェクタ34により投影している画像、または、表示部32に表示させている画像を操作することで、操作者は被写体を動かすのみで画像を操作することができる。また、被写体の動きとして種々の動きを設定することができ、その動きに応じて種々の操作を設定することができる。これにより、画像の操作性を高くすることができる。
As described above, the subject is extracted from the image photographed by the photographing
また、本実施形態のように、プロジェクタ34が画像を投影する方向と、撮影部38が撮影する方向(画像を取得する方向)とを異なる方向とすることで、被写体がまぶしい思いをすることなく、被写体を動かすこと(つまり、操作指示を入力すること)ができる。
Further, as in the present embodiment, the direction in which the
また、特に本実施形態のように、携帯電子機器10の場合は、筐体11が小型であるため、操作部28を操作すると、筐体11が移動しプロジェクタ34による画像を投影する位置がずれる可能性があるが、携帯電子機器10は、筐体11に接触することなく、画像を操作することができる。これにより、操作により筐体11を移動させる必要がなくなり、画像の投影位置がずれ、意図しない方向に画像を投影することを防止することができる。
In particular, as in the present embodiment, in the case of the portable
次に、図5から図7を用いて、ステップS16からステップS22までの処理を具体的に説明する。ここで、図5から図7は、それぞれ携帯電子機器の動作を説明するための説明図である。なお、図5から図7に示す例では、特定の被写体として、人間の手(または指先)を検出する。また、携帯電子機器10は、プロジェクタ34により画像を投影している。
Next, the processing from step S16 to step S22 will be specifically described with reference to FIGS. Here, FIGS. 5 to 7 are explanatory diagrams for explaining the operation of the portable electronic device. In the example shown in FIGS. 5 to 7, a human hand (or fingertip) is detected as the specific subject. The portable
図5に示す例は、携帯電子機器10に、被写体の動きと文字とが対応付けて記憶されている。この場合、画像が取得される領域内、つまり、撮像部38aの撮影領域内で、操作者(ユーザ)が手により空中に文字(図5ではアルファベットの大文字の「A」)を書く(描く)動作を行うと、撮影部38が、被写体が文字を書く動作の画像を取得する。携帯電子機器10は、撮影部38で被写体が文字を書く動作の画像を取得したら、被写体によって書かれた文字を解析し、検出した文字をプロジェクタ34により投影している画像に重ねて表示させる。
In the example illustrated in FIG. 5, the movement of the subject and characters are stored in the mobile
なお、プロジェクタ34の画面内において、文字を表示させる位置は、設定により種々の位置とすればよい。例えば、撮影領域において被写体がある位置、つまり、取得した画像内における被写体の位置に対応した位置に文字を表示させるように設定することもできる。また、被写体の所定部分、例えば、ユーザの頭部、肘を基準点(中心)として、基準点と手の位置との関係から表示させる位置を決定するようにしてもよい。また、この時、例えば、画像処理により肘から手先までの距離を算出し、その長さを基準長さとして、画面上における中心からの距離を決定するようにしてもよい。具体的には、肘から手先までの距離の2倍を、画像の中心から端に割り当て、基準点と手との距離から画面中心からの距離を算出するようにする。
In the screen of the
このように、被写体の文字を書く動きと文字の入力とを対応付け、被写体の動きを解析して文字を検出することで、操作者は、撮影部38に向かって文字を書く動きを行うことで、画面に文字を描くことができる。なお、この時、制御部22は、被写体が描いた文字をそのまま表示させてもよいが、抽出した文字を予め設定されたフォント、スタイルで表示させるようにしてもよい。また、上記実施例では、被写体の動きから検出した文字を入力するようにしたが、被写体の動きをそのまま線として描くようにしてもよい。つまり、被写体が図形や絵を描く動作をしたら、画面上に被写体が描いた図形や絵を表示させるようにしてもよい。
In this way, the movement of writing the character of the subject is associated with the input of the character, and the operator performs the movement of writing the character toward the photographing
次に、図6に示す例は、携帯電子機器10のプロジェクタ34で動画を再生する場合であり、被写体の動きと動画の操作とが対応付けて記憶されている。例えば、操作者が被写体(手)で、撮影部38に向かって右回り(時計回り)の円を描けば早送り、左回り(反時計回り)の円を描けば巻き戻し、上下動させたら停止、左右に動かしたら再生等の関係が記憶されている。また、円を描く速度に応じて、早送り、巻き戻しの速度を変化させる、つまり2倍速、3倍速に変化させるようにしてもよい。
Next, the example shown in FIG. 6 is a case where a moving image is reproduced by the
この対応関係が記憶されている場合、画像が取得される領域内、つまり、撮像部38aの撮影領域内で、操作者(ユーザ)が手により空中に右回りの円を描く動作を行うと、撮影部38が、被写体が右回りの円を描いている動作の画像を取得する。携帯電子機器10は、撮影部38で被写体の動作の画像を取得したら、被写体の動作を解析し、検出した被写体の動作に対応する操作を行い、プロジェクタ34により投影している画像を操作する。本例では、プロジェクタ34に投影している動画を早送りする。
When this correspondence is stored, when an operator (user) draws a clockwise circle in the air by hand within the area where the image is acquired, that is, within the imaging area of the
このように、被写体の動きにより表示する画面を操作、つまり画像を変化させることができることで、操作者は、手を動かすのみで、画像を変化させることができる。 In this way, by operating the screen to be displayed according to the movement of the subject, that is, changing the image, the operator can change the image only by moving the hand.
なお、図6に示す例では、操作として、再生、停止、早送り、巻き戻しを例示したが、これに限定されず、一時停止、スキップ、頭だし、動画のスタートから再生、音量の調整、輝度の調整等種々の操作も、被写体の動きと対応付けておくことで、操作者は被写体を動かすだけで操作を行うことができる。また、映像として字幕を表示させている場合は、被写体の動きにより、字幕の表示、非表示、また表示させる字幕の種類を切り替えるようにしてもよい。 In the example shown in FIG. 6, playback, stop, fast forward, and rewind are illustrated as operations. However, the operation is not limited to this, but pause, skip, cue, playback from start of video, volume adjustment, brightness By associating various operations such as adjustments with the movement of the subject, the operator can perform the operation only by moving the subject. In addition, when a caption is displayed as a video, the caption may be displayed, hidden, or the type of caption displayed may be switched depending on the movement of the subject.
また、図6に示す例では、プロジェクタ34に表示させる画像を動画の場合として説明したが、静止画の場合も同様に、被写体の動きと操作とを対応付けて記憶させておくことで、種々の操作を行うことができる。例えば、スライドショーのように複数の静止画を順番に表示させる場合は、被写体の動きによって、1つ前の画像を表示させたり、1つ後の画像を表示させたり、2つ前の画像を表示させたり、特定のキーワードを含む画像を検索させたりすることができる。
In the example shown in FIG. 6, the image displayed on the
次に、図7に示す例は、携帯電子機器10のプロジェクタ34で映画や、テレビ番組を再生(表示)する場合であり、被写体の動きと検索操作とが対応付けて記憶されている。この場合は、携帯電子機器10が画像を表示している際に、操作者が被写体の動きにより画面の任意の領域を囲う動作を入力する。なお、図7に示す例では、画面に表示されている人物を囲う動作が入力される。なお、操作者が画面の所望の領域を囲うことができるように、制御部22は、被写体が画面のどの位置にあるかをポインタとして表示させるようにすることが好ましい。
Next, the example shown in FIG. 7 is a case where a movie or a TV program is played (displayed) by the
制御部22は、被写体の動きにより囲まれた領域に表示されている人物を特定し、その人物に関する情報を収集し、画面上に表示させる。ここで、画面に表示させる情報としては、特定した人物の名前、経歴(出演映画、出演番組、生年月日)等である。
The
このように、被写体の動きにより囲まれた領域に表示されている人物の情報を表示させることで、その画面に表示されている人物について知ることができる。また、単にその人物を囲うのみで、その人物の情報が表示されるため、操作者は簡単な操作で所望の情報を取得することができる。 In this way, by displaying the information of the person displayed in the area surrounded by the movement of the subject, it is possible to know the person displayed on the screen. Further, since the person's information is displayed simply by enclosing the person, the operator can obtain desired information with a simple operation.
なお、制御部22により、囲まれた領域に表示されている人物を特定する方法は、特に限定されず種々の方法を用いることができる。例えば、囲まれた領域を画像解析して人物を抽出し、抽出した人物の画像を、データベース(携帯電子機器10内のデータベース、または、通信回線を介して接続された外部のデータベース)にある画像と照合(パターンマッチング)を行うことで、人物を特定すればよい。また、再生させる映画、TV番組のデータとして、画像、音声データに加え、予め画像の各領域にどの人物が表示されているかの情報を記憶、または、取得しておく。これにより、被写体の動きで囲まれた領域の情報と、予め記憶または取得してある画像の領域にどの人物が表示されているかの情報とから、囲まれた領域にいる人物を特定することができる。また、特定した人物に関する情報を取得する方法は、特に限定されず、記憶部24に記憶されている情報を表示させるようにしても、インターネットを用いて外部のデータベースを検索して取得した情報を表示させてもよい。
Note that the method for specifying the person displayed in the enclosed area by the
また、上記実施例では、囲まれた領域に表示されている人物についての情報を表示させるようにしたが、囲まれた領域に表示されている物の情報を検索して表示させるようにしてもよい。また、表示されている物に限らず、音楽が出力されている場合は、出力されている音楽の情報を表示させるようにしてもよい。なお、画像に表示されている物、人物の情報を表示させるか、画像には写っていない音楽の情報を表示させるかの判定は、被写体の動きに基づいて判定すればよい。例えば、画面の特定の領域が囲まれた場合や、被写体の動きが領域を囲う動きではない、所定の動き(大きく×を描く、単に左右に動く等)を検出した場合に音楽の情報を表示させるようにすればよい。 In the above embodiment, information about the person displayed in the enclosed area is displayed. However, information on an object displayed in the enclosed area may be retrieved and displayed. Good. Further, not only the displayed items but also the output of music information when music is output. Note that whether to display information about an object or person displayed in the image or information about music that is not shown in the image may be determined based on the movement of the subject. For example, music information is displayed when a specific area of the screen is surrounded, or when the subject's movement is not movement surrounding the area, or when a predetermined movement (such as drawing large X or simply moving to the left or right) is detected You can make it.
また、上記実施形態では、被写体として、人物の手を用いた場合を説明したが、人物の全体を被写体としてもよい。人物全体を被写体とすることで、被写体の全体の動きに基づいて画面の操作を行うことができる。以下、図8及び図9を用いて、一例を説明する。ここで、図8は、携帯電子機器の動作の他の例を示すフロー図であり、図9は、携帯電子機器の動作を説明するための説明図である。また、本例では、携帯電子機器10でアプリケーションソフトウェアとして格闘ゲームを実行させた場合の例である。
In the above embodiment, the case where a person's hand is used as the subject has been described. However, the entire person may be the subject. By using the entire person as the subject, the screen can be operated based on the overall movement of the subject. Hereinafter, an example will be described with reference to FIGS. 8 and 9. Here, FIG. 8 is a flowchart showing another example of the operation of the portable electronic device, and FIG. 9 is an explanatory diagram for explaining the operation of the portable electronic device. In this example, a fighting game is executed as application software in the mobile
まず、制御部22は、操作者による操作により格闘ゲームが起動されると、ステップS40としてプロジェクタ34により画像を投影する。プロジェクタ34は、例えば、格闘ゲームの起動画面を投影し、ゲームをスタートさせる。また、操作者は、この時、撮影部38の撮影領域内に全身が入る位置に立っている。
First, when the fighting game is activated by an operation by the operator, the
制御部22は、ステップS40で画像を投影(画像の投影を開始)したら、ステップS42として、撮影部38によりユーザ(操作者)の撮影を開始する。つまり、撮影部38により撮影領域の画像を取得する。制御部22は、撮影部38により画像を取得したら、取得した画像から被写体としてユーザの体全体を抽出する。
When the
制御部22は、ステップS42でユーザを撮影し取得した画像から被写体を抽出したら、ステップS44として、投影画像にユーザを投影する。つまり、ステップS42で取得した被写体の画像をプロジェクタ34に投影する画像に合成し、合成した画像をプロジェクタ34により投影する。これにより、プロジェクタ34からは被写体を含む画像が投影される。また、制御部22は、投影させる画像で、被写体を撮影部38で取得した画像の被写体の位置に対応した位置に表示させる。また、本例は、格闘ゲームであるので、投影される画面には、被写体と対戦する対戦相手の画像が表示されている。
After extracting the subject from the image acquired by capturing the user in step S42, the
ここで、投影する画面には、画面における被写体の位置や、被写体の動作、手足の位置(つまり手を上げているか下げているか)等がわかればよく、被写体の表示形状は特に限定されない。したがって、投影する画像には、撮影部38で取得した被写体の画像をそのまま表示させてもよいが、被写体の外形だけを線で表示させてもよい。つまり、被写体を記号化(アイコン化)して表示させるようにしてもよい。また、被写体の画像に変えて特定のキャラクタで表示してもよい。
Here, the screen to be projected only needs to know the position of the subject on the screen, the motion of the subject, the position of the limbs (that is, whether the hand is raised or lowered), and the display shape of the subject is not particularly limited. Therefore, in the image to be projected, the image of the subject acquired by the photographing
制御部22は、ステップS44で投影画像にユーザを投影したら、ステップS46としてユーザが動作したかを判定する。具体的には、制御部22は、ステップS44の処理を行った後も、撮影部38により取得した画像から被写体を抽出し、抽出した被写体を投影する画像に投影しつつ、抽出した被写体の動きを検出する。ここで、制御部22、ステップS46で予め設定された特定の動き(本例では、パンチ、キック、体当たりのいずれか)をしたかを判定する。また、特定の動きであるか否かは、抽出した被写体の変化に基づいて判定すればよい。つまり、被写体を抽出する際に、被写体の手、足、胴体、頭部分を特定し、各部の動きを抽出することで、特定の動きであるかを判定することができる。例えば、他の部分に比べ、一方の手の位置が大きく変化した場合は、パンチであると判定するように設定すればよい。制御部22は、ステップS46でユーザが動作していない(No)と判定したら、ステップS46に進み同じ処理を繰り返す。つまり、制御部22は、ユーザが所定の処理を行うまで、ステップS46の処理を繰り返す。
When the user is projected onto the projection image in step S44, the
制御部22は、ステップS46でユーザが動作した(Yes)と判定したら、ステップS48として、動作判定を行う。つまり、制御部22は、ステップS48として、ステップS46で検出した動作の種類、本例では、パンチ、キック、体当たりのいずれであるか判定する。制御部22は、ステップS48でユーザがパンチをしたと判定したら、ステップS50として、10ポイントのダメージを加算し、ステップS48でユーザがキックをしたと判定したら、ステップS52として、15ポイントのダメージを加算し、ステップS48でユーザが体当たりをしたと判定したら、ステップS54として、50ポイントのダメージを加算する。なお、図9は、ユーザがキックをしている状態である。撮影部38によりキックをしているユーザの画像を取得しているため、プロジェクタ34に投影されるユーザの画像もキックをしている状態となる。また、画面には、ダメージ15ポイントを与えたことが表示され、さらに、画面上に表示された対戦相手は、キックによるダメージを受けた状態で表示される。なお、ダメージの初期値は、0であり、ステップS50、ステップS52、ステップS54の処理が行われると加算される。
If it is determined in step S46 that the user has operated (Yes), the
制御部22は、ステップS50、ステップS52、ステップS54の処理を行ったらステップS56として、与えたダメージが合計100ポイント以上であるかを判定する。制御部22は、ステップS56でダメージが100ポイント未満であると、判定したら、ステップS46に進み、上記処理を繰り返す。また、制御部22は、ステップS56でダメージが100ポイント以上であると判定したら、処理を終了する。なお、終了する前に、対戦相手を倒したことを通知するメッセージや、画像を表示させるようにしてもよい。また、そのまま、次の対戦相手との対戦を開始する場合は、ステップS40からの処理を繰り返す。
The
このように、撮影部で撮影したユーザを被写体として抽出し、その動きを検出することで、ユーザが体を動かすことが入力となり、実際の動作とゲームの操作とを対応付けることができる。これにより、操作者は、直感で操作をすることができ、ゲームをより楽しむことができる。また、操作部を必要としないため、装置構成を簡単にすることができる。 In this way, by extracting a user photographed by the photographing unit as a subject and detecting its movement, it is possible for the user to move the body as an input and to associate the actual action with the game operation. Thereby, the operator can operate intuitively and can enjoy a game more. Moreover, since an operation part is not required, the apparatus configuration can be simplified.
また、本実施形態のように、投影する方向と画像を取得する方向を異なる方向とすることで、ユーザは、画面を見ながら動くことができ、プロジェクタから投影される光が直接操作者に当たり、まぶしい思いをすることも防止することができる。 Further, as in the present embodiment, by making the projection direction and the image acquisition direction different from each other, the user can move while looking at the screen, and the light projected from the projector directly hits the operator. It can also prevent dazzling thoughts.
また、上記例では、ゲームとして、格闘ゲームを例にしたが、マラソン等の走るゲームにも用いることができる。この場合は、風景の画像を投影し、ユーザが走っていることを検出したら、その走りのリズムに合わせて、投影している画面の風景を走っているように切り替えるようにすることで、走っている雰囲気を味わうことができる。また、ジャンプ、しゃがむ等の動作を検出し、障害物を乗り越えるゲームも行うことができる。 In the above example, a fighting game is taken as an example of the game, but it can also be used for a running game such as a marathon. In this case, project a landscape image, and detect that the user is running, then switch to running the projected landscape on the screen according to the running rhythm. You can taste the atmosphere. In addition, it is possible to play a game of overcoming obstacles by detecting actions such as jumping and squatting.
この時、被写体の動きから、ユーザの運動量を検出するようにしてもよい。ユーザの運動量を検出することで、消費カロリーを算出することができる。具体的には、ユーザの体重等の身体情報と、体の動きに対応付けられたカロリー表とを記憶しておき、検出したユーザの動きとカロリー表との関係に基づいて消費カロリーを算出すればよい。 At this time, the amount of exercise of the user may be detected from the movement of the subject. By detecting the amount of exercise of the user, calorie consumption can be calculated. Specifically, the body information such as the user's weight and the calorie table associated with the body movement are stored, and the calorie consumption is calculated based on the relationship between the detected user movement and the calorie table. That's fine.
また、上記実施形態では、被写体として、人物の一部または全体を検出したが、人物に限定されず、撮影部で取得した画像の所定の被写体(設定された被写体)の動きに基づいて画面を操作すればよい。例えば、被写体として所定の波長域、または所定波長の光(例えば、レーザポインタの光)を用い、この光の動きに基づいて画面を操作するようにしてもよい。被写体として、所定の波長域の光を用いることで、撮影部で取得した画像から簡単に被写体を抽出することができる。 In the above embodiment, a part or the whole of a person is detected as a subject. However, the subject is not limited to a person, and the screen is displayed based on the movement of a predetermined subject (a set subject) in an image acquired by a photographing unit. Just operate. For example, a predetermined wavelength range or light of a predetermined wavelength (for example, laser pointer light) may be used as a subject, and the screen may be operated based on the movement of this light. By using light of a predetermined wavelength range as a subject, the subject can be easily extracted from the image acquired by the photographing unit.
また、複数の波長域または複数の波長の光、つまり複数の色の光を被写体として、設定し、検出した被写体の波長域に応じて、画面操作を切り替えるようにしてもよい。つまり、被写体の動き及び被写体の波長域と、画面の操作とを対応付けておき、検出した、被写体の動きと被写体の波長域とに基づいて、画面を操作するようにしてもよい。このように、光の波長域によって操作を切り替えることで、同一の動きでも異なる操作を入力することが可能となり、より多くの操作を行うことが可能となる。 Alternatively, light of a plurality of wavelength ranges or a plurality of wavelengths, that is, light of a plurality of colors may be set as a subject, and the screen operation may be switched according to the detected wavelength range of the subject. In other words, the movement of the subject and the wavelength range of the subject may be associated with the operation of the screen, and the screen may be operated based on the detected movement of the subject and the wavelength range of the subject. Thus, by switching the operation depending on the wavelength range of light, it is possible to input different operations even in the same movement, and it is possible to perform more operations.
また、被写体の動きに基づいて、被写体の動き、検出した文字や図形を画面に表示させる場合は、画面に表示させる被写体の動き、検出した文字や図形を被写体の色に合わせて変化させるようにしてもよい。これにより、操作者は、種々の色で画面に書き込むことが可能となる。 Also, when displaying subject movement and detected characters and figures on the screen based on the subject movement, change the subject movement displayed on the screen and the detected characters and figures according to the subject color. May be. Thereby, the operator can write on the screen in various colors.
また、被写体の点滅も被写体の動きとして検出することができる。例えば、被写体が3回点滅したら、プロジェクタの電源をオフにする、つまり画像の表示を終了する操作も設定することができる。 Also, blinking of the subject can be detected as the motion of the subject. For example, when the subject blinks three times, an operation of turning off the power of the projector, that is, ending the image display can be set.
また被写体として検出する光の波長域は、不可視光の波長域としてもよい。不可視光とすることで、ポインタの光が目に入りまぶしい思いをすることを防止することができる。 Further, the wavelength range of light detected as a subject may be the wavelength range of invisible light. By making the light invisible, it is possible to prevent the light of the pointer from entering the eyes and feeling dazzling.
また、本発明の電子機器は、プロジェクタにより画像を投影する方向と、撮影部により画像を取得する方向を同じ方向としてもよい。つまり、プロジェクタが投影する画像を含む画像を撮影部が取得するようにしてもよい。このようにプロジェクタが投影した画像を含む画像から被写体を検出する場合は、画像処理により、撮影部が取得した画像からプロジェクタが投影した画像を除去した後、被写体を検出するようにする。例えば、所定の波長域の光を被写体として検出する場合に、プロジェクタが投影する画像に所定の波長域の光があっても、当該部分の光は、被写体として検出しないようにする。これにより、操作者が操作した被写体の動きをより確実に検出することができる。 In the electronic apparatus of the present invention, the direction in which the image is projected by the projector and the direction in which the image is acquired by the photographing unit may be the same direction. That is, the photographing unit may acquire an image including an image projected by the projector. When the subject is detected from the image including the image projected by the projector as described above, the subject is detected after removing the image projected by the projector from the image acquired by the photographing unit by image processing. For example, when light in a predetermined wavelength range is detected as a subject, even if there is light in a predetermined wavelength range in an image projected by a projector, the light in that portion is not detected as a subject. Thereby, the movement of the subject operated by the operator can be detected more reliably.
また、被写体としては、所定の波長域の光、以外にもペンや、棒も用いることができる。なお、操作者が被写体の動きを入力するために別途物を持つ必要が無くなり、構成を簡単にすることができるため、被写体は、人物全体、または人物の所定の部分とすることが好ましい。 In addition to light of a predetermined wavelength range, a pen or a bar can be used as the subject. Note that it is not necessary for the operator to have a separate object for inputting the movement of the subject, and the configuration can be simplified. Therefore, the subject is preferably the entire person or a predetermined portion of the person.
携帯電子機器は、撮影部に対面する位置にある被写体との距離を計測するセンサ(測距センサ)を設けることが好ましい。センサを設け、被写体と携帯電子機器との距離が計測できることで、被写体と基準位置との距離、被写体の移動量をより正確に算出することができる。これにより、投影する画像上における被写体の位置が算出しやすくなる。 It is preferable that the portable electronic device is provided with a sensor (ranging sensor) that measures a distance from a subject at a position facing the photographing unit. By providing a sensor and measuring the distance between the subject and the portable electronic device, the distance between the subject and the reference position and the amount of movement of the subject can be calculated more accurately. This makes it easier to calculate the position of the subject on the projected image.
また、上記実施形態では、プロジェクタ34により投影した画像を操作したが、表示部としては、プロジェクタ34に限定されず、液晶モニタ等の表示装置に表示させた画像を操作するようにしてもよい。
In the above embodiment, the image projected by the
なお、上記画面の操作例、表示例は、一例であり本発明は上記例に限定されない。また、上記各例を組み合わせてもよい。例えば、所定の被写体の動きを検出したら文字入力モードに移行し、被写体の動きから文字を検出するようにしてもよい。 The operation examples and display examples of the screen are examples, and the present invention is not limited to the above examples. Further, the above examples may be combined. For example, when the movement of a predetermined subject is detected, the mode may be shifted to a character input mode and a character may be detected from the movement of the subject.
以上のように、本発明にかかる電子機器は、所定の入力により画像の表示を制御する電子機器に用いることに適している。 As described above, the electronic device according to the present invention is suitable for use in an electronic device that controls display of an image by a predetermined input.
10 携帯電子機器
11 筐体
12 ディスプレイ
13 操作キー
14 専用キー
15 マイク
16 レシーバ
22 制御部
24 記憶部
26 送受信部
26a アンテナ
28 操作部
30 音声処理部
32 表示部
34 プロジェクタ
34a 光射出部
38 撮影部
38a 撮像部
DESCRIPTION OF
Claims (13)
撮影部にユーザを撮影させ、
さらに、ユーザとの距離及び不可視光の波長の光の検出により検出部にユーザの動きと位置を検出させる制御部と、を有し、
前記制御部は、前記ユーザの動きに基づいて、前記画像を変化させるとともに、前記表示部の画像上に表示させるユーザの位置を決定する
ことを特徴とする電子機器。 While displaying an image on the display,
Let the shooter shoot the user,
And a control unit that causes the detection unit to detect the movement and position of the user by detecting the distance to the user and the light having the wavelength of invisible light.
The electronic device is characterized in that the control unit changes the image based on the movement of the user and determines a position of the user to be displayed on the image of the display unit.
ことを特徴とする請求項1に記載の電子機器。 The electronic device according to claim 1, wherein the detection unit detects at least one of a user's hand movement, a foot movement, a head movement, or a whole body movement.
ことを特徴とする請求項1に記載の電子機器。 The electronic device according to claim 1, wherein the control unit displays the movement of the user on the display unit by icon display or character display.
ことを特徴とする請求項1に記載の電子機器。 The electronic device according to claim 1, wherein the control unit estimates an amount of exercise from the user's movement and the weight, and displays calorie consumption on the display unit.
ことを特徴とする請求項1に記載の電子機器。 The electronic device according to claim 1, wherein the control unit displays a message corresponding to the movement or an image associated with the movement on the display unit after detecting the movement of the user.
ことを特徴とする請求項1に記載の電子機器。 The electronic device according to claim 1, wherein the control unit displays a message corresponding to the result of the movement or an image associated with the movement on the display unit after detecting the movement of the user. .
ことを特徴とする請求項1に記載の電子機器。 The electronic device according to claim 1, wherein the movement includes any one of a kick action, a punch action, a body contact action, a jump action, a squatting action, and a running action.
ことを特徴とする請求項1から10のいずれか1項に記載の電子機器。 The electronic device according to claim 1, further comprising a person specifying unit that specifies a person displayed on the display screen.
撮影部にユーザを撮影させ、
さらに、ユーザとの距離及び不可視光の波長の光の検出によりユーザの動きと位置を検出させ、
ユーザの動きに基づいて、前記画像を変化させるとともに、前記表示部の画像上に表示させるユーザの位置を決定する
ことを特徴とする電子機器制御用プログラム。 While displaying an image on the display,
Let the shooter shoot the user,
Furthermore, by detecting the distance to the user and the light of the wavelength of invisible light, the user's movement and position are detected,
An electronic device control program characterized by changing the image based on a user's movement and determining a position of the user to be displayed on the image of the display unit.
撮影部にユーザを撮影させ、
さらに、ユーザとの距離及び不可視光の波長の光の検出によりユーザの動きと位置を検出させ、
ユーザの動きに基づいて、前記画像を変化させるとともに、前記表示部の画像上に表示させるユーザの位置を決定する
ことを特徴とする電子機器の制御方法。 While displaying an image on the display,
Let the shooter shoot the user,
Furthermore, by detecting the distance to the user and the light of the wavelength of invisible light, the user's movement and position are detected,
A method for controlling an electronic apparatus, comprising: changing the image based on a user's movement; and determining a position of the user to be displayed on the image of the display unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014152264A JP2015007986A (en) | 2014-07-25 | 2014-07-25 | Electronic apparatus, program for controlling electronic apparatus, and method for controlling electronic apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014152264A JP2015007986A (en) | 2014-07-25 | 2014-07-25 | Electronic apparatus, program for controlling electronic apparatus, and method for controlling electronic apparatus |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013087651A Division JP2013214306A (en) | 2013-04-18 | 2013-04-18 | Electronic apparatus, program for controlling electronic apparatus, and method for controlling electronic apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015007986A true JP2015007986A (en) | 2015-01-15 |
Family
ID=52338173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014152264A Pending JP2015007986A (en) | 2014-07-25 | 2014-07-25 | Electronic apparatus, program for controlling electronic apparatus, and method for controlling electronic apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015007986A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019046250A (en) * | 2017-09-04 | 2019-03-22 | 株式会社コロプラ | Program executed by computer to provide virtual space, method thereof, information processing apparatus for executing said program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002024833A (en) * | 2000-07-07 | 2002-01-25 | Sony Corp | Entertainment system, entertainment device and information processing method |
JP2002027315A (en) * | 2000-07-07 | 2002-01-25 | Sony Corp | Apparatus and method for detecting movement |
JP2003175279A (en) * | 2001-12-07 | 2003-06-24 | Konami Co Ltd | Video game device and motion sensor structure |
JP2007143748A (en) * | 2005-11-25 | 2007-06-14 | Sharp Corp | Image recognition device, fitness aid device, fitness aid system, fitness aid method, control program and readable recording medium |
JP2008083290A (en) * | 2006-09-27 | 2008-04-10 | Sony Corp | Display apparatus, and display method |
JP2008287142A (en) * | 2007-05-21 | 2008-11-27 | Brother Ind Ltd | Image projector |
-
2014
- 2014-07-25 JP JP2014152264A patent/JP2015007986A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002024833A (en) * | 2000-07-07 | 2002-01-25 | Sony Corp | Entertainment system, entertainment device and information processing method |
JP2002027315A (en) * | 2000-07-07 | 2002-01-25 | Sony Corp | Apparatus and method for detecting movement |
JP2003175279A (en) * | 2001-12-07 | 2003-06-24 | Konami Co Ltd | Video game device and motion sensor structure |
JP2007143748A (en) * | 2005-11-25 | 2007-06-14 | Sharp Corp | Image recognition device, fitness aid device, fitness aid system, fitness aid method, control program and readable recording medium |
JP2008083290A (en) * | 2006-09-27 | 2008-04-10 | Sony Corp | Display apparatus, and display method |
JP2008287142A (en) * | 2007-05-21 | 2008-11-27 | Brother Ind Ltd | Image projector |
Non-Patent Citations (1)
Title |
---|
PHIL KEYS: "NEレポート", 日経エレクトロニクス, vol. 第1006号, JPN6015036053, 15 June 2009 (2009-06-15), JP, pages 8 - 9, ISSN: 0003149895 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019046250A (en) * | 2017-09-04 | 2019-03-22 | 株式会社コロプラ | Program executed by computer to provide virtual space, method thereof, information processing apparatus for executing said program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5254906B2 (en) | Electronics | |
JP5566397B2 (en) | Mobile devices for augmented reality applications | |
US10877583B2 (en) | Game apparatus and information processing apparatus | |
JP5785753B2 (en) | Electronic device, control method, and control program | |
JP2019510321A (en) | Virtual reality pass-through camera user interface elements | |
JP5635850B2 (en) | Information processing apparatus, information processing program, information processing system, and information processing method | |
CN113485626A (en) | Intelligent display device, mobile terminal and display control method | |
JP5583741B2 (en) | Portable terminal device, terminal program, and toy | |
JP6002345B1 (en) | Information processing apparatus including game program, method, and touch screen | |
JP2015007986A (en) | Electronic apparatus, program for controlling electronic apparatus, and method for controlling electronic apparatus | |
JP2006318385A (en) | Image generation system, program, and information storage medium | |
JP6924564B2 (en) | Game program | |
JP2013214306A (en) | Electronic apparatus, program for controlling electronic apparatus, and method for controlling electronic apparatus | |
CN114612637A (en) | Scene picture display method and device, computer equipment and storage medium | |
JP2021053466A (en) | Game program, method for executing game program, and information processor | |
JP6907148B2 (en) | An information processing method, a device, and a program for causing a computer to execute the information processing method. | |
US20240198226A1 (en) | Method and ar glasses for ar glasses interactive display | |
JP2020075137A (en) | Program, information processing method, and information processing device | |
JP2014220000A (en) | Portable terminal, terminal program and toy | |
JP2019126417A (en) | Information processing apparatus, operation control program, and operation control method | |
WO2017169748A1 (en) | Game program, method, and information processing device comprising touch screen | |
JP2007160017A (en) | Game device, game screen display control method, and program | |
JP2016185216A (en) | Program, game control method and information processor | |
JP6032256B2 (en) | VIDEO GAME DEVICE, ITS CONTROL METHOD, CONTROL PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM | |
CN115484521A (en) | Intelligent sound box, virtual image control method, equipment and medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150908 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160510 |