JP2011188023A - Information processing unit, method of processing information, and program - Google Patents
Information processing unit, method of processing information, and program Download PDFInfo
- Publication number
- JP2011188023A JP2011188023A JP2010048096A JP2010048096A JP2011188023A JP 2011188023 A JP2011188023 A JP 2011188023A JP 2010048096 A JP2010048096 A JP 2010048096A JP 2010048096 A JP2010048096 A JP 2010048096A JP 2011188023 A JP2011188023 A JP 2011188023A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- projection image
- information processing
- irradiated
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理方法およびプログラムに関する。 The present invention relates to an information processing apparatus, an information processing method, and a program.
従来、カメラ撮影における照明は、一般的にフラッシュなどを用いている。しかし、フラッシュ以外の特殊な証明をフラッシュのみを用いて行うことは困難であった。また、カメラで撮影した画像に画像処理によって所望の模様やテクスチャなどを画像に付与することができるが、それらを付与した結果をカメラの撮影者が視認することができても、第三者や被写体は付与した結果を確認することができなかった。 Conventionally, illumination in camera photography generally uses a flash or the like. However, it was difficult to perform special proofs other than flash using only flash. In addition, a desired pattern or texture can be given to the image taken by the camera by image processing, but even if the photographer of the camera can visually recognize the result, The subject could not confirm the result given.
そこで、撮影対象となる被写体に、プロジェクタを用いてグラフィックを投影する技術が開示されている（例えば、特許文献１および特許文献２）。特許文献１および特許文献２では、グラフィックを投影する位置を予めマーカ等により認識して、マーカ上にグラフィックが投影される。
Therefore, a technique for projecting graphics onto a subject to be photographed using a projector has been disclosed (for example,
しかし、上記特許文献１では、マーカ等により予め認識された位置にグラフィックが投影されるため、撮影画像が表示されている表示画面上でユーザが直接指定した位置にグラフィックを投影することができないという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザによる直感的な操作で所望のグラフィック投影を行うことが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。
However, in the
Accordingly, the present invention has been made in view of the above problems, and an object of the present invention is to provide new and improved information capable of performing desired graphic projection by an intuitive operation by a user. To provide a processing device, an information processing method, and a program.
上記課題を解決するために、本発明のある観点によれば、撮像装置により被写体を撮像する撮像部と、ユーザ入力に基づく投影イメージを照射装置により前記被写体に照射する照射部と、を備え、前記撮像部は、前記投影イメージが照射された前記被写体を撮像する、情報処理装置が提供される。 In order to solve the above problems, according to an aspect of the present invention, an imaging unit that images a subject with an imaging device, and an irradiation unit that irradiates the subject with a projection image based on a user input, The imaging unit is provided with an information processing apparatus that images the subject irradiated with the projection image.
また、前記撮像装置と前記照射装置は前記情報処理装置の固定位置に備えられていてもよい。 The imaging device and the irradiation device may be provided at a fixed position of the information processing device.
また、前記被写体が表示されている表示画面上でユーザ入力に応じて指定された指定位置を取得する取得部を備え、前記照射部は、前記取得部により取得された前記指定位置に前記投影イメージを照射してもよい。 In addition, an acquisition unit that acquires a specified position specified in accordance with a user input on a display screen on which the subject is displayed, and the irradiation unit projects the projected image at the specified position acquired by the acquisition unit. May be irradiated.
また、前記取得部は、前記被写体が表示されている表示画面上でユーザ操作により指定された前記投影イメージを取得し、前記照射部は、前記取得部により取得された前記投影イメージを前記被写体に照射してもよい。 The acquisition unit acquires the projection image specified by a user operation on a display screen on which the subject is displayed, and the irradiation unit uses the projection image acquired by the acquisition unit as the subject. It may be irradiated.
また、前記取得部は、前記被写体が表示されている表示画面上でユーザ操作により描写された前記投影イメージを取得してもよい。 The acquisition unit may acquire the projection image drawn by a user operation on a display screen on which the subject is displayed.
また、前記取得部は、前記被写体が表示されている表示画面上に表示された１または２以上の投影イメージからユーザ操作により選択された１の投影イメージを取得してもよい。 The acquisition unit may acquire one projection image selected by a user operation from one or more projection images displayed on a display screen on which the subject is displayed.
また、前記取得部は、ユーザ操作により指定された所定の情報を取得し、前記照射部は、前記取得部により取得された前記所定の情報が埋め込まれた前記投影イメージを前記被写体に照射してもよい。 The acquisition unit acquires predetermined information designated by a user operation, and the irradiation unit irradiates the subject with the projection image in which the predetermined information acquired by the acquisition unit is embedded. Also good.
また、前記撮像部により撮像された前記被写体の画像を解析する解析部を備え、前記解析部は、前記被写体の特徴点を抽出し、前記照射部は、前記解析部により抽出された前記被写体の特徴点に応じて前記投影イメージを前記被写体に照射してもよい。 An analysis unit that analyzes an image of the subject imaged by the imaging unit; wherein the analysis unit extracts a feature point of the subject; and the irradiation unit The projection image may be irradiated on the subject according to the feature point.
また、前記照射部は、前記解析部により抽出された前記被写体の特徴点の位置に合わせて前記投影イメージを前記被写体に照射してもよい。 The irradiating unit may irradiate the subject with the projection image in accordance with the position of the feature point of the subject extracted by the analyzing unit.
また、前記情報処理装置本体の動きを検出する検出部を備え、前記照射部は、前記検出部により検出された前記情報処理装置本体の動きに応じて前記投影イメージを前記被写体に照射してもよい。 A detection unit configured to detect a movement of the information processing apparatus main body; and the irradiation unit may irradiate the subject with the projection image according to the movement of the information processing apparatus main body detected by the detection unit. Good.
また、前記撮像部は、所定の撮像周期で前記投影イメージが照射された前記被写体を撮像してもよい。 The imaging unit may image the subject irradiated with the projection image at a predetermined imaging cycle.
また、前記撮像部は、ネットワークを介して接続された他の機器と前記撮像周期を同期させて、前記投影イメージが照射された前記被写体を撮像してもよい。 In addition, the imaging unit may capture the subject irradiated with the projection image by synchronizing the imaging cycle with another device connected via a network.
また、上記課題を解決するために、本発明の別の観点によれば、ユーザ入力に基づく投影イメージを照射装置により前記被写体に照射するステップと、前記投影イメージが照射された前記被写体を撮像装置により撮像するステップと、を含む、情報処理方法が提供される。 In order to solve the above problem, according to another aspect of the present invention, a step of irradiating the subject with a projection image based on a user input by an irradiation device, and an imaging device for the subject irradiated with the projection image An information processing method is provided.
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、撮像装置により被写体を撮像する撮像部と、ユーザ入力に基づく投影イメージを照射装置により前記被写体に照射する照射部と、を備え、前記撮像部は、前記投影イメージが照射された前記被写体を撮像する、情報処理装置として機能させるためのプログラムが提供される。 In order to solve the above-described problem, according to another aspect of the present invention, a computer uses an imaging unit that images a subject with an imaging device, and irradiation that irradiates the subject with a projection image based on a user input. A program for causing the imaging unit to function as an information processing apparatus that images the subject irradiated with the projection image.
以上説明したように本発明によれば、ユーザによる直感的な操作でグラフィックの投影を行うことができる。 As described above, according to the present invention, graphics can be projected by an intuitive operation by a user.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
＜１．本実施形態の概要＞
＜２．第１実施形態＞
＜２−１．情報処理装置のハードウェア構成＞
＜２−２．情報処理装置の機能構成＞
＜２−３．情報処理装置の動作の詳細＞
＜３．第２実施形態＞
＜３−１．情報処理装置のハードウェア構成＞
＜３−２．情報処理装置の機能構成＞
＜３−３．情報処理装置の動作の詳細＞
＜４．第３実施形態＞
＜４−１．情報処理装置のハードウェア構成＞
＜４−２．情報処理装置の機能構成＞
＜４−３．情報処理装置の動作の詳細＞
<1. Overview of this embodiment>
<2. First Embodiment>
<2-1. Hardware configuration of information processing apparatus>
<2-2. Functional configuration of information processing apparatus>
<2-3. Details of operation of information processing apparatus>
<3. Second Embodiment>
<3-1. Hardware configuration of information processing apparatus>
<3-2. Functional configuration of information processing apparatus>
<3-3. Details of operation of information processing apparatus>
<4. Third Embodiment>
<4-1. Hardware configuration of information processing apparatus>
<4-2. Functional configuration of information processing apparatus>
<4-3. Details of operation of information processing apparatus>
＜１．本実施形態の概要＞
まず、図１および図２を参照して、本実施形態の概要について説明する。本実施形態にかかる情報処理装置１０は、主に、被写体を撮像する撮像装置（カメラ）と、映像を被写体に照射する照射装置（プロジェクタ）と、カメラにより撮像された撮像画像を表示する表示装置（ディスプレイ）などを備える。図１に示したように、情報処理装置１０の一の面（表面）には、ディスプレイ１１が備えられている。また、情報処理装置１０の他の面（裏面）には、カメラ用レンズ１２とプロジェクタ用レンズ１３が備えられている。以下では、カメラ用レンズ１２を含むカメラを撮像装置１２またはカメラ１２と称し、プロジェクタ用レンズ１３を含むプロジェクタを照射装置１３またはプロジェクタ１３と称する。
<1. Overview of this embodiment>
First, an outline of the present embodiment will be described with reference to FIGS. 1 and 2. An
情報処理装置１０では、カメラ１２とプロジェクタ１３が情報処理装置１０の筐体の固定の位置に備えられている。カメラ１２で撮像された被写体の画像は、ディスプレイ１１に表示される。また、プロジェクタ１３から被写体に投影イメージが照射される。そして、投影イメージが照射された被写体がディスプレイ１１に表示される。
In the
また、図２に示したように、撮像領域５１は、カメラにより撮像可能な領域であり、照射領域５２は、プロジェクタにより照射可能な領域である。以下の実施形態では、撮像領域５１と照射領域５２とは同期しているとして説明する。ここで、同期しているとは、カメラ用レンズ１２により撮像される撮像領域５１、すなわちディスプレイ１１に表示されている表示領域と、プロジェクタ用レンズ１３により照射される照射領域５２とが同一の範囲を示すことを意味する。また、撮像領域５１と照射領域５２とが同期していない場合には、ディスプレイ１１に照射領域を示してもよい。以上、本実施形態の概要について説明した。
As shown in FIG. 2, the
＜２．第１実施形態＞
次に、第１実施形態について説明する。従来、カメラ撮影における照明は、一般的にフラッシュなどを用いている。しかし、フラッシュ以外の特殊な証明をフラッシュのみを用いて行うことは困難であった。また、カメラで撮影した画像に画像処理によって所望の模様やテクスチャなどを画像に付与することができるが、それらを付与した結果をカメラの撮影者が視認することができても、第三者や被写体は付与した結果を確認することができなかった。
<2. First Embodiment>
Next, the first embodiment will be described. Conventionally, illumination in camera photography generally uses a flash or the like. However, it was difficult to perform special proofs other than flash using only flash. In addition, a desired pattern or texture can be given to the image taken by the camera by image processing, but even if the photographer of the camera can visually recognize the result, The subject could not confirm the result given.
そこで、撮影対象となる被写体に、プロジェクタを用いてグラフィックを投影する技術が開示されている。これらの技術では、グラフィックを投影する位置を予めマーカ等により認識して、マーカ上にグラフィックが投影される。しかし、上記技術では、マーカ等により予め認識された位置にグラフィックが投影されるため、撮影対象全体にグラフィックの投影を照明として用いたり、指定した位置のみにグラフィックを投影したりするなど、自由度の高い照明表現を可能にするグラフィックの投影をすることができないという問題があった。 Therefore, a technique for projecting graphics onto a subject to be photographed using a projector is disclosed. In these techniques, the position for projecting the graphic is recognized in advance by a marker or the like, and the graphic is projected on the marker. However, in the above technique, since the graphic is projected at a position recognized in advance by a marker or the like, the degree of freedom such as using the graphic projection as illumination on the entire subject to be photographed or projecting the graphic only at the specified position. There is a problem that it is impossible to project graphics that enable high lighting expression.
そこで、上記のような事情を一着眼点として、本実施形態にかかる情報処理装置１０が創作されるに至った。本実施形態にかかる情報処理装置１０によれば、撮影された画像に適したグラフィックの投影を行うことが可能となる。
Therefore, the
＜２−１．情報処理装置のハードウェア構成＞
次に、図３を参照して、情報処理装置１０のハードウェア構成について説明する。図３は、情報処理装置１０のハードウェア構成を示すブロック図である。図３に示したように、情報処理装置１０は、表示装置（ディスプレイ）１１と、撮像装置（カメラ）１２と、照射装置（プロジェクタ）１３と、ＣＰＵ１４と、入力装置１５と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６と、不揮発性メモリ１７などを備える。
<2-1. Hardware configuration of information processing apparatus>
Next, the hardware configuration of the
ＣＰＵ１４は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１４は、マイクロプロセッサであってもよい。ＲＡＭ１６は、ＣＰＵ１４の実行において使用するプログラムや、その実行において適宜変換するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。不揮発性メモリ１７は、ＣＰＵ１４が使用するプログラムや演算パラメータ等を記憶する。不揮発性メモリ１７は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ等を用いることができる。
The
表示装置１１は、情報を出力する出力装置の一例である。表示装置１１として、例えば液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などを用いることができる。
The
撮像装置１２は、撮像レンズを介して通過した光をＣＣＤで電気信号に変換し、アナログ信号をデジタル変換することにより被写体を撮像する機能を有する。撮像装置１２により撮像された画像は、表示装置１１に表示される。
The
照射装置１３は、照射レンズを介して被写体に光を照射する機能を有する。照射装置１３は、ＣＰＵ１４の制御のもと、所定の投影イメージを被写体に照射する。上記したように、撮像装置１２と照射装置１３とは、情報処理装置１０の固定の位置に配置されている。また、撮像装置１２により撮像される撮像領域と、照射装置１３により照射される照射領域とは同期している、すなわち、同じ領域であるとして以下説明する。
The
入力装置１５は、例えば、タッチパネル、ボタン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１４に出力する入力制御回路などから構成されている。
The
＜２−２．情報処理装置の機能構成＞
以上、情報処理装置１０のハードウェア構成について説明した。次に、図４を参照して、情報処理装置１０の制御部（ＣＰＵ１４）の機能構成について説明する。図４の機能構成を説明するに際し、適宜図５〜図１６を参照する。図５〜図１６は、照射される投影イメージの例について説明する説明図である。図４は、情報処理装置１０の制御部の機能構成を示したブロック図である。
<2-2. Functional configuration of information processing apparatus>
The hardware configuration of the
図４に示したように、情報処理装置１０の制御部は、解析部１０２、照射部１０４、生成部１０６、記憶部１０８などを備える。解析部１０２は、撮像装置１２により撮像された被写体の画像を解析する機能を有する。解析部１０２は、被写体の画像を解析して、被写体に含まれる物体の画像を認識する。また、解析部１０２は、被写体の画像を解析して被写体に含まれる人の画像を検出したり、顔の画像を検出したりする。また、解析部１０２は、被写体の画像を解析して被写体の色を検出する。解析部１０２により解析された被写体の画像の解析結果は、照射部１０４および生成部１０６に提供される。
As illustrated in FIG. 4, the control unit of the
照射部１０４は、解析部１０２により解析された被写体の画像の解析結果に応じて投影イメージを、照射装置１３を用いて照射する機能を有する。記憶部１０８には、被写体の画像の解析結果に対応する投影イメージが記憶されている。照射部１０４は、解析部１０２により提供された画像の解析結果に対応する投影イメージを記憶部１０８から取得して、該投影イメージを、照射装置１３を用いて被写体に照射する。
The
例えば、図５に示したように、被写体４０１を撮像装置１２により撮像して、被写体の画像４０２を認識する。そして、認識された被写体の画像４０２に応じた投影イメージ４０３を選択して、照射装置１３により被写体に照射する。図５では、被写体に含まれる顔が認識され、顔部分を明るくする投影イメージが選択されている。そして、投影イメージ４０３が投影された被写体４０５が撮像装置１２により撮像されて、表示装置１１に表示画像４０４が表示される。
For example, as illustrated in FIG. 5, the subject 401 is imaged by the
図４に戻り説明を続ける。例えば、解析部１０２により被写体に含まれる物体の画像が認識された場合には、当該物体の画像に応じた投影イメージを記憶部１０８から取得して被写体に照射させる。また、被写体に含まれる人の画像を検出したり、顔の画像を検出したりした場合には、人の画像や顔の画像に応じた投影イメージを記憶部１０８から取得して被写体に照射させる。また、被写体の画像を解析して被写体に含まれる特定の色を検出した場合には、当該特定の色に応じた投影イメージを記憶部１０８から取得して被写体に照射する。
Returning to FIG. For example, when an image of an object included in the subject is recognized by the
生成部１０６は、記憶部１０８に、投影イメージが照射された場合の画像を予め予測した予測画像が記憶されている場合に、当該予測画像と、照射部１０４により投影イメージが照射された照射画像との比較結果に応じて、投影イメージを生成する機能を有する。生成部１０６により生成された投影イメージは照射部１０４により照射され、照射部１０４により生成された投影イメージが被写体に照射される。
The
記憶部１０８には、上記したように、被写体の画像の解析結果と投影イメージとが対応付けて記憶されている。また、記憶部１０８には、記憶されている投影イメージを照射した場合の画像を予め予測した予測画像が記憶されている。
As described above, the
以下、図６〜図１６を参照して、照射装置１３により照射される投影イメージの例について説明する。図６は、特定の色を有する物体に対して、特定の色とは異なる色を付与する投影イメージを照射する場合の例である。図６では、例えば、被写体に複数の白い花が含まれている。まず、解析部１０２により、被写体４０５に含まれる特定の色を有する物体４０６が検出される。説明図４０６に示したように、白い領域を一定以上有する複数の「白い花」が検出される。そして、物体４０６の位置と物体の形状に応じた投影イメージが生成され、生成された投影イメージが被写体に照射される。説明図４０８に示したように、「白い花」の領域にピンクなどの白とは異なる色の投影イメージが生成されて照射される。これにより、被写体に、元の色とは異なる色を照射して、照射された被写体を撮像することが可能となる。
Hereinafter, an example of a projection image irradiated by the
また、図７に示したように、表示画面がタッチパネルの場合には、被写体の照射対象となる物体をユーザ入力に応じて選択するようにしてもよい。説明図４１２に示したように、ユーザ入力により「白い花」が選択された場合には、一定以上の白い領域を有する物体が選択されたこととなる。また、ユーザ入力により選択された物体と同形状の物体や同色の物体も同時に選択されるようにしてもよい。そして、物体４１２の位置と物体の形状に応じた投影イメージが生成され、生成された投影イメージが被写体に照射される。説明図４１３に示したように、ユーザにより選択された「白い花」の領域にピンクなどの白とは異なる色の投影イメージが生成されて照射される。
As shown in FIG. 7, when the display screen is a touch panel, an object to be irradiated with the subject may be selected in accordance with user input. As shown in the explanatory diagram 412, when “white flower” is selected by user input, an object having a certain white area or more is selected. In addition, an object having the same shape or the same color as the object selected by the user input may be selected at the same time. Then, a projection image corresponding to the position of the
図８は、図６および図７に示した投影イメージを投影する際の内部的な処理について説明する説明図である。図８に示したように、まず、撮像装置１２により被写体が撮像されて、撮像された画像に含まれる物体や色などの領域が解析される。そして、解析結果をもとに、投影イメージが生成される。図８に示した例では、撮像された画像のうち、一定領域以上の白色の領域を有する物体を検出し、当該物体を構成するピクセルにのみ効果が表れる投影色を配置し、当該物体以外を構成するピクセルには黒色ピクセルを配置した投影イメージが生成される。そして、生成された投影イメージが照射された結果、被写体におけるある一定領域以上の白色の領域を有する部分に投影色が照射される。
FIG. 8 is an explanatory diagram for explaining an internal process when projecting the projection images shown in FIGS. 6 and 7. As shown in FIG. 8, first, a subject is imaged by the
また、図９は、特定の領域を検出して、検出した領域に柄やテクスチャの投影イメージを照射する例である。図９に示したように、撮像装置１２により撮像された画像４１７を解析して、被写体に含まれる顔を検出する。そして、説明図４１７に示したように、顔の大きさと被写体の大きさとの位置関係から、胴体や服の位置を検出する。そして、説明図４１８に示したように、胴体や服の位置の領域に照射する投影イメージが生成される。説明図４１８では、服の領域に花の模様が照射される投影イメージが生成される。そして、説明図４２０に示したように、被写体の服の領域に花の模様が照射される。
FIG. 9 shows an example in which a specific area is detected and a pattern or texture projection image is irradiated to the detected area. As shown in FIG. 9, an
ここで、図１０を参照して、図９に示した投影イメージを照射する際の内部的な処理について説明する。図１０の説明図４２１に示したように、まず、撮像装置１２により撮像された画像から、被写体に含まれる顔を認識する。そして、説明図４２２に示したように、顔の認識結果から、胴体を推定する。さらに、説明図４２３に示したように、推定した胴体の領域から、投影可能領域を推定する。ここでは、胴体のうち、白色の領域を投影可能領域としている。そして、説明図４２３において推定された投影可能領域に所定の柄が投影されるように投影イメージを生成する。そして、説明図４２５に示したように、被写体に生成された投影イメージが照射される。
Here, with reference to FIG. 10, an internal process when the projection image shown in FIG. 9 is irradiated will be described. As shown in the explanatory diagram 421 of FIG. 10, first, the face included in the subject is recognized from the image captured by the
次に、図１１を参照して、特定の物体を検出し、検出した物体を避けて投影イメージを照射する例について説明する。図１１の説明図４２６に示したように、まず、撮像装置１２により撮像された画像から、被写体に含まれる顔を認識する。そして、認識した顔の領域以外の領域に所定の柄が投影されるように、説明図４２７に示した投影イメージを生成する。そして、説明図４２８に示したように、被写体に生成された投影イメージが照射される。
Next, an example in which a specific object is detected and a projection image is emitted while avoiding the detected object will be described with reference to FIG. As shown in the explanatory diagram 426 of FIG. 11, first, the face included in the subject is recognized from the image captured by the
次に、図１２を参照して、予測画像を用いて投影イメージを生成する場合について説明する。上記したように、記憶部１０８に予測画像が記憶されている場合には、予測画像と投影イメージが照射された照射画像との比較結果に応じて、投影イメージ生成することができる。図１２の説明図４３０に示したように、まず、撮像装置１２により被写体を撮像して被写体の画像を解析する。そして、説明図４３１に示したように、所定の色が設定された投影イメージを被写体に照射する。
Next, a case where a projection image is generated using a predicted image will be described with reference to FIG. As described above, when a predicted image is stored in the
そして、記憶部１０８に記憶されている予測画像と、説明図４３１に示した照射画像とを比較して差分を検出し、差分に応じて説明図４３２に示した投影イメージを生成する。例えば、説明図４３１では黄色の色効果を出力可能な投影イメージが被写体に照射されたとする。予測画像の黄色の色効果と照射画像の黄色の色効果とを比較して、照射画像に対する黄色の色効果が濃い場合には、より薄い黄色の色効果となる投影イメージを生成する。そして、説明図４３３に示したように、生成された投影イメージが被写体に照射される。
And the prediction image memorize | stored in the memory |
次に、図１３を参照して、被写体が顔の場合の投影イメージの照射について説明する。図１３に示したように、まず、撮像装置１２により撮像された画像（説明図４３５）を解析して、説明図４３６に示したように、顔の口や目の位置を検出する。そして、顔に照射するための投影イメージを記憶部１０８から取得して、説明図４３７に示した投影イメージを生成する。説明図４３７では、顔の口や目の位置から顔の頬の位置を特定して、顔の頬の位置にピンクなどの頬紅のカラーが照射される投影イメージを生成する。そして、説明図４３８に示したように、生成された投影イメージが被写体に照射される。
Next, with reference to FIG. 13, irradiation of a projection image when the subject is a face will be described. As shown in FIG. 13, first, an image (explanatory diagram 435) captured by the
次に、図１４を参照して、撮像画像の輝度に応じた投影イメージの照射について説明する。図１４に示したように、撮像装置１２により撮像された画像（説明図４４０）を解析して、説明図４４１に示したように、輝度の高い領域を検出する。そして、一定以上の輝度の高い領域が検出された場合には、輝度の高さに応じた投影イメージを生成する。説明図４４１では、ケーキのろうそくの周囲の領域が他の領域よりも輝度が高い領域として検出されている。そして、説明図４４２に示したように、生成された投影イメージが被写体に照射される。説明図４４２ででは、輝度が高い領域として検出されたケーキのろうそくの周囲に星型の模様が照射されている。
Next, with reference to FIG. 14, irradiation of the projection image according to the brightness of the captured image will be described. As illustrated in FIG. 14, the image (description diagram 440) captured by the
次に、図１５を参照して、撮影対象の動きに応じた投影イメージの照射について説明する。図１５に示したように、撮像装置１２により撮像された動画から取得される被写体の動きを検出する。被写体の動きは、例えば画素値の変化を検出することにより物体の動きを検出してもよい。そして、検出された物体の動きに応じた投影イメージを生成する。説明図４４５に示したように、被写体が左方向に走っていることが検出されて、走っている方向に星型の模様が照射されている。物体の動きに応じた投影イメージは、被写体の走る方向とともに移動しながら照射される。
Next, with reference to FIG. 15, irradiation of the projection image according to the movement of the shooting target will be described. As illustrated in FIG. 15, the movement of the subject acquired from the moving image captured by the
また、図１６に示したように、撮像装置１２により撮像された画像が解析部１０２により解析された結果、被写体に投影可能な領域が存在しない場合には、投影可能領域がない旨の情報を提示してもよい。被写体に投影可能な領域が存在しない場合とは、例えば、背景が黒色等であり、投影イメージを照射しても投影イメージを被写体に反映することができない場合である。例えば、説明図４５０に示したように、撮像された画像の背景が黒色である場合には、説明図４５１に示したように「投影可能領域がありません」のダイアログが表示される。
Also, as shown in FIG. 16, when the image captured by the
＜２−３．情報処理装置の動作の詳細＞
以上、情報処理装置１０の制御部の機能について説明した。次に、図１７および図１８を参照して、情報処理装置１０の動作の詳細について説明する。図１７および図１８は、情報処理装置１０の動作の詳細を示すフローチャートである。
<2-3. Details of operation of information processing apparatus>
The function of the control unit of the
図１７に示したように、まず、情報処理装置１０において、撮影モードが投影イメージを照射可能な投影撮影モードか否かを判定する（Ｓ１０２）。ステップＳ１０２において、撮影モードが投影撮影モードであると判定された場合には、撮像装置１２により撮像された画像を取得する（Ｓ１０４）。
As shown in FIG. 17, first, in the
そして、解析部１０２は、ステップＳ１０４において取得した画像に含まれる物体を認識する（Ｓ１０６）。そして、ステップＳ１０６において認識した物体のうち、投影イメージを照射可能な対象物があるか否かを判定する（Ｓ１０８）。ステップＳ１０８においては、ステップＳ１０６において認識された物体に対応する投影イメージが記憶部１０８に記憶されているか否かにより判定可能である。また、画像の背景色を検出して、投影イメージを照射できるか否かを判定してもよい。
And the
ステップＳ１０８において、投影イメージを照射可能な対象物があると判定された場合には、対象物に応じた投影イメージを記憶部１０８から取得して、投影用グラフィックを生成する（Ｓ１１０）。そして、ステップＳ１１０において生成された投影用のグラフィックを被写体に照射する（Ｓ１１２）。ステップＳ１０８において、投影イメージを照射可能な対象物がないと判定された場合には、表示画面に投影対象がないことを示すダイアログを表示する（Ｓ１１４）。
If it is determined in step S108 that there is an object that can be irradiated with the projection image, a projection image corresponding to the object is acquired from the
そして、撮影が行われたか否かを判定する（Ｓ１１６）。ステップＳ１１６において、撮影が行われたと判定された場合には、撮影された画像を保存する（Ｓ１１８）。ステップＳ１１６において、撮影が行われていないと判定された場合には、ステップＳ１０２以降の処理を繰り返す。以上、図１７のフローチャートに示した処理について説明した。次に、図１８のフローチャートに示した処理について説明する。 Then, it is determined whether or not photographing has been performed (S116). If it is determined in step S116 that shooting has been performed, the shot image is stored (S118). If it is determined in step S116 that shooting has not been performed, the processes in and after step S102 are repeated. The processing shown in the flowchart of FIG. 17 has been described above. Next, the process shown in the flowchart of FIG. 18 will be described.
図１８は、記憶部１０８に予測画像が記憶されている場合の情報処理装置１０の動作の詳細を示すフローチャートである。図１８に示したように、まず、情報処理装置１０において、撮影モードが投影イメージを照射可能な投影撮影モードか否かを判定する（Ｓ１２２）。ステップＳ１２２において、撮影モードが投影撮影モードであると判定された場合には、撮像装置１２により撮像された画像を取得する（Ｓ１２４）。
FIG. 18 is a flowchart illustrating details of the operation of the
そして、解析部１０２は、ステップＳ１０４において取得した画像に含まれる物体を認識する（Ｓ１２６）。そして、ステップＳ１２６において認識した物体のうち、投影イメージを照射可能な対象物があるか否かを判定する（Ｓ１２８）。ステップＳ１２８において、投影イメージを照射可能な対象物があると判定された場合には、対象物に応じた投影イメージを記憶部１０８から取得して、投影用グラフィックを生成する（Ｓ１３０）。そして、ステップＳ１３０において生成された投影用のグラフィックを被写体に照射する（Ｓ１３２）。ここで、ステップＳ１３６においては、ステップＳ１２６において認識された物体に対して、所望の投影イメージが照射された場合の画像が予測画像として記憶部１０８に記憶されているものとする。
And the
そして、ステップＳ１３２において、グラフィックが照射された被写体の画像を取得する（Ｓ１３４）。そして、ステップＳ１３４において取得された照射画像が、記憶部１０８に記憶されている予測画像に近づいたか否かを判定する（Ｓ１３６）。ステップＳ１３６において、照射画像と予測画像とが近づいたと判定された場合には、ステップＳ１４０の処理を実行する。ステップＳ１３６において、照射画像と予測画像とが近づいていないと判定された場合には、ステップＳ１３０以降の処理を繰り返す。 In step S132, an image of the subject irradiated with the graphic is acquired (S134). Then, it is determined whether or not the irradiation image acquired in step S134 has approached the predicted image stored in the storage unit 108 (S136). If it is determined in step S136 that the irradiated image and the predicted image are close to each other, the process of step S140 is executed. If it is determined in step S136 that the irradiated image and the predicted image are not close to each other, the processes in and after step S130 are repeated.
また、ステップＳ１２８において、投影イメージを照射可能な対象物がないと判定された場合には、表示画面に投影対象がないことを示すダイアログを表示する（Ｓ１３８）。 If it is determined in step S128 that there is no target that can irradiate the projection image, a dialog indicating that there is no projection target is displayed on the display screen (S138).
そして、撮影が行われたか否かを判定する（Ｓ１４０）。ステップＳ１４０において、撮影が行われたと判定された場合には、撮影された画像を保存する（Ｓ１４２）。ステップＳ１４０において、撮影が行われていないと判定された場合には、ステップＳ１２２以降の処理を繰り返す。以上、図１８のフローチャートに示した処理について説明した。 Then, it is determined whether shooting has been performed (S140). If it is determined in step S140 that shooting has been performed, the shot image is stored (S142). In step S140, when it is determined that shooting has not been performed, the processing from step S122 is repeated. The processing shown in the flowchart of FIG. 18 has been described above.
上記したように、第１実施形態によれば、撮像装置１２により撮像された被写体の画像を解析して、画像の解析結果に応じた投影イメージを照射装置１３により被写体に照射することができる。これにより、撮影された画像に適したグラフィックの投影を行うことが可能となる。以上、第１実施形態について説明した。
As described above, according to the first embodiment, the subject image captured by the
＜３．第２実施形態＞
次に、第２実施形態について説明する。上記したように、従来の技術では、マーカ等により予め認識された位置にグラフィックが投影される。このため、撮影画像が表示されている表示画面上でユーザが直接指定した位置にグラフィックを投影することができないという問題があった。そこで、上記のような事情を一着眼点として、本実施形態にかかる情報処理装置２０が創作されるに至った。本実施形態にかかる情報処理装置２０によれば、ユーザによる直感的な操作で所望のグラフィック投影を行うことが可能となる。
<3. Second Embodiment>
Next, a second embodiment will be described. As described above, in the conventional technique, a graphic is projected at a position previously recognized by a marker or the like. For this reason, there is a problem that the graphic cannot be projected at a position directly designated by the user on the display screen on which the photographed image is displayed. Accordingly, the
＜３−１．情報処理装置のハードウェア構成＞
図１９を参照して、情報処理装置２０のハードウェア構成について説明する。図１９は、情報処理装置２０のハードウェア構成を示すブロック図である。図１０に示したように、情報処理装置２０は、表示装置（ディスプレイ）１１と、撮像装置（カメラ）１２と、照射装置（プロジェクタ）１３と、ＣＰＵ２１と、入力装置１５と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６と、不揮発性メモリ１７と、タッチパネル２２とモーションセンサ２３などを備える。本実施形態においても、カメラ１２とプロジェクタ１３は情報処理装置２０の筐体の固定の位置に備えられている。
<3-1. Hardware configuration of information processing apparatus>
A hardware configuration of the
以下では、第１実施形態と同様の構成についての詳細な説明は省略し、第１実施形態と異なる構成について特に詳細に説明する。タッチパネル２２は、表示と入力の２つの機能を備えている。本実施形態にかかるタッチパネル２２は、タッチパネル上のユーザの指等による入力を検出して、指定された位置などを取得することができる。検出方法としては、透明電極を構成する金属薄膜を利用した抵抗膜方式、指先と導電膜との間での静電容量の変化を捉えて位置を検出する静電容量方式や、赤外線遮光方式、電磁誘導方式など、ディスプレイにおける操作体の位置情報を検出できる方法であればよい。
Hereinafter, detailed description of the same configuration as that of the first embodiment will be omitted, and a configuration different from that of the first embodiment will be described in detail. The
以下では、特に、例えば、静電式タッチパネルを用いて操作体の操作を検出する方法について説明する。静電式タッチパネルは、格子状に配置された静電センサを備えており、静電容量の変化によってその値を常時変化させる。静電センサに操作体である指が近付いたり触れたりした場合に、静電センサにより検知される静電容量が増加する。各静電センサの静電容量は同時に取得することが可能である。すべての静電センサの静電容量の変化を同時に検出し、補間することによって近接または接触している指による操作などを検出することが可能である。タッチパネル２２は、検出した静電容量の値を、ＣＰＵ２１へ出力する。
In the following, for example, a method for detecting the operation of the operating tool using an electrostatic touch panel will be described. The electrostatic touch panel is provided with electrostatic sensors arranged in a lattice shape, and the value is constantly changed by a change in capacitance. When a finger as an operating body approaches or touches the electrostatic sensor, the capacitance detected by the electrostatic sensor increases. Capacitance of each electrostatic sensor can be acquired simultaneously. By simultaneously detecting and interpolating changes in the capacitance of all the electrostatic sensors, it is possible to detect an operation by a finger that is approaching or touching. The
ＣＰＵ２１は、タッチパネル２２から入力された各種情報と表示装置１１に表示された表示内容の表示位置との対応付けを行い、操作体の動きを解析する。そして、ＣＰＵ２１は、解析された操作体の動きから、情報処理装置１０へ入力された入力情報を認識して、入力情報に対応する処理を実行する。このように、ユーザは、表示画面に表示された内容を操作して、入力情報を入力することができる。
The
モーションセンサ２３は、情報処理装置２０本体の回転角度や傾きなどを検出する機能を有し、例えば、加速度センサやジャイロセンサなどを例示できる。モーションセンサ２３により検出された情報処理装置２０の回転角度や傾きに関する情報はＣＰＵ２１に出力される。ＣＰＵ２１は、モーションセンサ２３から出力された回転角度や傾きを基に、情報処理装置２０本体の動きを検出する。
The
＜３−２．情報処理装置の機能構成＞
以上、情報処理装置２０のハードウェア構成について説明した。次に、図２０を参照して、情報処理装置２０の制御部（ＣＰＵ２１）の機能構成について説明する。図２０の機能構成を説明するに際し、適宜図２１〜図３１を参照する。図２０は、情報処理装置２０の制御部の機能構成を示すブロック図である。
<3-2. Functional configuration of information processing apparatus>
Heretofore, the hardware configuration of the
図２０に示したように、情報処理装置２０の制御部は、撮像部２０２、検出部２０４、照射部２０６、解析部２０８、記憶部２１０、取得部２１２などを備える。撮像部２０２は、撮像装置１２により被写体を撮像する機能を有する。また、照射部２０６により投影イメージが照射された被写体を撮像する機能を有する。撮像部２０２により撮像された画像は、照射部２０６および解析部２０８に提供される。
As illustrated in FIG. 20, the control unit of the
照射部２０６は、ユーザ入力に基づく投影イメージを照射装置１３により被写体に照射する機能を有する。ユーザ入力に基づく投影イメージとは、ユーザによりタッチパネル２２などを介して指定されたり選択されたりした投影イメージである。投影イメージは、ユーザ入力に基づいて記憶部１０８に記憶されている投影イメージを取得して被写体に照射されてもよい。
The
本実施形態では、上記したように、撮像装置１２により撮像可能な撮像領域と照射装置１３により照射可能な照射領域とが同期しているとしている。また、図２１に示したように、撮像領域５３と照射領域５４とが同期していない場合には、情報処理装置２０のディスプレイ１１に照射領域を示す表示をしてもよい。例えば、図２１に示したように、ディスプレイ１１に照射領域を示す枠を表示して、ユーザに照射可能領域を提示してもよい。図２１では、撮影可能領域は領域５３であり、照射可能領域は領域５４であるため、表示画面に照射可能領域を示す枠を表示している。
In the present embodiment, as described above, the imaging region that can be imaged by the
図２０に戻り、取得部２１２は、被写体が表示されている表示画面上でユーザ入力に応じて指定された指定位置を取得する機能を有する。上記したように、タッチパネル２２を介してユーザ入力がなされ、表示画面上におけるユーザ入力が取得部２１２により取得される。また、取得部２１２は、被写体が表示されている表示画面上でユーザ操作により描写された投影イメージを取得したり、表示画面に表示された投影イメージから所望の投影イメージを選択したりしてもよい。
Returning to FIG. 20, the
例えば、図２２に示したように、被写体５０１が撮像部２０２により撮像されて、表示画像５０２が表示画面に表示される。ユーザは、表示画面（タッチパネル２２）に接触することにより、表示画像５０２内の所望の位置を指定する。本実施形態では、タッチパネル２２により表示画像５０２内の所望の位置を指定するようにしたが、かかる例に限定されず、表示画像５０２内の所望の位置を指定可能なボタンやレバーなどの入力装置により指定してもよい。
For example, as shown in FIG. 22, the subject 501 is imaged by the
そして、取得部２１２によりユーザにより指定された指定位置が取得されて、説明図５０３に示したように、指定位置に照射するための投影イメージが生成される。説明図５０３に示したように、ユーザにより指定された位置に所定の色を照射する投影イメージを生成してもよい。そして、説明図５０５に示したように被写体に投影イメージが照射される。また、説明図５０４に示したように、投影イメージが照射された被写体が撮像装置１２により撮像される。上記したように、照射される投影イメージが記憶部１０８に記憶されている場合には、ユーザ指示に基づいて記憶部１０８から取得される。
Then, the designated position designated by the user is obtained by the obtaining
また、図２３に示したように、ユーザにより指定された指定位置に照明効果が表れる投影イメージを照射してもよい。例えば、説明図５１６に示したように、被写体５１５が撮像装置１２により撮像されて、表示画面に表示される。そして、ユーザにより被写体の顔部分が指定されると、説明図５１７に示したように、指定された部分に照明効果が表れる投影イメージが生成される。そして、説明図５１９に示したように、被写体に投影イメージが照射されて、説明図５１８に示したように、投影イメージが照射された被写体が撮像装置１２により撮像される。説明図５１８では、被写体の顔が明るくなる投影イメージが照射される。
Further, as shown in FIG. 23, a projection image in which a lighting effect appears at a designated position designated by the user may be irradiated. For example, as illustrated in the explanatory diagram 516, the subject 515 is captured by the
また、図２４に示したように、被写体が表示されている表示画面上でユーザ操作により描写された投影イメージを被写体に照射してもよい。例えば、説明図５２１に示したように、ユーザが、表示画面上（タッチパネル）に「ともだち」の文字を描写すると、被写体に「ともだち」と照射される投影イメージが生成される。そして、説明図５２２に示したように、ユーザにより描写された「ともだち」の文字の投影イメージが被写体に照射される。 As shown in FIG. 24, the subject may be irradiated with a projection image drawn by a user operation on the display screen on which the subject is displayed. For example, as shown in the explanatory diagram 521, when the user draws the character “Friend” on the display screen (touch panel), a projection image is generated in which the subject is irradiated with “Friend”. Then, as shown in the explanatory diagram 522, the projected image of the character “Friend” drawn by the user is irradiated onto the subject.
また、図２５に示したように、表示画面に表示された複数の投影イメージからユーザ入力に応じて所望の投影イメージを選択してもよい。例えば、説明図５２５に示したように、表示画面に複数種類の投影イメージのグラフィックを表示する。ユーザは、表示画面上（タッチパネル）で所望のグラフィックを選択する。ここで、ユーザは、表示画面を接触することにより所望のグラフィックを選択してもよいし、ボタンやレバーなどの入力装置により所望のグラフィックを選択してもよい。 As shown in FIG. 25, a desired projection image may be selected from a plurality of projection images displayed on the display screen in accordance with user input. For example, as shown in an explanatory diagram 525, graphics of a plurality of types of projection images are displayed on the display screen. The user selects a desired graphic on the display screen (touch panel). Here, the user may select a desired graphic by touching the display screen, or may select a desired graphic using an input device such as a button or a lever.
さらに、説明図５２６に示したように、ユーザ入力により、選択されたグラフィックを照射する位置が指定される。そして、説明図５２７に示したように、指定された位置に選択されたグラフィックを照射するための投影イメージが生成されて、被写体に照射される。このように、ユーザは、表示画面上で直接グラフィックを描写したり選択したりという直感的な操作で被写体に投影イメージを照射させることが可能となる。 Further, as shown in the explanatory diagram 526, the position to irradiate the selected graphic is designated by the user input. Then, as shown in the explanatory diagram 527, a projection image for irradiating the selected graphic at the designated position is generated and irradiated to the subject. As described above, the user can irradiate the subject with the projection image by an intuitive operation of directly drawing or selecting a graphic on the display screen.
図２０に戻り、情報処理装置２０の機能構成の説明を続ける。解析部２０８は、撮像部２０２により撮像された被写体の画像を解析する機能を有する。解析部２０８は、撮像された被写体の画像の特徴点を抽出して、抽出した画像の特徴点に関する情報を照射部２０６に提供する。照射部２０６は、解析部２０８により抽出された被写体の特徴点に応じて投影イメージを被写体に照射する。
Returning to FIG. 20, the description of the functional configuration of the
ここで、図２６を参照して、被写体の特徴点の抽出について説明する。例えば、図２６の説明図５０５では、被写体に含まれる人物が動く前に画像の特徴点が抽出されて、人物の位置に応じて投影イメージが照射されている。説明図５０５では、例えば、人物の頭付近に投影イメージが照射される。このとき、説明図５０７に示したように、特徴点と投影イメージの相対位置が記録される。そして、説明図５０６に示したように、被写体に含まれる人物が動いた後の画像の特徴点を抽出して、当該画像の特徴点に応じて投影イメージが照射される。すなわち、画像内の人物が動いても、人物の特徴点と投影イメージとの相対位置から、人物の頭付近に投影イメージが照射されるように、照射位置が補正される。 Here, with reference to FIG. 26, extraction of feature points of a subject will be described. For example, in the explanatory diagram 505 in FIG. 26, the feature points of the image are extracted before the person included in the subject moves, and the projection image is irradiated according to the position of the person. In the explanatory diagram 505, for example, a projection image is irradiated near the head of a person. At this time, as shown in the explanatory diagram 507, the relative positions of the feature points and the projection image are recorded. Then, as shown in the explanatory diagram 506, the feature points of the image after the person included in the subject moves are extracted, and the projection image is irradiated according to the feature points of the image. That is, even if the person in the image moves, the irradiation position is corrected so that the projection image is irradiated near the head of the person from the relative position between the feature point of the person and the projection image.
図２０に戻り、情報処理装置２０の機能構成の説明を続ける。検出部２０４は、モーションセンサ２３を介して、情報処理装置２０本体の動きを検出する機能を有する。上記したように、モーションセンサ２３により、情報処理装置２０本体の回転速度や傾きなどを検出することができる。したがって、検出部２０４は、モーションセンサ２３から出力された回転角度や傾きを基に、情報処理装置２０本体の動きを検出する。そして、照射部２０６は、検出部２０４により検出された情報処理装置２０本体の動きに応じて投影イメージを被写体に照射する。
Returning to FIG. 20, the description of the functional configuration of the
ここで、図２７を参照して、情報処理装置２０の動きに応じて照射される投影イメージについて説明する。図２７の説明図５１０は、情報処理装置２０が動く前に撮像された画像である。例えば、説明図５１０に示した画像が撮像された後に、説明図５１１に示したように、情報処理装置２０が左方向に移動したとする。検出部２０４は、モーションセンサ２３により情報処理装置２０本体が左方向に移動したことを検出し、検出結果を照射部２０６に提供する。
Here, with reference to FIG. 27, the projection image irradiated according to the motion of the
照射部２０６は、説明図５１２に示したように、情報処理装置２０本体の動きに応じて照射するグラフィックの位置を補正する。すなわち、左方向に移動する情報処理装置２０の移動距離に合わせて、照射するグラフィックの位置を左方向にずらした投影イメージを生成する。そして、説明図５１３に示したように、情報処理装置２０が左右のいずれに移動しても、画像の特定の位置にグラフィックが照射される。
As illustrated in the explanatory diagram 512, the
また、図２８に示したように、複数台の情報処理装置２０により一つの被写体に対して異なる投影イメージを照射してもよい。例えば、図２８に示したように、ユーザＡが所持する情報処理装置２０ＡとユーザＢが所持する情報処理装置２０Ｂにより、被写体５２７にそれぞれ投影イメージが照射される。まず、情報処理装置２０Ａにより説明図５３１に示した投影イメージが照射され、次に、情報処理装置２０Ｂにより説明図５３２に示した投影イメージが照射されたとする。この場合、被写体には情報処理装置２０Ａにより照射された投影イメージと、情報処理装置２０Ｂにより照射された投影イメージのいずれもが照射されて、両装置で説明図５３０に示した投影イメージが撮像される。
In addition, as shown in FIG. 28, a plurality of
ここで、一つの被写体に対して異なる投影イメージを次々に照射して撮像するためには、各装置における撮像領域と照射領域とが同期（一致）している必要がある。そこで、図２６に示した画像処理により被写体の特徴点を抽出したり、装置本体の動きを検出したりして、撮像領域と照射領域とが同期するように照射領域の位置補正を行う。また、異なる装置で投影イメージを照射する場合には、照射装置から投影イメージを照射する照射周期を一致させておく必要がある。例えば、両装置を、ネットワークを介して接続して、照射周期の情報を共有させてもよい。また、投影イメージに照射周期に関する情報を埋め込み、当該投影イメージを撮像することにより、照射周期の情報を取得するようにしてもよい。 Here, in order to sequentially irradiate and image different projected images with respect to one subject, it is necessary that the imaging area and the irradiation area in each apparatus are synchronized (matched). Accordingly, the feature point of the subject is extracted by the image processing shown in FIG. 26, or the movement of the apparatus body is detected, and the position of the irradiation region is corrected so that the imaging region and the irradiation region are synchronized. In addition, when the projection image is irradiated by a different apparatus, it is necessary to match the irradiation cycle for irradiating the projection image from the irradiation apparatus. For example, both devices may be connected via a network to share irradiation period information. Further, the information on the irradiation period may be acquired by embedding information on the irradiation period in the projection image and capturing the projection image.
また、複数の装置間で照射周期を異なる周期とすることにより、周期ごとに異なる投影イメージを撮像させるようにしてもよい。例えば、情報処理装置２０Ａと情報処理装置２０Ｂの照射周期を異なる周期とする。情報処理装置２０Ａにより投影イメージが照射された照射周期と同じ周期で撮像したり、情報処理装置２０Ｂにより投影イメージが照射された照射周期と同じ周期で撮像したりすることにより、周期毎に異なる投影イメージを撮像することが可能となる。
Moreover, you may make it image a different projection image for every period by making an irradiation period into a different period between several apparatuses. For example, the irradiation periods of the
また、このように周期を変えることにより、どの装置により照射された投影イメージかを識別することが可能となる。また、投影イメージに所定のパターンを埋め込み、当該投影イメージを撮像して所定のパターンを画像処理により解析することによりどの装置により照射された投影イメージかを識別してもよい。また、投影イメージに時系列の情報を含むパターンを埋め込み、当該イメージを撮像することにより、複数の投影イメージの投影順序などの時系列情報を解析するようにしてもよい。 In addition, by changing the cycle in this way, it is possible to identify which apparatus is the projection image irradiated. Alternatively, a predetermined pattern may be embedded in the projection image, the projection image may be captured, and the predetermined pattern may be analyzed by image processing to identify a projection image irradiated by any device. Alternatively, a pattern including time-series information may be embedded in the projection image, and the image may be captured to analyze time-series information such as the projection order of the plurality of projection images.
また、図２９に示したように、時間に応じて変化する投影イメージを被写体に照射してもよい。例えば、説明図５３６に示したように、ユーザの指などによりタッチパネル上で投影イメージを照射する位置が指定される。そして、説明図５３５に示したように、被写体に円形状の投影イメージが照射される。投影イメージは、説明図５３７に示したように、時間に応じて円形状の投影イメージが変化する。例えば、円形状の投影イメージを説明図５３７に示したように変化させることにより、シャッタがオンされるまでの時間を被写体に示すことができる。 Further, as shown in FIG. 29, the subject may be irradiated with a projection image that changes with time. For example, as shown in the explanatory diagram 536, the position where the projection image is irradiated on the touch panel is designated by the user's finger or the like. Then, as shown in the explanatory diagram 535, the subject is irradiated with a circular projection image. As shown in the explanatory diagram 537, the projection image changes in a circular shape according to time. For example, by changing the circular projection image as shown in the explanatory diagram 537, the time until the shutter is turned on can be shown to the subject.
また、図３０に示したように、情報処理装置３０をテレビ受像機とリモコンに適応して、リモコンのタッチパネル上で指定された投影イメージをテレビ受像機の表示画面に表示させてもよい。例えば、説明図５４１に示したように、テレビ受像機に撮像装置と照射装置とを備えて、テレビ受像機を視聴しているユーザを撮像したり照射したりする。ユーザはリモコンを所持し、説明図５４０に示したように、リモコンの表示画面にテレビ受像機の撮像装置により撮像された画像が表示される。そして、説明図５４２に示したように、ユーザがリモコンのタッチパネル上に所定の文字等が描写されると、説明図５４３に示したように、ユーザにより描写された投影イメージが被写体に照射される。そして、投影イメージが照射された被写体がテレビ受像機に備わる撮像装置により撮像されて、テレビ受像機の表示画面に表示される。
Further, as shown in FIG. 30, the
また、図３１に示したように、被写体に投影イメージを照射して撮像した後に、画像処理により照射された投影イメージを補正したり再合成したりするようにしてもよい。例えば、説明図５４５に示したように、被写体に投影イメージが照射され、投影イメージが照射された被写体が撮像される。そして、説明図５４６に示したように、投影イメージが照射された被写体の画像を加工して、投影イメージの色補正を行う。これにより、被写体のどこにどのようなグラフィックが出力されるかを撮影者だけでなく被写体も確認することができ、所望のグラフィック合成を行うことが可能となる。 Further, as shown in FIG. 31, after projecting and irradiating a subject with a projection image, the projection image irradiated by image processing may be corrected or recombined. For example, as shown in the explanatory diagram 545, the subject is irradiated with the projection image, and the subject irradiated with the projection image is captured. Then, as shown in the explanatory diagram 546, the image of the subject irradiated with the projection image is processed to correct the color of the projection image. As a result, not only the photographer but also the subject can check what kind of graphic is output to the subject, and desired graphic composition can be performed.
＜３−３．情報処理装置の動作の詳細＞
以上、情報処理装置２０の制御部の機能について説明した。次に、図３２〜図３４を参照して、情報処理装置２０の動作の詳細について説明する。図３２〜図３４は、情報処理装置２０の動作の詳細を示すフローチャートである。
<3-3. Details of operation of information processing apparatus>
The function of the control unit of the
図３２に示したように、まず、情報処理装置１０において、プロジェクタ（照射装置１３）がＯＮか否かを判定する（Ｓ２０２）。ステップＳ２０２において、プロジェクタがＯＮになっていると判定された場合には、撮像装置１２により撮像された画像を取得する（Ｓ２０４）。ステップＳ２０４において取得された画像をタッチパネル上に表示する（Ｓ２０６）。そして、画像が表示されたタッチパネル上においてユーザからの位置指定行為があるか否かを判定する（Ｓ２０８）。ステップＳ２０８において、タッチパネル上においてユーザからの位置指定行為があるか否かを判定しているが、かかる例に限定されない。例えば、情報処理装置２０に備わる操作ボタンや操作レバーからの入力に応じて、位置指定行為があるか否かを判定してもよい。
As shown in FIG. 32, first, in the
ステップＳ２０８において、位置指定行為があったと判定された場合には、ユーザにより指定された位置に応じたグラフィックを生成する（Ｓ２１０）。また、ステップＳ２０８において、ユーザからの位置指定行為がないと判定された場合には、位置指定行為以外のグラフィックに関する操作があるか否かを判定する（Ｓ２１２）。位置指定行為以外の操作とは、例えば、複数のグラフィックから所望のグラフィックを選択する行為などである。ステップＳ２１２において、グラフィックに関するその他の操作があると判定された場合には、該操作に応じてグラフィックを生成する（Ｓ２１４）。 If it is determined in step S208 that there has been a position designation action, a graphic corresponding to the position designated by the user is generated (S210). If it is determined in step S208 that there is no position designation action from the user, it is determined whether there is an operation related to graphics other than the position designation action (S212). The operation other than the position designation act is, for example, an act of selecting a desired graphic from a plurality of graphics. If it is determined in step S212 that there is another operation related to the graphic, the graphic is generated in accordance with the operation (S214).
そして、ステップＳ２１０またはステップＳ２１４において生成されたグラフィックを含む投影イメージを被写体に照射する（Ｓ２１６）。そして、投影イメージが照射された被写体が撮像されたか否かを判定する（Ｓ２１８）。ステップＳ２１８において、撮影が行われたと判定された場合には、撮影された画像を保存する（Ｓ２２０）。 Then, the projection image including the graphic generated in step S210 or step S214 is irradiated onto the subject (S216). Then, it is determined whether or not the subject irradiated with the projection image has been imaged (S218). If it is determined in step S218 that shooting has been performed, the shot image is stored (S220).
次に、図３３を参照して、照射された投影イメージの位置を画像処理により固定化する処理について説明する、以下では、図３２の処理に従って、既にグラフィックが生成されて被写体に投影イメージが照射されているものとして説明する。図３３に示したように、まず。プロジェクタがＯＮか否かを判定する（Ｓ３０２）。ステップＳ３０２において、プロジェクタがＯＮになっていると判定された場合には、撮像装置１２により撮像された画像を取得する（Ｓ３０４）。ステップ３２０４において取得された画像は、投影イメージが照射された被写体の画像である。
Next, with reference to FIG. 33, a process for fixing the position of the irradiated projection image by image processing will be described. In the following, according to the process of FIG. It will be described as being. First, as shown in FIG. It is determined whether or not the projector is ON (S302). If it is determined in step S302 that the projector is ON, an image captured by the
次に、ステップＳ３０４において取得した画像の特徴点を検出する（Ｓ３０６）。そして、ステップＳ３０６において検出した特徴点と投影されているグラフィック位置との相対関係を記録する（Ｓ３０８）。そして、前フレームにおける特徴点とのマッチングを行う（Ｓ３１０）。そして、ステップＳ３１０においてマッチングされた特徴点を用いて、すでに描画されているグラフィクの描画位置を補正する（Ｓ３１２）。ステップＳ３０６以降の処理は、被写体に含まれる物体や人が移動する都度繰り返してもよい。これにより、被写体に含まれる物体や人に対して、常に固定された位置に投影イメージを照射することが可能となる。 Next, the feature point of the image acquired in step S304 is detected (S306). Then, the relative relationship between the feature point detected in step S306 and the projected graphic position is recorded (S308). Then, matching with the feature point in the previous frame is performed (S310). Then, the drawing position of the already drawn graphic is corrected using the feature points matched in step S310 (S312). The processing after step S306 may be repeated each time an object or person included in the subject moves. As a result, it is possible to irradiate the projection image to an always fixed position with respect to an object or a person included in the subject.
次に、図３４を参照して、照射された投影イメージの位置を装置の動きを検出することにより固定化する処理について説明する。以下では、図３２の処理に従って、既にグラフィックが生成されて被写体に投影イメージが照射されているものとして説明する。図３４に示したように、まず、プロジェクタがＯＮか否かを判定する（Ｓ３２２）。ステップＳ３２２において、プロジェクタがＯＮになっていると判定された場合には、撮像装置１２により撮像された画像を取得する（Ｓ３２４）。そして、モーションセンサ（ジャイロセンサ）により出力された出力値を取得する（Ｓ３２６）。
Next, with reference to FIG. 34, a process for fixing the position of the irradiated projection image by detecting the movement of the apparatus will be described. In the following description, it is assumed that a graphic has already been generated and a projection image has been irradiated on the subject in accordance with the processing of FIG. As shown in FIG. 34, first, it is determined whether or not the projector is ON (S322). If it is determined in step S322 that the projector is ON, an image captured by the
そして、ステップＳ３２６において取得された出力値から、情報処理装置２０本体の動きを推定する（Ｓ３２８）。そして、ステップＳ３０８において推定された情報処理装置２０本体の動きから、被写体に照射された投影イメージの位置を補正する（Ｓ３２０）。たとえば、ステップＳ３２８において、情報処理装置２０本体が左右に動いたと判定された場合には、投影イメージの照射位置を左右に移動する。また、情報処理装置２０本体が回転した場合には、装置本体の回転に合わせて照射される投影イメージを回転させる。これにより、被写体に含まれる物体や人の固定された位置に投影イメージを照射することが可能となる。以上、情報処理装置２０の動作の詳細について説明した。
Then, the movement of the
上記したように、第２実施形態によれば、ユーザ入力に基づく投影イメージが被写体に照射されて、撮像装置１２により投影イメージが照射された被写体が撮像される。ユーザは、例えば、タッチパネル２２を操作することにより、投影イメージを照射する位置を指定したり、照射する投影イメージを選択したりする。これにより、ユーザによる直観的な操作で撮影対象となる被写体に所望のグラフィック投影を行うことが可能となる。以上、第２実施形態について説明した。
As described above, according to the second embodiment, the projection image based on the user input is irradiated onto the subject, and the subject on which the projection image is irradiated is captured by the
＜４．第３実施形態＞
次に、第３実施形態について説明する。上記しように、従来から、撮影対象となる被写体に、プロジェクタを用いてグラフィックを投影する技術が開示されている。また、机などにグラフィックを投影し、指の方向や手の形状を検出して情報処理装置に所定の処理をさせる技術も開示されている。しかし、指の方向や手の形状に応じた処理だけでなく、投影されたグラフィックに対する被写体の何らかの動きを検出して、その動きに連動した処理を実行させることが望まれていた。
<4. Third Embodiment>
Next, a third embodiment will be described. As described above, conventionally, there has been disclosed a technique for projecting graphics onto a subject to be photographed using a projector. Also disclosed is a technique for projecting graphics on a desk or the like, detecting the direction of a finger or the shape of a hand, and causing an information processing apparatus to perform predetermined processing. However, it has been desired that not only processing according to the direction of the finger and the shape of the hand, but also detection of some movement of the subject with respect to the projected graphic and execution of processing linked to the movement.
そこで、上記のような事情を一着眼点として、本実施形態にかかる情報処理装置３０が創作されるに至った。本実施形態にかかる情報処理装置３０によれば、投影イメージに対する被写体のインタラクションに応じた処理を実行することが可能となる。
Accordingly, the
図３５および図３６を参照して、本実施形態の概要を説明する。例えば、図３５および図３６は、本実施形態の概要を説明する説明図である。第１実施形態と同様に、情報処理装置３０の照射装置１３により被写体に投影イメージが照射されて、撮像装置１２により投影イメージが照射された被写体が撮像される。図３５に示したように、本実施形態においても、撮像領域５５と照射領域５６とは同期している。照射領域５６に被写体に所定の操作をさせるためのグラフィックを含む投影イメージ６０が照射される。そして、投影イメージ６０が照射された撮像領域５５が撮像される。
An overview of the present embodiment will be described with reference to FIGS. 35 and 36. For example, FIGS. 35 and 36 are explanatory diagrams for explaining the outline of the present embodiment. Similar to the first embodiment, the projection image is irradiated onto the subject by the
また、図３６の説明図６２に示したように、照射領域に「Ｙｅｓ」「Ｎｏ」のグラフィックを含む投影イメージ６１が照射される。そして、被写体に含まれる人が、照射された投影イメージの「Ｙｅｓ」を指さすジェスチャを行う。そして、「Ｙｅｓ」を指さすジェスチャを行っている被写体の画像が認識されて、「Ｙｅｓ」を指さしたことが検出される。図３６では、撮像装置１２のフラッシュをオンにするか否かを選択させるための投影イメージであるため、「Ｙｅｓ」を指さしたことが検出されて、フラッシュがオンされて撮像処理が実行される。
36, the
このように、本実施形態にかかる情報処理装置３０によれば、照射装置（プロジェクタ）１３により照射された投影イメージに対しての被写体のインタラクションによって、情報処理装置３０本体の操作を実行させることが可能となる。
As described above, according to the
＜４−１．情報処理装置のハードウェア構成＞
本実施形態にかかるハードウェア構成は、図３に示した第１実施形態と同様のハードウェア構成であるため、詳細な説明は省略する。
<4-1. Hardware configuration of information processing apparatus>
The hardware configuration according to the present embodiment is the same hardware configuration as that of the first embodiment shown in FIG.
＜４−２．情報処理装置の機能構成＞
次に、図３７を参照して、情報処理装置３０の機能構成について説明する。図３７では、特に、情報処理装置３０の制御部（ＣＰＵ３４）の機能構成について説明する。図３７の機能構成を説明するに際し、適宜図３８〜図４９を参照する。図３７に示したように、情報処理装置３０の制御部は、認識部３０２、照射部３０４、実行部３０６、記憶部３０８などを備える。認識部３０２は、撮像対象となる被写体の操作を認識する機能を有する。
<4-2. Functional configuration of information processing apparatus>
Next, the functional configuration of the
認識部３０２は、撮像装置１２により撮像された被写体の画像を基に、被写体の操作を認識する。以下では、撮像装置１２により撮像された被写体の画像を解析して、被写体のジェスチャによる操作を認識する場合について説明するが、かかる例に限定されない。例えば、被写体に赤外線を照射して、赤外線の反射結果を用いて被写体のジェスチャなどを認識してもよい。
The
照射部３０４は、撮像対象となる被写体に所定の操作をさせるための投影イメージを被写体に照射する機能を有する。また、照射部３０４は、被写体に何らかの選択操作をさせるための投影イメージを照射してもよい。また、認識部３０２により認識された被写体の操作に応じた投影イメージを照射してもよい。照射部３０４は、記憶部３０８から投影イメージを取得して被写体に照射する。照射部３０４は、ユーザ操作に応じて記憶部３０８から投影イメージを取得してもよいし、被写体に含まれる物体や人に応じた投影イメージを記憶部３０８から取得してもよい。
The
また、認識部３０２により被写体に含まれる物体や人が認識された場合には、照射部３０４は、被写体に含まれる物体や人の領域に投影イメージを照射したり、物体や人の領域以外に投影イメージを照射したりしてもよい。さらに、認識部３０２により被写体に含まれる特定の人の顔が認識された場合には、特定の人の付近の領域に投影イメージを照射してもよい。
When the
例えば、図３８の説明図６０１に示したように、被写体に含まれる人物の顔が検出された場合には、人物の顔の領域以外の領域に投影イメージを照射するようにしてもよい。また、説明図６０２に示したように、人物の顔のうち、情報処理装置３０を所有する所有者の顔を検出可能な場合には、所有者の顔付近に投影イメージを照射してもよい。これにより、被写体に含まれる人が投影イメージに対して容易に操作することが可能となる。
For example, as shown in the explanatory diagram 601 of FIG. 38, when a person's face included in the subject is detected, a projected image may be irradiated to an area other than the person's face area. Further, as shown in the explanatory diagram 602, when the face of the owner who owns the
図３７に戻り、実行部３０６は、認識部３０２により認識された被写体の操作に応じて所定の処理を実行する機能を有する。実行部３０６は、認識部３０２により認識された被写体のジェスチャに応じた処理を実行する。例えば、上記したように、フラッシュをオンするジェスチャが認識された場合には、情報処理装置３０に備わるフラッシュをオンにして撮像処理を実行する。また、認識部３０２が、照射部３０４により照射された範囲内の被写体の動きを認識する場合には、照射された範囲内の被写体の動きに対応する処理を実行するようにしてもよい。
Returning to FIG. 37, the
例えば、図３９に示したように、説明図６０６の投影イメージを被写体に照射するとする。この場合、説明図６０５に示したように、被写体に説明図６０６の投影イメージが照射される。そして、説明図６０７に示したように、撮像装置１２により、投影イメージが照射された被写体が撮像される。このとき、認識部３０２は、投影イメージが照射された領域のみを認識することにより、被写体によるジェスチャの認識を堅牢にすることが可能となる。すなわち、認識部３０２は、撮像された画像のすべてから所定の操作を認識する必要はなく、領域６０８に含まれる所定の操作のみを認識すればよい。これにより、処理負荷を軽減することが可能となる。
For example, as shown in FIG. 39, it is assumed that the subject is irradiated with the projection image in the explanatory diagram 606. In this case, as shown in the explanatory diagram 605, the subject is irradiated with the projection image of the explanatory diagram 606. Then, as illustrated in the explanatory diagram 607, the
次に、図３９〜図４８を参照して、照射された投影イメージに対する被写体の操作（インタラクション）の例について説明する。例えば、図４０に示したように、認識部３０２により一定の動きが検知された場合に、投影イメージに対する操作があったと認識するようにしてもよい。例えば、説明図６１０では、カメラのグラフィックのアイコンが照射され、アイコンの投影イメージ上での手の動きを検出した場合に、投影イメージに対して操作があったと認識する。アイコンの投影イメージ上で手の動きが検出された場合には、説明図６１１に示したように、アイコンの投影イメージの色を濃くしたり、色を変えたりする。
Next, with reference to FIGS. 39 to 48, an example of subject operation (interaction) with respect to an irradiated projection image will be described. For example, as shown in FIG. 40, when a certain movement is detected by the
また、図４１に示したように、アイコンが照射されている照射領域内に手が入ったことが検出された場合に、投影イメージに対する操作があったと認識するようにしてもよい。照射領域内に手が入った否かは、例えば、領域内に肌色近傍の物体が入ったか否かにより判定することができる。例えば、説明図６１５では、カメラのグラフィックのアイコンが被写体に照射され、アイコンの投影イメージの照射領域内に手が入り、一定期間が経過したか否かを判定する。例えば、説明図６１６に示したように、アイコンの投影イメージの照射領域内に手が入ったことを認識した後、経過時間に応じて投影イメージの色を段階的に濃くしたり、色を変えたりする。 Also, as shown in FIG. 41, when it is detected that a hand has entered the irradiation area where the icon is irradiated, it may be recognized that an operation has been performed on the projection image. Whether or not a hand has entered the irradiation area can be determined, for example, by whether or not an object near the skin color has entered the area. For example, in the explanatory diagram 615, it is determined whether a graphic icon of the camera is irradiated on the subject, a hand enters the irradiation region of the projected image of the icon, and a certain period has elapsed. For example, as shown in the explanatory diagram 616, after recognizing that the hand has entered the irradiation area of the projected image of the icon, the color of the projected image is gradually increased or changed according to the elapsed time. Or
また、図４２に、被写体に二択操作をさせるための投影イメージを照射する場合を示した。例えば、説明図６２０に示したように、アイコンが照射されている照射領域内に手が入ったことが検出された場合に、被写体に二択操作をさせるための投影イメージを照射する。例えば、説明図６２１に示したように、アイコンの左側に「ＹＥＳ」、右側に「Ｎｏ」の投影イメージを照射する。そして、説明図６２２に示したように、手がアイコンが投影されている領域から右側に動いたことが検出された場合には、「Ｙｅｓ」が選択されたと認識することができる。実行部３０６は、当該選択に応じた処理を実行する。例えば、フラッシュをオンにするか否かを選択させる場合には、フラッシュをオンにして撮像処理を実行する。
FIG. 42 shows a case where a projection image for causing the subject to perform a two-choice operation is irradiated. For example, as shown in the explanatory diagram 620, when it is detected that a hand has entered the irradiation area where the icon is irradiated, a projection image for causing the subject to perform a two-choice operation is irradiated. For example, as shown in the explanatory diagram 621, a projected image of “YES” is irradiated on the left side of the icon and “No” on the right side. Then, as illustrated in the explanatory diagram 622, when it is detected that the hand has moved to the right side from the region where the icon is projected, it can be recognized that “Yes” is selected. The
また、図４３に、被写体に複数選択操作をさせるための投影イメージを照射する場合を示した。例えば、説明図６２５に示したように、円形状のアイコンが照射されている照射領域内に手が入ったことが検出された場合に、被写体に複数選択操作をさせるための投影イメージを照射する。例えば、説明図６２６に示したように、円形状のアイコンの周囲に放射状に選択肢を示す投影イメージを照射する。そして、説明図６２７に示したように、手がアイコンが投影されている領域から選択肢のいずれかの領域に動いたことが検出された場合には、手が位置する領域の選択肢を選択されたと認識することができる。実行部３０６は、当該選択に応じた処理を実行する。例えば、撮影時のホワイトバランスやシャッタースピードなどの撮影モードを段階的に選択させる場合には、選択された撮影モードで撮像処理を実行する。
FIG. 43 shows a case where a projection image for irradiating a subject with a plurality of selection operations is irradiated. For example, as shown in the explanatory diagram 625, when it is detected that a hand has entered the irradiation area irradiated with the circular icon, a projection image for causing the subject to perform a plurality of selection operations is irradiated. . For example, as shown in an explanatory diagram 626, a projection image that radiates options is emitted around a circular icon. Then, as shown in the explanatory diagram 627, when it is detected that the hand has moved from the region where the icon is projected to any one of the options, it is assumed that the option of the region where the hand is located is selected. Can be recognized. The
また、図４４に、被写体の動きに応じて投影イメージを変化させる場合を示した。例えば、説明図６３０に示したように、四角形状のアイコンが照射されている照射領域内に手が入ったことが検出された後に、説明図６３１に示したように手を握った状態が検出されたとする。認識部３０２は、手を広げた状態から手を握った状態の動きが検出された場合には、「つかむ」動作がなされたと認識する。そして、説明図６３２に示したように、「つかむ」動作がなされたまま手が動かされた場合には、投影イメージを追従させる。そして、説明図６３４に示したように、手を握った状態から手を広げた状態に戻ったことが検出された場合に投影イメージの追従を終了させる。
FIG. 44 shows a case where the projection image is changed according to the movement of the subject. For example, as shown in the explanatory diagram 630, after it is detected that the hand has entered the irradiation area irradiated with the square icon, the state in which the hand is held as shown in the explanatory diagram 631 is detected. Suppose that The recognizing
また、図４５に、被写体の手を検出して、検出された手に投影イメージを照射する場合を示した。例えば、説明図６４０に示したように、被写体の手のひらを検出する。そして、説明図６４１に示したように、検出された手のひらの領域に円形状の投影イメージを照射する。ここで、認識部３０２は、手のひらの領域を常に検出して、照射部３０４は投影イメージを手のひらの動きに追従するように照射する。
FIG. 45 shows a case where the subject's hand is detected and the detected image is irradiated with the projected image. For example, as shown in the explanatory diagram 640, the palm of the subject is detected. Then, as shown in the explanatory diagram 641, a circular projection image is irradiated onto the detected palm region. Here, the
そして、説明図６４２に示したように、手のひらが早く動いて、円形状の投影イメージが照射されている領域から大きく外れた場合には、投影イメージに対して何らかの処理をキャンセルする操作であると認識してもよい。また、説明図６４３に示したように、手のひらを握る動きを検出した場合には、投影イメージに対して何らかの処理を決定する操作であると認識してもよい。 Then, as shown in the explanatory diagram 642, when the palm moves quickly and deviates greatly from the area irradiated with the circular projection image, it is an operation to cancel some processing on the projection image. You may recognize it. Further, as shown in the explanatory diagram 643, when a movement of gripping the palm is detected, it may be recognized that the operation is to determine some processing for the projection image.
また、図４６に二つの手のひらを検出して、検出された二つの手に投影イメージを照射する場合を示した。例えば、説明図６４５に示したように、被写体の二つの手のひらを検出する。そして、説明図６４６に示したように、二つの手のひらにそれぞれ異なる選択肢を示す投影イメージを照射する。そして、説明図６４７に示したように、いずれかの手を握る動きを検出した場合には、選択肢のいずれかを選択する操作であると認識する。 FIG. 46 shows a case where two palms are detected and a projection image is irradiated to the two detected hands. For example, as shown in the explanatory diagram 645, two palms of the subject are detected. Then, as shown in the explanatory diagram 646, projection images showing different options are irradiated on the two palms. Then, as shown in the explanatory diagram 647, when a movement of holding one of the hands is detected, it is recognized as an operation for selecting one of the options.
また、図４７に被写体の大局的な動きに応じて投影イメージを変更する場合を示した。例えば、説明図６５０に示したように、被写体の両手の位置や体の向きなどを検出して、被写体の大局的な動きを検出する。説明図６５０では、左側の手を伸ばし、右側の手を曲げていることが検出される。例えば、被写体の動きに応じて照明光を変更する処理を実行する場合には、説明図６５１に示したように、検出された手の位置に応じて照明光を表現するフィルタを移動させてもよい。 FIG. 47 shows a case where the projection image is changed according to the general movement of the subject. For example, as shown in the explanatory diagram 650, the general movement of the subject is detected by detecting the position of both hands of the subject and the direction of the body. In the explanatory diagram 650, it is detected that the left hand is extended and the right hand is bent. For example, when the process of changing the illumination light according to the movement of the subject is executed, the filter that expresses the illumination light may be moved according to the detected hand position, as shown in the explanatory diagram 651. Good.
また、図４８に被写体の対極的な動きに応じて撮影画角を変更する場合を示した。例えば、説明図６５５に示したように、被写体の両手の位置および手の動きを検出して、撮影画角を表現する投影イメージを照射する。そして、上記したように、手のひらの動きを検出して、照射された撮影画角を「つまむ」動作や撮影画角を「離す」操作を検出する。そして、説明図６５６に示したように、投影イメージの撮影画角をつかんで動かす操作を行った場合には、撮影される範囲を移動させる。 FIG. 48 shows a case where the shooting angle of view is changed according to the opposite movement of the subject. For example, as shown in an explanatory diagram 655, the position of both hands of the subject and the movement of the hand are detected, and a projection image expressing the shooting angle of view is emitted. Then, as described above, the movement of the palm is detected, and the operation of “pinching” the irradiated shooting angle of view and the operation of “separating” the shooting angle of view are detected. Then, as shown in the explanatory diagram 656, when an operation of grasping and moving the shooting angle of view of the projection image is performed, the shooting range is moved.
これにより、撮像する際のズームインやズームアウトを被写体の操作に応じて実行することが可能となる。また、図４８に示したような大局的な被写体の操作だけでなく、手を前後させる操作により撮像時のズームインやズームアウトの処理を実行してもよい。また、ズームインやズームアウトした結果の画像を被写体が位置する領域とは別の領域に投影してもよい。 This makes it possible to execute zoom-in and zoom-out when taking an image in accordance with the operation of the subject. Further, the zoom-in and zoom-out processing at the time of imaging may be executed not only by the general subject manipulation as shown in FIG. 48 but also by the operation of moving the hand back and forth. In addition, an image obtained as a result of zooming in or zooming out may be projected onto a region other than the region where the subject is located.
また、図４９に撮影者による操作に応じて、被写体に所定の操作をさせるための投影イメージを照射する場合を示した。例えば、情報処理装置３０に第２実施形態と同様にタッチパネルが備えられている場合には、撮影者によるタッチパネル上の入力に応じて投影イメージを照射してもよい。図４９の説明図６７０に示したように、撮影者が情報処理装置３０のタッチパネルを接触して投影イメージを照射する位置を指定する。そして、説明図６７１に示したように、撮影者に指定された位置に投影イメージが照射される。
FIG. 49 shows a case where a projection image for irradiating a subject with a predetermined operation is irradiated in accordance with an operation by a photographer. For example, when the
＜４−３．情報処理装置の動作の詳細＞
以上、情報処理装置３０の制御部の機能について説明した。次に、図５０を参照して、情報処理装置３０の動作の詳細について説明する。図５０は、情報処理装置３０の動作の詳細を示すフローチャートである。
<4-3. Details of operation of information processing apparatus>
The function of the control unit of the
図５０に示したように、まず、プロジェクタ（照射装置１３）がＯＮか否かを判定する（Ｓ４０２）。ステップＳ３０２において、プロジェクタがＯＮになっていると判定された場合には、プロジェクタからＧＵＩが照射されているか否かを判定する（Ｓ４０４）。ステップＳ３０４において、照射されるＧＵＩは、撮像対象となる被写体に所定の操作をさせるための投影イメージである。 As shown in FIG. 50, first, it is determined whether or not the projector (irradiation device 13) is ON (S402). If it is determined in step S302 that the projector is ON, it is determined whether or not GUI is being emitted from the projector (S404). In step S304, the irradiated GUI is a projection image for causing a subject to be imaged to perform a predetermined operation.
ステップＳ４０４において、プロジェクタからＧＵＩが照射されていると判定された場合にはカメラ（撮像装置１２）により撮像された画像を取得する（Ｓ４０６）。そして、ステップＳ４０４において照射されているＧＵＩが表示されている領域のみ、ジェスチャ認識を行う（Ｓ４０８）。上記したように、プロジェクタから被写体に所定の操作をさせるための投影イメージであるＧＵＩが照射されている場合には、照射されたＧＵＩに対して何らかの操作が行われる。したがって、ＧＵＩが照射されている領域での被写体の操作を認識すればよいこととなる。 If it is determined in step S404 that the GUI is irradiated from the projector, an image captured by the camera (imaging device 12) is acquired (S406). Then, gesture recognition is performed only in the area where the GUI illuminated in step S404 is displayed (S408). As described above, when a GUI that is a projection image for causing a subject to perform a predetermined operation is irradiated from the projector, some operation is performed on the irradiated GUI. Therefore, it is only necessary to recognize the operation of the subject in the area irradiated with the GUI.
ステップＳ４０４において、プロジェクタからＧＵＩが照射されていないと判定された場合には、カメラ（撮像装置１２）により撮像された画像を取得する（Ｓ４１０）。そして、ジェスチャ認識を行う（Ｓ４１２）。ステップＳ４１２においては、ステップＳ４１０において取得された画像全体における被写体の操作を認識する。 If it is determined in step S404 that the GUI is not irradiated from the projector, an image captured by the camera (imaging device 12) is acquired (S410). Then, gesture recognition is performed (S412). In step S412, the operation of the subject in the entire image acquired in step S410 is recognized.
そして、ステップＳ４０８またはステップＳ４１２においてジェスチャが認識されたか否かを判定する（Ｓ４１４）。ステップＳ４１４において、ジェスチャ認識が行われたと判定された場合には、認識されたジェスチャの内容と、ジェスチャが行われた位置に応じた操作を実行する（Ｓ４１６）。ジェスチャの内容とは、例えば、開いた手のひらを閉じたり、手の指を一定の方向に向けたりすることである。例えば、「Ｙｅｓ」「Ｎｏ」の文字を含む投影イメージが照射され、被写体の手が「Ｙｅｓ」の領域に動いた場合には、フラッシュをオンにするなどの「Ｙｅｓ」に応じた操作を実行する。 Then, it is determined whether or not a gesture has been recognized in step S408 or step S412 (S414). If it is determined in step S414 that gesture recognition has been performed, an operation corresponding to the content of the recognized gesture and the position where the gesture has been performed is executed (S416). The content of the gesture is, for example, closing an open palm or pointing a finger of a hand in a certain direction. For example, when a projection image including characters “Yes” and “No” is irradiated and the subject's hand moves to the “Yes” area, an operation corresponding to “Yes” such as turning on the flash is executed. To do.
そして、ステップＳ４１６において実行された操作の結果を反映して、ＧＵＩを変更したり、新たなＧＵＩを投影したりする（Ｓ４１８）。そして、撮影が行われるか否かを判定する（Ｓ４２０）。ステップＳ４２０において、撮影が行われると判定された場合には、撮影が実行される前に、被写体に操作させるための投影イメージ（ＧＵＩ）を消す（Ｓ４２２）。ステップＳ４２２において、ＧＵＩを消すとは、照射装置１３から投影イメージを照射しない状態であることを示す。そして、ステップＳ４２２においてＧＵＩが消された後に撮影を実行する（Ｓ４２４）。以上、情報処理装置３０の動作の詳細について説明した。
Then, the result of the operation executed in step S416 is reflected to change the GUI or project a new GUI (S418). Then, it is determined whether or not shooting is performed (S420). If it is determined in step S420 that shooting is to be performed, the projection image (GUI) for operating the subject is erased before shooting is performed (S422). In step S422, erasing the GUI means that the
上記したように、第３実施形態によれば、撮像対象となる被写体に所定の操作をさせるための投影イメージが照射されて、照射された投影イメージに対する被写体の操作が認識される。そして、認識された被写体の操作に応じた所定の処理が実行される。これにより、投影イメージに対する被写体のインタラクションに応じて、撮像処理等の情報処理装置３０本体の操作を実行させることが可能となる。
As described above, according to the third embodiment, the projection image for causing the subject to be imaged to perform a predetermined operation is irradiated, and the operation of the subject with respect to the irradiated projection image is recognized. Then, a predetermined process corresponding to the recognized subject operation is executed. Accordingly, it is possible to execute an operation of the
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
例えば、本明細書の情報処理装置１０、２０、３０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
For example, each step in the processing of the
また、情報処理装置１０、２０、３０の情報処理装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した情報処理装置１０、２０、３０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
Further, hardware such as a CPU, a ROM, and a RAM built in the
１０、２０、３０ 情報処理装置
１１ 表示装置
１２ 撮像装置
１３ 照射装置
１４、２１、３１ ＣＰＵ
１５ 入力装置
１６ ＲＡＭ
１７ 不揮発性メモリ
１０２ 解析部
１０４ 照射部
１０６ 生成部
１０８ 記憶部
２０２ 撮像部
２０４ 検出部
２０６ 照射部
２０８ 解析部
２１０ 記憶部
２１２ 取得部
３０２ 認識部
３０４ 照射部
３０６ 実行部
３０８ 記憶部
10, 20, 30
15
17
Claims (14)
ユーザ入力に基づく投影イメージを照射装置により前記被写体に照射する照射部と、
を備え、
前記撮像部は、前記投影イメージが照射された前記被写体を撮像する、情報処理装置。 An imaging unit that images a subject with an imaging device;
An irradiation unit that irradiates the subject with a projection image based on a user input by an irradiation device;
With
The information processing apparatus, wherein the imaging unit images the subject irradiated with the projection image.
前記照射部は、前記取得部により取得された前記指定位置に前記投影イメージを照射する、請求項１に記載の情報処理装置。 An acquisition unit for acquiring a designated position designated according to a user input on a display screen on which the subject is displayed;
The information processing apparatus according to claim 1, wherein the irradiation unit irradiates the projection image to the designated position acquired by the acquisition unit.
前記照射部は、前記取得部により取得された前記投影イメージを前記被写体に照射する、請求項１に記載の情報処理装置。 The acquisition unit acquires the projection image designated by a user operation on a display screen on which the subject is displayed,
The information processing apparatus according to claim 1, wherein the irradiation unit irradiates the subject with the projection image acquired by the acquisition unit.
前記照射部は、前記取得部により取得された前記所定の情報が埋め込まれた前記投影イメージを前記被写体に照射する、請求項３に記載の情報処理装置。 The acquisition unit acquires predetermined information designated by a user operation,
The information processing apparatus according to claim 3, wherein the irradiation unit irradiates the subject with the projection image in which the predetermined information acquired by the acquisition unit is embedded.
前記解析部は、前記被写体の特徴点を抽出し、
前記照射部は、前記解析部により抽出された前記被写体の特徴点に応じて前記投影イメージを前記被写体に照射する、請求項１に記載の情報処理装置。 An analysis unit that analyzes an image of the subject imaged by the imaging unit;
The analysis unit extracts feature points of the subject,
The information processing apparatus according to claim 1, wherein the irradiation unit irradiates the subject with the projection image according to a feature point of the subject extracted by the analysis unit.
前記照射部は、前記検出部により検出された前記情報処理装置本体の動きに応じて前記投影イメージを前記被写体に照射する、請求項１に記載の情報処理装置。 A detection unit for detecting the movement of the information processing apparatus body;
The information processing apparatus according to claim 1, wherein the irradiation unit irradiates the subject with the projection image in accordance with a movement of the information processing apparatus main body detected by the detection unit.
前記投影イメージが照射された前記被写体を撮像装置により撮像するステップと、
を含む、情報処理方法。 Irradiating the subject with a projection image based on user input by an irradiation device;
Imaging the subject irradiated with the projection image with an imaging device;
Including an information processing method.
撮像装置により被写体を撮像する撮像部と、
ユーザ入力に基づく投影イメージを照射装置により前記被写体に照射する照射部と、
を備え、
前記撮像部は、前記投影イメージが照射された前記被写体を撮像する、情報処理装置として機能させるためのプログラム。
Computer
An imaging unit that images a subject with an imaging device;
An irradiation unit that irradiates the subject with a projection image based on a user input by an irradiation device;
With
The said imaging part is a program for functioning as an information processing apparatus which images the said to-be-photographed object with which the said projection image was irradiated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010048096A JP2011188023A (en) | 2010-03-04 | 2010-03-04 | Information processing unit, method of processing information, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010048096A JP2011188023A (en) | 2010-03-04 | 2010-03-04 | Information processing unit, method of processing information, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011188023A true JP2011188023A (en) | 2011-09-22 |
Family
ID=44793828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010048096A Withdrawn JP2011188023A (en) | 2010-03-04 | 2010-03-04 | Information processing unit, method of processing information, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011188023A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017503198A (en) * | 2013-12-20 | 2017-01-26 | クアルコム，インコーポレイテッド | Trim content to project onto a target |
| JP2018537884A (en) * | 2015-10-08 | 2018-12-20 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | How to take a picture with a mobile device |
| DE112017003398T5 (en) | 2016-07-05 | 2019-03-21 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
| US10921963B2 (en) | 2016-07-05 | 2021-02-16 | Sony Corporation | Information processing apparatus, information processing method, and program for controlling a location at which an operation object for a device to be operated is displayed |
| JP2023119685A (en) * | 2022-02-17 | 2023-08-29 | セイコーエプソン株式会社 | Image editing method, image editing system, and program |
-
2010
- 2010-03-04 JP JP2010048096A patent/JP2011188023A/en not_active Withdrawn
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017503198A (en) * | 2013-12-20 | 2017-01-26 | クアルコム，インコーポレイテッド | Trim content to project onto a target |
| KR101842075B1 (en) * | 2013-12-20 | 2018-03-26 | 퀄컴 인코포레이티드 | Trimming content for projection onto a target |
| JP2018537884A (en) * | 2015-10-08 | 2018-12-20 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | How to take a picture with a mobile device |
| DE112017003398T5 (en) | 2016-07-05 | 2019-03-21 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
| US10921963B2 (en) | 2016-07-05 | 2021-02-16 | Sony Corporation | Information processing apparatus, information processing method, and program for controlling a location at which an operation object for a device to be operated is displayed |
| JP2023119685A (en) * | 2022-02-17 | 2023-08-29 | セイコーエプソン株式会社 | Image editing method, image editing system, and program |
| JP7464066B2 (en) | 2022-02-17 | 2024-04-09 | セイコーエプソン株式会社 | IMAGE EDITING METHOD, IMAGE EDITING SYSTEM, AND PROGRAM |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5740822B2 (en) | Information processing apparatus, information processing method, and program | |
| JP5648298B2 (en) | Information processing apparatus, information processing method, and program | |
| WO2012124730A1 (en) | Detection device, input device, projector, and electronic apparatus | |
| JPH0844490A (en) | Interface device | |
| US9129400B1 (en) | Movement prediction for image capture | |
| JP2011232894A (en) | Interface device, gesture recognition method and gesture recognition program | |
| JP5817149B2 (en) | Projection device | |
| JP2011188023A (en) | Information processing unit, method of processing information, and program | |
| JP6465197B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2011095985A (en) | Image display apparatus | |
| WO2018150569A1 (en) | Gesture recognition device, gesture recognition method, projector equipped with gesture recognition device and video signal supply device | |
| JP2011186537A (en) | Apparatus and method for processing information, and program | |
| JP6260673B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6032319B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6068741B2 (en) | Display system | |
| JP6679430B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM | |
| JP5118663B2 (en) | Information terminal equipment | |
| JP7537470B2 (en) | Information processing device, information processing method, and program | |
| JP2017211739A (en) | User interface device and user interface program | |
| JP2015106390A (en) | Information input device, information input system, information input method, and program | |
| JP2008262272A (en) | Skin color model creation device and program | |
| WO2014065697A1 (en) | Method and device for the gesture control of a multimedia display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130507 |