JP2016139201A - Image processing device, image processing method, and program - Google Patents
Image processing device, image processing method, and programInfo
- Publication number
- JP2016139201A JP2016139201A JP2015012562A JP2015012562A JP2016139201A JP 2016139201 A JP2016139201 A JP 2016139201A JP 2015012562 A JP2015012562 A JP 2015012562A JP 2015012562 A JP2015012562 A JP 2015012562A JP 2016139201 A JP2016139201 A JP 2016139201A
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- unit
- dimensional
- image
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。 The present invention relates to an image processing device, an image processing method, and a program.
現実空間の事象に対してコンピュータによる情報を付加する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＡＲ技術として、カメラで撮影した撮影画像上に仮想オブジェクトを合成して表示する技術も開示されている。 Augmented reality (AR) technology for adding information by a computer to an event in a real space is known. As an AR technique, a technique for combining and displaying a virtual object on a photographed image photographed by a camera is also disclosed.
また、仮想物体の立体形状を示す三次元データを用意し、用意した仮想立体物の表面に繊維シートを貼り付けたものを、所定の視点から観察した投影画像を生成する技術が開示されている（例えば、特許文献１参照）。 In addition, a technique is disclosed in which three-dimensional data indicating a three-dimensional shape of a virtual object is prepared, and a projection image in which a fiber sheet is pasted on the surface of the prepared virtual three-dimensional object is observed from a predetermined viewpoint. (For example, refer to Patent Document 1).
しかし、従来では、繊維シートなどの仮想オブジェクトを貼り付ける三次元データを別途用意する必要があり、仮想オブジェクトを任意の形状の仮想立体物に貼り付けた状態を示す画像を提供することは困難であった。 However, conventionally, it is necessary to separately prepare three-dimensional data for attaching a virtual object such as a fiber sheet, and it is difficult to provide an image showing a state in which the virtual object is attached to a virtual solid object having an arbitrary shape. there were.
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、撮影画像を得る撮影部と、仮想三次元空間に配置する仮想オブジェクトの曲げ形状を、表示部の表示面を表す二次元デバイス座標で表した、曲げ形状情報を取得する取得部と、前記曲げ形状情報に応じて、前記仮想オブジェクトの貼り付け対象を示す仮想立体物の三次元形状を算出する形状算出部と、前記仮想立体物の表面に貼り付けた前記仮想オブジェクトを、二次元空間に射影したオブジェクト画像を生成する射影部と、前記撮影画像に前記オブジェクト画像を重畳した重畳画像を前記表示部へ表示する表示制御部と、を備える。 In order to solve the above-described problems and achieve the object, an image processing apparatus according to the present invention includes a photographing unit that obtains a photographed image, a bending shape of a virtual object that is arranged in a virtual three-dimensional space, and a display surface of the display unit. An acquisition unit that acquires bending shape information represented by two-dimensional device coordinates representing a shape, and a shape calculation unit that calculates a three-dimensional shape of a virtual three-dimensional object indicating a pasting target of the virtual object according to the bending shape information A projecting unit that generates an object image obtained by projecting the virtual object pasted on the surface of the virtual three-dimensional object into a two-dimensional space, and a superimposed image obtained by superimposing the object image on the captured image is displayed on the display unit. A display control unit.
本発明は、仮想オブジェクトを任意の形状の仮想立体物に貼り付けた状態を示す画像を容易に提供することができる、という効果を奏する。 The present invention has an effect that an image showing a state in which a virtual object is pasted on a virtual solid object having an arbitrary shape can be easily provided.
以下、実施形態である画像処理装置１０について説明する。
Hereinafter, the
以下に添付図面を参照して、画像処理装置、画像処理方法、およびプログラムの実施の形態を詳細に説明する。 Hereinafter, embodiments of an image processing device, an image processing method, and a program will be described in detail with reference to the accompanying drawings.
図１は、本実施の形態の画像処理装置１０の模式図である。
FIG. 1 is a schematic diagram of an
画像処理装置１０は、プレビュー画像を表示部２０へ表示する装置である。
The
画像処理装置１０は、撮影部１２、表示処理部１４、記憶部１６、入力部１８、表示部２０、および検知部２５を備える。撮影部１２、表示処理部１４、記憶部１６、入力部１８、表示部２０、および検知部２５は、バス２２により電気的に接続されている。
The
なお、画像処理装置１０は、撮影部１２、表示処理部１４、および検知部２５と、記憶部１６、入力部１８、および表示部２０の少なくとも１つと、を別体として設けた構成であってもよい。
The
また、画像処理装置１０は、携帯可能な携帯端末であってもよいし、固定型の端末であってもよい。本実施の形態では、一例として、画像処理装置１０は、撮影部１２と、表示処理部１４と、記憶部１６と、入力部１８と、表示部２０と、検知部２５と、を一体的に備えた携帯可能な携帯端末である場合を説明する。また、画像処理装置１０は、外部装置と通信するための通信部などの他の機能部を更に設けた構成であってもよい。
Further, the
撮影部１２は、画像処理装置１０の位置する実空間を撮影し、撮影画像を取得する。実空間は、例えば、室内などである。更に、例えば、実空間は、複数の壁面で構成された室内であり、一例としては、床面、天井面、床面と天井面とに連続する４つの壁面で構成された立方体状の室内である。なお、実空間は、画像処理装置１０の位置する現実の空間であればよく、室内に限定されない。撮影部１２は、撮影によって画像データ（撮影画像）を得る公知の撮影装置である。
The
表示部２０は、各種画像を表示する。表示部２０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、画像を投影するプロジェクタ等、公知の表示装置である。本実施の形態では、表示部２０には、後述する重畳画像が表示される。
The
また、本実施の形態では、一例として、表示部２０と撮影部１２は、画像処理装置１０の筐体において、表示部２０の表示方向と、撮影部１２の撮影方向と、が、反対方向（１８０°の関係）である場合を説明する。
Moreover, in this Embodiment, as an example, the
図２は、画像処理装置１０の外観の概略図である。図２（Ａ）は、画像処理装置１０を表示部２０側からみた平面図である。図２（Ｂ）は、画像処理装置１０を側面方向（撮影部１２と表示部２０との対向方向に直交する方向）から視認した状態を示す平面図である。画像処理装置１０の筐体１１には、撮影部１２と表示部２０が設けられている。なお、筐体１１の内部には、検知部２５や表示処理部１４や記憶部１６などが設けられている。
FIG. 2 is a schematic view of the appearance of the
図１に戻り、入力部１８は、ユーザから各種操作を受け付ける。入力部１８は、例えば、マウス、マイクによる音声認識、ボタン、リモコン、およびキーボード等である。
Returning to FIG. 1, the
なお、入力部１８と表示部２０とを一体的に構成してもよい。本実施の形態では、入力部１８と表示部２０とを一体的に構成し、ＵＩ部１９とする場合を説明する。ＵＩ部１９は、例えば、表示機能と入力機能の双方を備えたタッチパネルである。
In addition, you may comprise the
このため、ユーザは、ＵＩ部１９に表示された画像を確認しながら、ＵＩ部１９上を操作することで、各種入力を行うことができる。具体的には、ユーザは、ＵＩ部１９における表示部２０の表示面上を操作指示することで、操作指示に応じた各種入力を行うことができる。なお、表示部２０の表示面は、二次元の平面である。
For this reason, the user can perform various inputs by operating on the
記憶部１６は、メモリやハードディスクドライブ装置（ＨＤＤ）等の記憶媒体であり、後述する各処理を実行するための各種プログラムや、各種データを記憶する。
The
検知部２５は、実空間における撮影部１２の姿勢を検出する。なお、上述したように、画像処理装置１０には、撮影部１２とＵＩ部１９（表示部２０）が設けられている。このため、撮影部１２の姿勢は、画像処理装置１０に設けられた表示部２０およびＵＩ部１９の姿勢と同様の意味である。
The
検知部２５は、傾きや方角（角度）を検知可能な公知の検知装置である。例えば、検知部２５は、ジャイロセンサ（３軸加速度計）、電子コンパス、重力加速度計などである。
The
なお、検知部２５は、実空間における位置（具体的には、ワールド座標における位置）を検出する公知の機器を更に含む構成であってもよい。例えば、検知部２５は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を備えた構成であってもよい。この場合、検知部２５は、姿勢に加えて、実空間における撮影部１２の位置（緯度、経度、高度）を検知することができる。
The
図１に戻り、表示処理部１４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータである。なお、表示処理部１４は、汎用のＣＰＵ以外の回路などであってもよい。表示処理部１４は、画像処理装置１０に設けられた装置各部を制御する。
Returning to FIG. 1, the
表示処理部１４は、重畳画像を表示部２０へ表示する制御を行う。重畳画像は、実空間を撮影した撮影画像に、仮想オブジェクトのオブジェクト画像を重畳した画像である。
The
仮想オブジェクトは、実空間には含まれない仮想のオブジェクトである。仮想オブジェクトは、例えば、表示処理部１４で扱う事の可能な画像データである。仮想オブジェクトの画像データは、例えば、外部装置や表示処理部１４などで別途作成された画像や印刷物の画像データや、実空間画像の撮影とは異なるタイミングで撮影された撮影画像の画像データなどであるが、これらに限定されない。
The virtual object is a virtual object that is not included in the real space. The virtual object is, for example, image data that can be handled by the
オブジェクト画像は、仮想三次元空間に配置された仮想オブジェクトを、二次元空間に射影した画像である。言い換えると、オブジェクト画像は、仮想三次元空間に配置された仮想オブジェクトを、予め定めた視点位置から視認した二次元画像に変換した画像である。 An object image is an image obtained by projecting a virtual object placed in a virtual three-dimensional space into a two-dimensional space. In other words, the object image is an image obtained by converting a virtual object placed in the virtual three-dimensional space into a two-dimensional image viewed from a predetermined viewpoint position.
表示処理部１４は、例えば、グラフィックス処理のためのプログラミングインターフェースを用いた３Ｄグラフィックエンジンを用いて、仮想オブジェクトを二次元画像に変換する。例えば、表示処理部１４は、ＯｐｅｎＧＬ（Ｏｐｅｎ Ｇｒａｐｈｉｃｓ Ｌｉｂｒａｒｙ）などの３Ｄエンジンにより、表示処理を実現する。
The
具体的には、表示処理部１４は、変換関数を用いて、仮想三次元空間における三次元座標によって示される仮想オブジェクトを、二次元空間における二次元座標によって示されるオブジェクト画像に射影する。変換関数は、オブジェクト画像を取得するための関数、すなわち、仮想オブジェクトを表示面に射影するための関数である。変換関数は、一般に、行列で表される。
Specifically, the
図３は、表示処理部１４による表示処理の概要を示す図である。表示処理部１４は、撮影部１２で撮影した撮影画像５３に、オブジェクト画像３０を重畳した重畳画像５４を表示する。
FIG. 3 is a diagram showing an outline of display processing by the
本実施の形態の画像処理装置１０では、オブジェクト画像３０の形状を、画像処理装置１０の姿勢の変化に応じて、あたかも現実の空間に配置されている物体を撮影しているように変化させる。例えば、図３に示すように、画像処理装置１０は、実空間には存在しない印刷物が壁３１に貼り付けているかのように、画像処理装置１０の姿勢の変化に応じてオブジェクト画像３０の形状を変化させる。
In the
また、本実施の形態の画像処理装置１０では、ユーザによって指定された、実際には存在しない仮想立体物の三次元形状に応じて、オブジェクト画像３０が該仮想立体物に貼り付けられているかのような表示を行う。画像処理装置１０の表示処理部１４では、仮想立体物の表面に、オブジェクト画像３０に対応する仮想オブジェクト４２を貼り付けた状態を、二次元空間に投影することで、オブジェクト画像３０を表示する（詳細後述）。
In the
表示処理部１４について詳細を説明する。
Details of the
図４は、画像処理装置１０の機能構成を示すブロック図である。上述したように画像処理装置１０は、検知部２５、撮影部１２、記憶部１６、ＵＩ部１９、および表示処理部１４を備える。検知部２５、撮影部１２、記憶部１６、およびＵＩ部１９は、表示処理部１４に信号やデータ授受可能に接続されている。
FIG. 4 is a block diagram illustrating a functional configuration of the
表示処理部１４は、姿勢検出部１４Ａと、撮影画像取得部１４Ｂと、設定部１４Ｃと、取得部１４Ｄと、形状算出部１４Ｅと、射影部１４Ｆと、合成部１４Ｇと、受付部１４Ｉと、移動部１４Ｌと、姿勢補正部１４Ｎと、光源設定部１４Ｏと、表示制御部１４Ｈと、を備える。
The
姿勢検出部１４Ａ、撮影画像取得部１４Ｂ、設定部１４Ｃ、取得部１４Ｄ、形状算出部１４Ｅ、射影部１４Ｆ、合成部１４Ｇ、受付部１４Ｉ、移動部１４Ｌ、姿勢補正部１４Ｎ、姿勢補正部１４Ｎ、光源設定部１４Ｏ、および表示制御部１４Ｈの一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
姿勢検出部１４Ａは、撮影部１２の初期姿勢からの姿勢変化を表す姿勢情報を検出する。詳細には、姿勢情報は、撮影部１２の初期姿勢の撮影方向（光軸の方向）からの向きの変化を検出する。
The
具体的には、姿勢検出部１４Ａは、検知部２５による初期姿勢時の検知結果と、検知部２５による現在の検知結果と、を用いて、姿勢情報を検出する。姿勢情報は、例えば、初期姿勢からの回転角の変化量（ロール角の変化量α、ピッチ角の変化量βおよびヨー角の変化量γ）で表される。
Specifically, the
設定部１４Ｃは、初期姿勢を設定する。設定部１４Ｃは、撮影開始に先立ち、初期姿勢を設定する。ユーザは、所望のタイミングでＵＩ部１９を操作することにより、初期姿勢の設定指示を入力する。設定部１４Ｃは、ユーザにより初期姿勢の設定指示が入力されたときの、撮影部１２（ＵＩ部１９、画像処理装置１０）の姿勢を、初期姿勢として設定する。
The setting unit 14C sets an initial posture. The setting unit 14C sets an initial posture prior to the start of shooting. The user inputs an initial posture setting instruction by operating the
このため、画像処理装置１０では、初期姿勢におけるオブジェクト画像３０の形状を基準とし、初期姿勢からの姿勢変化量に基づきオブジェクト画像３０の形状を変化させることができる。
Therefore, the
撮影画像取得部１４Ｂは、撮影部１２から撮影画像を取得する。
The captured
取得部１４Ｄは、曲げ形状情報を取得する。曲げ形状情報は、仮想三次元空間に配置する仮想オブジェクト４２の曲げ形状を、表示部２０（ＵＩ部１９）の表示面を表す二次元デバイス座標で表した情報である。
The acquisition unit 14D acquires bending shape information. The bending shape information is information in which the bending shape of the
表示部２０の表示面を表す二次元デバイス座標とは、二次元の板状である表示部２０の表示面上の、二次元座標である。すなわち、ユーザがＵＩ部１９の表示面上を操作指示することで、操作指示されたＵＩ部１９の表示面上の位置に応じた二次元座標が、操作指示として入力される。
The two-dimensional device coordinates representing the display surface of the
曲げ形状情報は、ユーザによるＵＩ部１９の操作によって入力される。ユーザは、ＵＩ部１９の表示面を操作することで、表示面上の二次元座標によって示される、仮想オブジェクト４２の曲げ形状を操作入力する。取得部１４Ｄは、ユーザによる各種操作指示をＵＩ部１９から受け付ける受付部１４Ｉを介して、ＵＩ部１９から曲げ形状情報を取得する。
The bending shape information is input by the user operating the
形状算出部１４Ｅは、曲げ形状情報に応じて、仮想オブジェクト４２の貼り付け対象を示す仮想立体物の三次元形状を算出する。
The
射影部１４Ｆは、形状算出部１４Ｅで算出された三次元形状の仮想立体物の表面に、仮想オブジェクト４２を貼り付ける。そして、射影部１４Ｆは、仮想立体物の表面に貼り付けた仮想オブジェクト４２を、二次元空間に射影したオブジェクト画像を生成する。
The projecting
合成部１４Ｇは、重畳画像を生成する。図５は、重畳画像生成の説明図である。合成部１４Ｇは、撮影画像５３上に、射影部１４Ｆで生成されたオブジェクト画像３０を合成する。これによって、合成部１４Ｇは、撮影画像５３にオブジェクト画像３０を重畳した重畳画像５４を生成する。
The synthesizing
図４に戻り、受付部１４Ｉは、ユーザによるＵＩ部１９の各種操作を受け付ける。受付部１４Ｉは、第１受付部１４Ｊおよび第２受付部１４Ｋを含む。第１受付部１４Ｊおよび第２受付部１４Ｋの詳細は後述する。
Returning to FIG. 4, the receiving
表示制御部１４Ｈは、各種画像をＵＩ部１９へ表示する制御を行う。本実施の形態では、表示制御部１４Ｈは、合成部１４Ｇで合成された重畳画像５４を、ＵＩ部１９（表示部２０）へ表示する制御を行う。
The
図６は、形状算出部１４Ｅによる、仮想立体物の三次元形状算出の説明図である。なお、図６は、貼り付け対象の仮想立体物４０の形状が、曲面を有する（具体的には、例えば、円柱状）である場合を説明する。なお、仮想立体物４０が円柱状などの曲面を有する場合を、仮想立体物４０Ａとして説明する。また、仮想立体物４０Ａに貼り付ける仮想オブジェクト４２を、仮想オブジェクト４２Ａ、仮想オブジェクト４２Ａに対応するオブジェクト画像３０をオブジェクト画像３０Ａとして説明する。
FIG. 6 is an explanatory diagram of the calculation of the three-dimensional shape of the virtual three-dimensional object by the
なお、仮想立体物（仮想立体物４０Ａ、後述する仮想立体物４０Ｂなど）を総称して説明する場合、単に仮想立体物４０と称して説明する。同様に、オブジェクト画像、仮想オブジェクトの各々を総称して説明する場合についても、オブジェクト画像３０、仮想オブジェクト４２と称して説明する。
In addition, when generically describing a virtual three-dimensional object (a virtual three-
例えば、表示制御部１４Ｈは、貼り付け対象の仮想オブジェクト４２Ａのオブジェクト画像３０ＡをＵＩ部１９に表示する。貼り付け対象の仮想オブジェクト４２Ａは、例えば、ユーザによるＵＩ部１９の操作指示によって選択すればよい。具体的には、記憶部１６に、予め、仮想オブジェクト４２として用いる１または複数の画像データを記憶する。そして、表示制御部１４Ｈは、これらの画像データの画像を選択可能にＵＩ部１９へ表示する。ユーザは、ＵＩ部１９に表示された画像の一覧から１つを選択することで、貼り付け対象の仮想オブジェクト４２Ａを選択する。
For example, the
射影部１４Ｆは、選択された仮想オブジェクト４２Ａを二次元空間に射影することによって、オブジェクト画像３０Ａを生成する。表示制御部１４Ｈは、選択された仮想オブジェクト４２Ａのオブジェクト画像３０ＡをＵＩ部１９に表示する。オブジェクト画像３０（３０Ａ）は、射影部１４Ｆによって仮想オブジェクト４２（４２Ａ）を射影することで得られたものである。
The
図６（Ａ）は、選択された仮想オブジェクト４２Ａのオブジェクト画像３０ＡがＵＩ部１９に表示された状態の一例を示す図である。図６に示す例では、オブジェクト画像３０Ａが矩形状である場合を一例として説明する。
FIG. 6A is a diagram illustrating an example of a state in which the
ユーザは、ＵＩ部１９に表示されたオブジェクト画像３０Ａを用いて、該オブジェクト画像３０に対応する仮想オブジェクト４２Ａの曲げ形状を操作入力する。図６に示す例では、ユーザは、ＵＩ部１９の表示面上を操作することで、ＵＩ部１９に表示されたオブジェクト画像３０Ａの４頂点の内の２頂点の位置を調整する。例えば、図６（Ｂ）に示すように、オブジェクト画像３０Ａの４頂点（３０１、３０２、３０３、３０４）の内、頂点３０１を３０１０の位置に移動させ、頂点３０２を頂点３０２０の位置に移動させることがユーザによって操作指示されたとする。例えば、ユーザは、オブジェクト画像３０Ａの４頂点をピンチイン／ピンチアウト操作などにより調整することで、各頂点の位置を移動させる。
The user uses the
すると、取得部１４Ｂは、移動後の２つの頂点３０１０および頂点３０２０の、表示面における二次元デバイス座標を含む、曲げ形状情報を取得する。
Then, the acquisition unit 14B acquires bending shape information including the two-dimensional device coordinates on the display surface of the two
形状算出部１４Ｅは、曲げ形状情報に応じた三次元曲線に沿った曲面を有する、仮想立体物の三次元形状を算出する。詳細には、形状算出部１４Ｅは、三次元曲線の曲率の初期値を予め設定する（以下、初期曲率と称する）。そして、形状算出部１４Ｅは、曲げ形状情報、すなわち、ピンチ操作の操作量に応じて、初期曲率を変化させることで、操作量に応じた三次元曲率を算出する。ピンチ操作の操作量は、例えば、移動前の２頂点に対する移動後の２頂点の操作量に相当する。
The
例えば、図６（Ｂ）に示すように、ユーザによるピンチ操作後の２次元曲率が、二次曲線Ｑ１によって示される曲率であったとする。この場合、形状算出部１４Ｅは、ピンチ操作の操作量に応じて、初期曲率を変化させることで、曲げ形状情報に応じた三次元曲線Ｑ２（図６（Ｃ）参照）に沿った曲面を有する、仮想立体物４０Ａの三次元形状を算出する。すなわち、仮想立体物４０Ａの表面の曲率は、ユーザによる操作量に応じた曲率を示す。
For example, as shown in FIG. 6B, it is assumed that the two-dimensional curvature after the pinch operation by the user is the curvature indicated by the quadratic curve Q1. In this case, the
このように、ユーザによるＵＩ部１９の操作指示によって、ＵＩ部１９（表示部２０）の二次元デバイス座標によって表される曲げ形状情報が操作入力される。すなわち、ユーザは、任意の曲げ形状を、ＵＩ部１９の二次元デバイス座標を用いて操作入力することができる。そして、形状算出部１４Ｅは、操作入力された曲げ形状情報を用いて、仮想立体物４０の三次元形状を算出する。図６に示す例では、形状算出部１４Ｅは、図６（Ｃ）に示す、三次元曲線Ｑ２に沿った曲面を有する、仮想立体物４０Ａの三次元形状を算出する。
As described above, the bending shape information represented by the two-dimensional device coordinates of the UI unit 19 (display unit 20) is operated and input according to the operation instruction of the
図７は、仮想立体物の形状算出の詳細な説明図である。ユーザによって曲げ形状が操作入力されていない状態では、仮想オブジェクト４２Ａは、仮想三次元空間におけるＸＹ平面に沿って平面状に配置される（図７(Ａ)参照）。形状算出部１４Ｅは、仮想オブジェクト４２Ａを、複数の短冊状の領域に分割して処理する。すなわち、形状算出部１４Ｅは、仮想オブジェクト４２Ａを構成する各短冊状の領域の各々を用いて、操作入力された曲げ形状を表現する（図７（Ｂ）、図７（Ｃ）参照）。
FIG. 7 is a detailed explanatory diagram of the calculation of the shape of the virtual three-dimensional object. In a state where the bending shape is not operated and input by the user, the
ユーザによるＵＩ部１９の操作指示により、ＵＩ部１９の表示面上で仮想オブジェクト４２Ａに対応するオブジェクト画像３０Ａの頂点の位置が調整されることで、曲げ形状の曲率が設定される。例えば、形状算出部１４Ｅは、ユーザの指によるピンチ操作などによって設定された曲率の二次元曲線から、三次元曲線を算出する。そして、形状算出部１４Ｅは、算出した三次元曲線に沿った曲面を有する、例えば、円柱状の仮想立体物４０Ａ２を算出する（図７（Ｂ）参照）。
The curvature of the bent shape is set by adjusting the position of the vertex of the
また、ユーザの指によるピンチ操作などによって曲率が変更されると、形状算出部１４Ｅは変更後の曲率の二次元曲線から算出した三次元曲線に沿った曲面を有する、円柱状の仮想立体物４０Ａ３を算出する（図７（Ｃ）参照）。
When the curvature is changed by a pinch operation with a user's finger or the like, the
このため、ユーザは、ＵＩ部１９の表示面上のピンチイン／ピンチアウトなどの簡易な操作によって、仮想オブジェクト４２の貼り付け対象の仮想立体物４０の、三次元形状を容易に操作入力することができる。例えば、ユーザは、ＵＩ部１９の表示面上のピンチイン操作で曲率を大きくし、ピンチアウト操作で曲率を小さくするように、操作入力することができる。
For this reason, the user can easily input the three-dimensional shape of the virtual three-
そして、形状算出部１４Ｅは、ユーザによるＵＩ部１９の操作指示によって操作入力された、ＵＩ部１９の表示面の二次元座標で表される曲げ形状情報に応じて、仮想立体物４０の三次元形状を容易に算出することができる。
Then, the
また、曲げ形状情報は、仮想オブジェクト４２の曲げ方向を更に含んでいてもよい。
The bending shape information may further include the bending direction of the
図８は、曲げ方向の説明図である。例えば、ユーザは、ＵＩ部１９の表示面上で、仮想オブジェクト４２に対応する表示されたオブジェクト画像３０の頂点の位置を調整することで、曲げ方向を操作入力する。
FIG. 8 is an explanatory diagram of the bending direction. For example, the user operates and inputs the bending direction by adjusting the position of the vertex of the displayed
すなわち、ユーザによるＵＩ部１９の操作指示により、ＵＩ部１９の表示面上で仮想オブジェクト４２Ａに対応するオブジェクト画像３０Ａの頂点の位置が調整されることで、曲げ形状の曲率、および曲げ方向が設定される。例えば、ユーザは、オブジェクト画像３０の４頂点の何れかの位置を調整することで、曲げ方向を操作入力する。
That is, the curvature of the bending shape and the bending direction are set by adjusting the position of the vertex of the
曲げ方向には、例えば、４通りの方向がある。例えば、図８（Ａ）に示すように、平面状の仮想オブジェクト４２をＸ軸方向が長辺となるように仮想三次元空間に配置し、三次元座標のＺ軸方向に凸状に湾曲させる、曲げ方向がある。また、図８（Ｂ）に示すように、平面状の仮想オブジェクト４２をＹ軸方向が長辺となるように仮想三次元空間に配置し、三次元座標のＺ軸方向に凸状に湾曲させる、曲げ方向がある。また、図８（Ｃ）に示すように、平面状の仮想オブジェクト４２をＸ軸方向が長辺となるように仮想三次元空間に配置し、三次元座標の−Ｚ軸方向に凸状に湾曲させる、曲げ方向がある。また、図８（Ｄ）に示すように、平面状の仮想オブジェクト４２をＹ軸方向が長辺となるように仮想三次元空間に配置し、三次元座標の−Ｚ軸方向に凸状に湾曲させる、曲げ方向がある。
For example, there are four bending directions. For example, as shown in FIG. 8A, a planar
曲げ形状情報が曲げ方向を含む場合、形状算出部１４Ｅは、該曲げ形状情報に含まれる曲げ方向に曲がった曲面を有する仮想立体物４０の三次元形状を算出すればよい。
When the bending shape information includes the bending direction, the
そして、射影部１４Ｆは、形状算出部１４Ｅで算出された仮想立体物４０の表面に仮想オブジェクト４２を貼り付ける。このため、図６（Ｃ）に示すように、仮想オブジェクト４２（例えば、仮想オブジェクト４２Ａ）は、形状算出部１４Ｅで算出された三次元形状の仮想立体物４０（例えば、仮想立体物４０Ａ）の表面に貼り付けられた状態となる。
Then, the
そして、射影部１４Ｆは、この仮想立体物４０の表面に貼り付けられた仮想オブジェクト４２を、二次元空間に射影したオブジェクト画像３０を生成する。図９は、オブジェクト画像３０の説明図である。図９では、仮想オブジェクト４２Ａを仮想立体物４０Ａに貼り付けた状態を示すオブジェクト画像３０Ａを、一例として示した。
Then, the projecting
図９（Ａ）に示すように、オブジェクト画像３０Ａは、仮想三次元空間において仮想オブジェクト４２Ａを仮想立体物４０Ａの表面に貼り付けた状態を示す、二次元画像である。すなわち、オブジェクト画像３０Ａは、オブジェクト画像３０Ａを仮想三次元空間に配置した仮想オブジェクト４２Ａを、仮想の仮想立体物４０Ａの表面に貼り付けたかのような形状で示した、二次元画像である。
As shown in FIG. 9A, the
このため、ＵＩ部１９（表示部２０）には、実際には、仮想立体物４０（仮想立体物４０Ａ）は表示されず、オブジェクト画像３０Ａが、表示されない仮想立体物４０の表面に貼り付けられているかのような形状で表示されることとなる。
Therefore, the virtual three-dimensional object 40 (virtual three-
そして、合成部１４Ｇは、撮影画像５３上にオブジェクト画像３０Ａを合成した重畳画像５４を生成する。表示制御部１４Ｈは、重畳画像５４を、ＵＩ部１９へ表示することとなる。
Then, the combining
ここで、更に、本実施の形態の表示処理部１４では、ユーザによるＵＩ部１９の操作指示により、オブジェクト画像３０を仮想オブジェクト４２上で移動させた状態を表示することが可能である。
Here, the
図４に戻り、具体的には、第１受付部１４Ｊは、オブジェクト画像３０の仮想立体物４０上での移動量および移動方向を、二次元座標で示す第１移動指示を受付ける。この二次元座標は、ＵＩ部１９（表示部２０）の表示面上の二次元座標である。
Returning to FIG. 4, specifically, the
例えば、ユーザは、ＵＩ部１９に表示されたオブジェクト画像３０をスライド操作する。ＵＩ部１９は、オブジェクト画像３０のスライド操作を受け付ける。すると、ＵＩ部１９は、スライド操作によって示されるＵＩ部１９の表示面上におけるオブジェクト画像３０の移動量および移動方向を、オブジェクト画像３０の仮想立体物４０上での移動量および移動方向として受け付け、第１移動指示として受付部１４Ｉへ出力する。
For example, the user performs a slide operation on the
受付部１４Ｉの第１受付部１４Ｊは、ＵＩ部１９から、第１移動指示を受付ける。
The first receiving unit 14J of the receiving unit 14I receives a first movement instruction from the
移動部１４Ｌは、ＵＩ部１９に表示されているオブジェクト画像３０に対応する仮想オブジェクト４２を、受付けた第１移動指示に応じた移動量分、該第１移動指示に応じた移動方向へ、仮想立体物４０上で移動させる。
The moving
詳細には、移動部１４Ｌは、第１移動指示に含まれる、二次元座標によって示される移動量および移動方向から、上述した逆変換関数を用いて、仮想三次元空間における三次元座標によって示される移動量および移動方向を算出する。そして、移動部１４Ｌは、ＵＩ部１９に表示されているオブジェクト画像３０に対応する仮想オブジェクト４２を、該仮想オブジェクト４２の貼り付けられた仮想立体物４０上で、算出した三次元座標によって示される移動量および移動方向に移動させる。
Specifically, the moving
図９を用いて具体的に説明する。例えば、オブジェクト画像３０Ｂの下方向への移動がユーザによるＵＩ部１９の操作指示によって操作入力されたとする。この場合、第１受付部１４Ｊは、ＵＩ部１９から、該下方向への移動を示す第１移動指示を受付ける。
This will be specifically described with reference to FIG. For example, it is assumed that a downward movement of the
すると、移動部１４Ｌは、ＵＩ部１９に表示されているオブジェクト画像３０Ａに対応する仮想オブジェクト４２Ａを、受付けた第１移動指示に応じた移動量分、該第１移動指示に応じた移動方向へ、仮想立体物４０Ａ上で移動させる。このため、例えば、表示部２０には、ユーザによる操作指示に応じた移動方向（下方向）および移動量、仮想立体物４０Ａ上を下方向に移動させたオブジェクト画像３０Ａが表示されることとなる（図９（Ｂ）参照）。
Then, the moving
ここで、第１受付部１４Ｊが、仮想立体物４０の曲率方向に沿った移動方向を含む第１移動指示を受付けたとする。ここで、仮想立体物４０が円柱状であると仮定する。この場合、移動部１４Ｌは、円柱状の仮想立体物４０の円中心（円状の断面の中心）を回転中心として、仮想オブジェクト４２Ａを、操作指示された移動方向に応じた回転方向に回転させる（図９（Ｃ）参照）。
Here, it is assumed that the first reception unit 14J receives a first movement instruction including a movement direction along the curvature direction of the virtual three-
図１０は、仮想オブジェクト４２Ａの移動の説明図である。例えば、移動部１４Ｌは、図９（Ａ）に示す位置に位置する仮想オブジェクト４２Ａを、仮想立体物４０Ａの円中心を回転中心として、算出した移動方向（回転方向）に回転させる（図１０（Ｂ）参照）。
FIG. 10 is an explanatory diagram of the movement of the
そして、射影部１４Ｆは、第１受付部１４Ｊが第１移動指示を受付けた場合、仮想立体物４０上の、該第１移動指示に応じて移動部１４Ｌによって移動された位置に貼り付けられた仮想オブジェクト４２Ａ（図１０（Ｂ）参照）を、二次元空間に射影したオブジェクト画像３０Ａを生成すればよい（図９（Ｃ）参照）。
Then, when the first reception unit 14J receives the first movement instruction, the
そして、表示制御部１４Ｈは、撮影画像５３にオブジェクト画像３０Ａを重畳した重畳画像５４を表示部２０（ＵＩ部１９）へ表示すればよい。
Then, the
このように、オブジェクト画像３０に対応する仮想オブジェクト４２を、円柱状の仮想立体物４０の中心を円中心として回転させることで、オブジェクト画像３０に対応する仮想オブジェクト４２が、仮想三次元空間上の仮想立体物４０の表面に沿って移動したかのような表示を行うことができる。このため、表示処理部１４は、ユーザに対して、様々な角度に配置した仮想オブジェクト４２の状態を、二次元のオブジェクト画像３０で確認可能に提供することができる。
In this way, by rotating the
このとき、表示制御部１４Ｈは、仮想オブジェクト４２を射影したオブジェクト画像３０における、該仮想オブジェクト４２の貼り付けられた仮想立体物４０の表示面側とは反対側の背面側の領域を非表示としたオブジェクト画像３０を、撮影画像５３に重畳した重畳画像５４を表示部２０へ表示することが好ましい。
At this time, the
すなわち、図１０（Ｂ）に示すように、仮想オブジェクト４２Ａの一部の領域が、視点位置ＺＡ側（すなわち、表示面側）から見たときに、仮想立体物４０Ａの背面側に位置する場合がある。図１０（Ｂ）に示す例では、仮想オブジェクト４２Ａにおける、領域ＰＡは仮想立体物４０Ａの前面側に位置しているが、領域ＰＢは仮想立体物４０Ａの背面側に位置している。
That is, as shown in FIG. 10B, when a partial region of the
この場合、表示制御部１４Ｈは、仮想オブジェクト４２Ａにおける、仮想立体物４０Ａの背面側の領域ＰＢを非表示とすることが好ましい。
In this case, the
このため、図９（Ｃ）に示すように、表示制御部１４Ｈは、仮想オブジェクト４２Ａにおける、仮想立体物４０Ａの前面側の領域ＰＡのみを二次元空間に射影したオブジェクト画像３０Ａを、表示部２０に表示することとなる。
For this reason, as shown in FIG. 9C, the
このため、本実施の形態の画像処理装置１０では、オブジェクト画像３０Ａの位置に応じて、オブジェクト画像３０Ａの一部が、あたかも仮想立体物４０Ａの背面側に隠れているかのような表示することが可能となる。また、画像処理装置１０では、遠近感を考慮した、オブジェクト画像３０Ａの表示が可能となる。
Therefore, in the
なお、仮想オブジェクト４２の貼り付け対象の仮想立体物４０の形状は、円柱状などの曲面を有する形状に限定されない。例えば、仮想立体物４０の形状は、隣接する２平面を含む形状であってもよい。具体的には、仮想立体物４０の形状は、四角柱などの、複数の平面を有する形状であってもよい。
Note that the shape of the virtual
図１１は、仮想立体物４０が四角柱である場合の、三次元形状算出の説明図である。なお、仮想立体物４０が四角柱である場合を、仮想立体物４０Ｂとして説明する。また、仮想立体物４０Ｂに貼り付ける仮想オブジェクト４２を、仮想オブジェクト４２Ｂとして説明する。
FIG. 11 is an explanatory diagram for calculating a three-dimensional shape when the virtual three-
例えば、表示制御部１４Ｈは、貼り付け対象の仮想オブジェクト４２Ｂのオブジェクト画像３０ＢをＵＩ部１９に表示する。貼り付け対象の仮想オブジェクト４２Ｂは、例えば、ユーザによるＵＩ部１９の操作指示によって選択すればよい。射影部１４Ｆは、選択された仮想オブジェクト４２Ｂを二次元空間に射影することによって、オブジェクト画像３０Ｂを生成する。
For example, the
表示制御部１４Ｈは、選択された仮想オブジェクト４２Ｂのオブジェクト画像３０ＢをＵＩ部１９に表示する。オブジェクト画像３０Ｂは、射影部１４Ｆによって仮想オブジェクト４２Ｂを射影することで得られたものである。
The
図１１（Ａ）は、選択された仮想オブジェクト４２Ｂのオブジェクト画像３０ＢがＵＩ部１９に表示された状態の一例を示す図である。図１１に示す例では、仮想オブジェクト４２Ｂが矩形状である場合を一例として説明する。
FIG. 11A is a diagram illustrating an example of a state in which the
ユーザは、ＵＩ部１９に表示されたオブジェクト画像３０Ｂを用いて、該オブジェクト画像３０Ｂに対応する仮想オブジェクト４２Ｂの曲げ形状を操作入力する。図１１に示す例では、ユーザは、ＵＩ部１９の表示面上を操作することで、ＵＩ部１９に表示されたオブジェクト画像３０Ｂの曲げ位置を調整する。
The user uses the
例えば、表示制御部１４Ｈは、仮想直線Ｌ１を表示する。ユーザは、画像処理装置１０に表示されたオブジェクト画像３０Ｂにおける、曲げ対象の領域を仮想直線Ｌ１に一致させるように、オブジェクト画像３０Ｂの表示位置をドラッグ操作などにより移動させる。なお、表示制御部１４Ｈは、撮影画像５３を解析し、直線状の領域を公知の画像処理によって抽出してもよい。そして、表示制御部１４Ｈは、撮影画像５３をＵＩ部１９に表示し、抽出した直線状の領域を、仮想直線Ｌ１として用いてもよい。
For example, the
取得部１４Ｄは、ＵＩ部１９に表示されたオブジェクト画像３０Ｂにおける、仮想直線Ｌ１に相当する位置を曲げ位置として示す、曲げ形状情報を取得する。
The acquisition unit 14D acquires bending shape information indicating a position corresponding to the virtual straight line L1 in the
この場合、形状算出部１４Ｅは、オブジェクト画像３０Ｂに対応する仮想オブジェクト４２Ｂを、曲げ形状情報に含まれる曲げ位置で折り曲げた隣接する２平面を含む、仮想立体物４０Ｂの三次元形状を算出する。
In this case, the
具体的には、図１１（Ｂ）に示すように、形状算出部１４Ｅは、オブジェクト画像３０Ｂに対応する仮想オブジェクト４２Ｂを、曲げ形状情報に含まれる曲げ位置で折り曲げた２平面を含む、立方体状の仮想立体物４０Ｂを算出する。
Specifically, as illustrated in FIG. 11B, the
このように、ユーザによるＵＩ部１９の操作指示によって、ＵＩ部１９（表示部２０）の二次元デバイス座標を用いて、曲げ位置を含む曲げ形状情報が入力される。このため、ユーザは、任意の曲げ位置を、ＵＩ部１９の二次元デバイス座標を用いて入力することができる。
As described above, according to an operation instruction of the
射影部１４Ｆは、形状算出部１４Ｅによって算出された形状（例えば、立方体状）の仮想物体４０Ｂの表面における、２平面の境界に操作指示された曲げ位置が一致するように、仮想オブジェクト４２Ｂを貼り付ける（図１１（Ｃ）参照）。そして、形状算出部１４Ｅは、この仮想立体物４０Ｂの表面に貼り付けた仮想オブジェクト４２Ｂを、二次元空間に射影したオブジェクト画像３０Ｂを生成する。そして、表示制御部１４Ｈは、撮影画像５３にオブジェクト画像３０Ｂを重畳した重畳画像５４を、ＵＩ部１９（表示部２０）へ表示する。
The projecting
図１２は、仮想立体物４０の形状算出の説明図である。ユーザによって曲げ位置が操作入力されていない状態では、仮想オブジェクト４２Ｂは、仮想三次元空間におけるＸＹ平面に沿って平面状に配置される。形状算出部１４Ｅは、仮想オブジェクト４２Ｂを、曲げ形状情報によって示される曲げ位置で、ｙ軸に沿って９０°折り曲げる。ユーザによるＵＩ部１９の操作指示によって入力された折り曲げ位置を変えることで、仮想オブジェクト４２Ｂが、仮想立体物４０Ｂの隣接する２平面の境界で折り曲げられながら、仮想立体物４０Ｂの表面を貼り付いた状態で該仮想立体物４０Ｂ上を移動しているかのような表示を行うことが可能となる（図１２（Ａ）、図１２（Ｂ）、および図１２（Ｃ）参照）。
FIG. 12 is an explanatory diagram for calculating the shape of the virtual three-
図１１に戻り、曲げ形状情報は、曲げ角度を含んでもよい。ユーザは、ＵＩ部１９の操作指示によって、曲げ位置を指定すると共に、曲げ角度を操作入力する。例えば、ユーザは、ＵＩ部１９の操作指示によって曲げ位置を指定した後に、ＵＩ部１９の操作指示によって、オブジェクト画像３０Ｂの４頂点の内の２頂点の、折り曲げ後の位置を操作入力する。すると、取得部１４Ｄは、曲げ角度を更に含む曲げ形状情報を取得する。
Returning to FIG. 11, the bending shape information may include a bending angle. The user designates a bending position and inputs a bending angle by an operation instruction from the
この場合、形状算出部１４Ｅは、隣接する２平面の成す角度が、曲げ形状情報に含まれる曲げ角度を示す、仮想立体物４０Ｂの三次元形状を算出すればよい。
In this case, the
この場合、図１１（Ｂ）に示すように、形状算出部１４Ｅは、隣接する２平面の成す角度が、曲げ形状情報に含まれる曲げ角度θを示す、仮想立体物４０Ｂの三次元形状を算出する。
In this case, as shown in FIG. 11B, the
また、形状算出部１４Ｅは、仮想オブジェクト４２Ｂにおける、取得した曲げ形状情報に含まれる曲げ位置から曲げ方向の一方の辺までの長さを、２平面の一方の平面の長さとし、曲げ位置から他方の辺までの長さを２平面の他方の平面の長さとする、仮想立体物４０Ｂの三次元形状を算出することが好ましい。
Further, the
仮想オブジェクト４２Ｂにおける、曲げ位置から曲げ方向の一方の辺、とは、仮想オブジェクト４２Ｂを、操作入力された曲げ位置で折り曲げたときに、該仮想オブジェクト４２Ｂの該折り曲げ位置に沿った直線に略平行な２辺の内の一方の辺である。そして、上記他方の辺とは、この２辺の内の他方の辺である。
One side of the
このため、ユーザは、ＵＩ部１９の表示面上で仮想オブジェクト４２Ｂに対応するオブジェクト画像３０Ｂの形状を調整することで、仮想オブジェクト４２Ａの貼り付け対象の仮想立体物４０Ｂの三次元形状（幅、奥行き、２平面の成す角度）を容易に操作入力することができる。
For this reason, the user adjusts the shape of the
また、上記と同様に、曲げ形状情報は、仮想オブジェクト４２Ｂの曲げ方向を更に含んでいてもよい。
Similarly to the above, the bending shape information may further include the bending direction of the
そして、射影部１４Ｆは、形状算出部１４Ｅで算出された三次元形状の仮想立体物４０Ｂの表面に、仮想オブジェクト４２Ｂを貼り付ける。このため、図１１（Ｃ）に示すように、仮想オブジェクト４２Ｂは、形状算出部１４Ｅで算出された三次元形状の仮想立体物４０Ｂの表面の２平面に、曲げ位置Ｌ１で折り曲げられて貼り付けられた状態となる。
Then, the projecting
そして、射影部１４Ｆは、この仮想立体物４０Ｂの表面に貼り付けられた仮想オブジェクト４２Ｂを、二次元空間に射影したオブジェクト画像３０Ｂを生成する。図１３は、オブジェクト画像３０Ｂの説明図である。
Then, the projecting
図１３（Ａ）に示すように、オブジェクト画像３０Ｂは、仮想三次元空間において仮想オブジェクト４２Ｂを仮想立体物４０Ｂの表面に貼り付けた状態を示す、二次元画像である。合成部１４Ｇは、撮影画像５３上にオブジェクト画像３０を合成した重畳画像５４を生成する。表示制御部１４Ｈは、重畳画像５４を、ＵＩ部１９へ表示することとなる。
As shown in FIG. 13A, the
なお、仮想立体物４０は、あくまでの仮想オブジェクト４２の貼り付け対象であって、仮想オブジェクト４２の形状を決定するために用いるものであり、仮想立体物４０はＵＩ部１９へ表示されない。
Note that the virtual
また、第１受付部１４Ｊは、オブジェクト画像３０Ｂの仮想立体物４０Ｂ上での移動量および移動方向を、二次元座標で示す第１移動指示を受付ける。受付部１４Ｉの第１受付部１４Ｊは、ＵＩ部１９から、第１移動指示を受付ける。
In addition, the first reception unit 14J receives a first movement instruction indicating the movement amount and movement direction of the
移動部１４Ｌは、ＵＩ部１９に表示されているオブジェクト画像３０Ｂに対応する仮想オブジェクト４２Ｂを、受付けた第１移動指示に応じた移動量分、該第１移動指示に応じた移動方向へ、仮想立体物４０Ｂ上で移動させる。
The moving
そして、射影部１４Ｆは、第１受付部１４Ｊが第１移動指示を受付けた場合、仮想立体物４０Ｂ上の、移動部１４Ｌによって移動された位置に貼り付けられた仮想オブジェクト４２Ｂ（図１３（Ａ）、図１３（Ｂ）参照）を、二次元空間に射影したオブジェクト画像３０を生成すればよい。
Then, when the first receiving unit 14J receives the first movement instruction, the
そして、表示制御部１４Ｈは、撮影画像５３にオブジェクト画像３０を重畳した重畳画像５４を表示部２０（ＵＩ部１９）へ表示する。
Then, the
このため、オブジェクト画像３０Ｂが、仮想立体物４０Ｂ上を第１指示に応じた移動量分、かつ移動方向へ移動した状態が、ＵＩ部１９に表示されることとなる。
For this reason, the state in which the
なお、仮想立体物４０が立方体状の仮想立体物４０Ｂである場合についても同様に、曲げ形状情報は、仮想オブジェクト４２Ｂの曲げ方向を更に含んでいてもよい。この場合、形状算出部１４Ｅは、曲げ形状情報に含まれる曲げ方向に、該曲げ形状情報に含まれる曲げ位置で曲げた２平面を有する仮想立体物４０Ｂの三次元形状を算出すればよい。
Similarly, when the virtual three-
なお、仮想立体物４０が立方体状である場合についても同様に、表示制御部１４Ｈは、仮想オブジェクト４２を射影したオブジェクト画像３０における、該仮想オブジェクト４２の貼り付けられた仮想立体物４０の表示面とは反対側の背面側の領域を非表示とすることが好ましい。
Similarly, when the virtual three-
図４に戻り説明を続ける。 Returning to FIG.
第２受付部１４Ｋは、オブジェクト画像３０の、ＵＩ部１９の表示面上での移動量および移動方向を、二次元座標で示す第２移動指示を受付ける。第２移動指示は、オブジェクト画像３０を、仮想立体物４０上ではなく、ＵＩ部１９の表示面内で移動させることを示す。言い換えると、第２移動指示は、オブジェクト画像３０に対応する仮想オブジェクト４２を、仮想立体物４０に貼り付けた状態のままで、表示面内を移動させることを示す。
The second reception unit 14K receives a second movement instruction that indicates the movement amount and movement direction of the
関数補正部１４Ｍは、第２移動指示に応じた移動量および方向に、仮想オブジェクト４２が二次元座標上で移動するように、仮想オブジェクト４２を二次元空間に射影するための変換関数を補正する。
The function correction unit 14M corrects a conversion function for projecting the
例えば、関数補正部１４Ｍは、二次元座標での平行移動量を、変換関数の逆関数により三次元座標での平行移動量に変換する。そして、関数補正部１４Ｍは、変換した三次元座標での平行移動量分、仮想オブジェクト４２を移動させるように変換関数を補正する。
For example, the function correction unit 14M converts the parallel movement amount in the two-dimensional coordinates into the parallel movement amount in the three-dimensional coordinates by using an inverse function of the conversion function. Then, the function correction unit 14M corrects the conversion function so that the
この場合、射影部１４Ｆは、関数補正部１４Ｍで補正された変換関数に基づいて、オブジェクト画像３０を生成する。
In this case, the
図１４は、オブジェクト画像３０の移動の説明図である。例えば、ユーザによるＵＩ部１９の操作指示によって、オブジェクト画像３０の図１４（Ａ）中右方向への移動が操作指示されたとする。この場合、関数補正部１４Ｍが補正した変換関数を用いて、射影部１４Ｆがオブジェクト画像３０を生成する。すると、図１４（Ｂ）に示すように、オブジェクト画像３０が操作指示によって指示された方向に移動した重畳画像５４が、ＵＩ部１９に表示されることとなる。
FIG. 14 is an explanatory diagram of the movement of the
光源設定部１４Ｏは、光源の光源効果を示す光源情報を設定する。本実施の形態では、光源設定部１４Ｏは、受付部１４Ｉで受け付けた光源情報を設定する。ユーザは、ＵＩ部１９を操作することで、オブジェクト画像３０に付与する光源効果を示す光源情報を入力する。受付部１４Ｉは、ＵＩ部１９から光源情報を受付け、光源設定部１４Ｏは、受付けた光源情報を設定する。
The light source setting unit 14O sets light source information indicating the light source effect of the light source. In the present embodiment, the light source setting unit 14O sets the light source information received by the receiving unit 14I. The user operates the
受付部１４Ｉが光源情報を受け付け、光源設定部１４Ｏが光源情報を設定した場合、表示制御部１４Ｈは、オブジェクト画像３０に、光源情報によって示される光源効果を付与することが好ましい。光源効果の付与には、Ｏｐｅｎ ＧＬを用いればよい。
When the reception unit 14I receives light source information and the light source setting unit 14O sets light source information, the
姿勢補正部１４Ｎは、仮想オブジェクト４２の姿勢を補正する。図１５は、姿勢補正の説明図である。姿勢補正部１４Ｎは、姿勢検出部１４Ａが検出した姿勢情報に応じて、仮想オブジェクト４２の姿勢を補正する。
The
具体的には、実空間における画像処理装置１０の撮影部１２の、初期設定時における初期姿勢からの変化量（姿勢変換量）をＡ＝（α，β，γ）とした場合、姿勢補正部１４Ｎは、仮想オブジェクト４２の姿勢を、姿勢変換量Ａに逆符号を乗じた姿勢補正量Ｂ＝（−α，−β，−γ）分、基準姿勢から回転補正する。
Specifically, when the amount of change (posture conversion amount) from the initial posture at the time of initial setting of the photographing
具体的には、姿勢検出部１４Ａが、姿勢情報として、互いに直交するｘ軸、ｙ軸およびｚ軸のそれぞれを中心とした、初期姿勢からの回転角の変化量（ロール角の変化量α、ピッチ角の変化量βおよびヨー角の変化量γ）を検出する。そして、姿勢補正部１４Ｎは、三次元座標において、仮想オブジェクト４２のロール角、ピッチ角およびヨー角のそれぞれを、予め設定されている基準姿勢から、姿勢情報とは逆符号の回転角分（−α，−β，−γ）、回転させる。これにより、姿勢補正部１４Ｎは、仮想オブジェクト４２の姿勢を画像処理装置１０の撮影部１２の姿勢の変化とは逆に動かすように補正する。
Specifically, the
図１６は、姿勢変化に応じた、オブジェクト画像３０の形状変化の説明図である。姿勢補正部１４Ｎが仮想オブジェクトの姿勢を補正した結果、画像処理装置１０は、撮影方向が変化した場合であっても、静止している物体を異なる方向から撮影したように、オブジェクト画像３０の形状を変化させることができる。
FIG. 16 is an explanatory diagram of a change in the shape of the
例えば、図１６に示すように、画像処理装置１０は、撮影方向を例えばＡ１，Ａ２，Ａ３のように変化させた場合には、オブジェクト画像３０が壁３１に貼り付いているかのように、オブジェクト画像３０の形状を変化させることができる。
For example, as illustrated in FIG. 16, when the
次に、表示処理部１４で実行する表示処理を説明する。
Next, display processing executed by the
図１７は、本実施の形態の表示処理部１４で実行する表示処理の手順を示すフローチャートである。
FIG. 17 is a flowchart showing a procedure of display processing executed by the
まず、受付部１４Ｉが、貼り付け対象の仮想オブジェクト４２の選択をＵＩ部１９から受け付ける（ステップＳ１００）。次に、撮影部１２が撮影を開始する（ステップＳ１０２）。ステップＳ１０２の処理によって、撮影画像の取得が開始される。
First, the reception unit 14I receives selection of the
次に、受付部１４Ｉが、ＵＩ部１９から曲げ形状の操作入力を取得したか否かを判断する（ステップＳ１０４）。ステップＳ１０４で否定判断すると（ステップＳ１０４：Ｎｏ）、本ルーチンを終了する。一方、ステップＳ１０４で肯定判断すると（ステップＳ１０４：Ｙｅｓ）ステップＳ１０６へ進む。 Next, the reception unit 14I determines whether or not a bending shape operation input has been acquired from the UI unit 19 (step S104). If a negative determination is made in step S104 (step S104: No), this routine ends. On the other hand, if an affirmative determination is made in step S104 (step S104: Yes), the process proceeds to step S106.
ステップＳ１０６では、取得部１４Ｄが、曲げ形状情報を取得する（ステップＳ１０６）。次に、形状算出部１４Ｅが、ステップＳ１０６で取得した曲げ形状情報に応じて、仮想立体物４０の三次元形状を算出する（ステップＳ１０８）。
In step S106, the acquisition unit 14D acquires bending shape information (step S106). Next, the
次に、射影部１４Ｆが、ステップＳ１０８で算出された三次元形状の仮想立体物４０の表面に、ステップＳ１００で受け付けた仮想オブジェクト４２を貼り付ける。そして、貼り付けた仮想オブジェクト４２を二次元空間に射影したオブジェクト画像３０を生成する（ステップＳ１１０）。
Next, the
次に、合成部１４Ｇが、撮影画像５３とステップＳ１１０で生成されたオブジェクト画像３０と、を合成した重畳画像５４を生成する（ステップＳ１１２）。表示制御部１４Ｈは、ステップＳ１１２で生成された重畳画像５４をＵＩ部１９（表示部２０）へ表示する（ステップＳ１１４）。
Next, the combining
次に、表示処理部１４は、表示処理を終了するか否かを判断する（ステップＳ１１６）。ステップＳ１１６の判断は、例えば、ＵＩ部１９から終了を示す操作指示がユーザによって操作入力されたか否かを判別することで行う。ステップＳ１１６で否定判断すると（ステップＳ１１６：Ｎｏ）、ステップＳ１０４へ戻る。一方、ステップＳ１１６で肯定判断すると（ステップＳ１１６：Ｙｅｓ）、本ルーチンを終了する。
Next, the
表示処理部１４では、図１７の表示処理時に、図１８および図１９に示す割り込み処理（第１の割り込み処理、第２の割り込み処理）を実行する。
The
図１８は、第１の割り込み処理の手順を示すフローチャートである。 FIG. 18 is a flowchart showing the procedure of the first interrupt process.
まず、第１受付部１４Ｊが、第１移動指示をＵＩ部１９から受け付けたか否かを判断する（ステップＳ２００）。ステップＳ２００で否定判断すると（ステップＳ２００：Ｎｏ）、本ルーチンを終了する。一方、ステップＳ２００で肯定判断すると（ステップＳ２００：Ｙｅｓ）、ステップＳ２０２へ進む。 First, the first receiving unit 14J determines whether or not a first movement instruction has been received from the UI unit 19 (step S200). If a negative determination is made in step S200 (step S200: No), this routine ends. On the other hand, if an affirmative determination is made in step S200 (step S200: Yes), the process proceeds to step S202.
ステップＳ２０２では、移動部１４Ｌが、ステップＳ２００で受け付けた第１移動指示に応じた移動量分、該第１移動指示に応じた移動方向へ、仮想オブジェクト４２を仮想立体物４０上で移動させる（ステップＳ２０２）。
In step S202, the moving
射影部１４Ｆは、仮想立体物４０上の、ステップＳ２０２による処理によって移動された位置に貼り付けられた仮想オブジェクト４２を二次元空間に射影した、オブジェクト画像３０を生成する（ステップＳ２０４）。
The projecting
合成部１４Ｇは、撮影画像５３上に、ステップＳ２０４で生成されたオブジェクト画像３０を合成した重畳画像５４を生成する（ステップＳ２０６）。次に、表示制御部１４Ｈは、重畳画像５４をＵＩ部１９（表示部２０）へ表示する（ステップＳ２０８）。そして、本ルーチンを終了する。
The combining
図１９は、第２の割り込み処理の手順を示すフローチャートである。 FIG. 19 is a flowchart showing the procedure of the second interrupt process.
まず、第２受付部１４Ｋが、第２移動指示をＵＩ部１９から受け付けたか否かを判断する（ステップＳ３００）。ステップＳ３００で否定判断すると（ステップＳ３００：Ｎｏ）、本ルーチンを終了する。ステップＳ３００で肯定判断すると（ステップＳ３００：Ｙｅｓ）、ステップＳ３０２へ進む。 First, the second receiving unit 14K determines whether a second movement instruction has been received from the UI unit 19 (step S300). If a negative determination is made in step S300 (step S300: No), this routine ends. If an affirmative determination is made in step S300 (step S300: Yes), the process proceeds to step S302.
ステップＳ３０２では、姿勢補正部１４Ｎが、ステップＳ３００で受け付けた第２移動指示に応じた移動量および方向に、仮想オブジェクト４２が二次元座標上で移動するように、仮想オブジェクト４２を二次元空間に射影するための変換関数を補正する（ステップＳ３０２）。また、姿勢補正部１４Ｎはが、姿勢検出部１４Ａで検出された姿勢に応じて、仮想オブジェクト４２の姿勢を補正する。
In step S302, the
次に、射影部１４Ｆは、ステップＳ３０２で補正された変換関数を用いて、姿勢を補正された仮想オブジェクト４２を射影し、オブジェクト画像３０を生成する（ステップＳ３０４）。次に、合成部１４Ｇが、撮影画像５３上に、ステップＳ３０４で生成されたオブジェクト画像３０を合成した重畳画像５４を生成する（ステップＳ３０６）。次に、表示制御部１４Ｈが、重畳画像５４をＵＩ部１９（表示部２０）へ表示する（ステップＳ３０８）。そして、本ルーチンを終了する。
Next, the projecting
なお、表示処理部１４では、姿勢検出部１４Ａが新たな姿勢情報を検出する度に、姿勢補正部１４Ｎが、仮想オブジェクト４２の姿勢を補正する割り込み処理を更に実行する。そして、表示制御部１４Ｈは、姿勢補正部１４Ｎによって姿勢が補正されると、補正後の姿勢の仮想オブジェクト４２を二次元空間に射影したオブジェクト画像３０を表示部２０へ表示すればよい。
In the
以上説明したように、本実施の形態の画像処理装置１０は、撮影部１２と、取得部１４Ｄと、形状算出部１４Ｅと、射影部１４Ｆと、表示制御部１４Ｈと、を備える。撮影部１２は、撮影画像５３を得る。取得部１４Ｄは、仮想三次元空間に配置する仮想オブジェクト４２の曲げ形状を、表示部２０の表示面を表す二次元デバイス座標で表した、曲げ形状情報を取得する。形状算出部１４Ｅは、曲げ形状情報に応じて、仮想オブジェクト４２の貼り付け対象を示す仮想立体物４０の三次元形状を算出する。射影部１４Ｆは、仮想立体物４０の表面に貼り付けた仮想オブジェクト４２を、二次元空間に射影したオブジェクト画像３０を生成する。表示制御部１４Ｈは、撮影画像５３にオブジェクト画像３０を重畳した重畳画像５４を、表示部２０へ表示する。
As described above, the
このように、本実施の形態の画像処理装置１０では、ユーザによるＵＩ部１９の操作指示によって操作入力された、ＵＩ部１９（表示部２０）の表示面を表す二次元デバイス座標で表される曲げ形状情報を取得する。そして、画像処理装置１０の形状算出部１４Ｅは、曲げ形状情報に応じて、仮想オブジェクト４２の貼り付け対象である仮想立体物４０の三次元形状を算出する。そして、画像処理装置１０では、算出した三次元形状の仮想立体物４０に貼り付けられた状態の仮想オブジェクト４２に対応するオブジェクト画像３０を、表示部２０に表示する。
As described above, in the
従って、本実施の形態の画像処理装置１０では、仮想オブジェクト４２を任意の形状の仮想立体物４０に貼り付けた状態を示す画像を容易に提供することができる。
Therefore, the
また、形状算出部１４Ｅは、曲げ形状情報に応じた三次元曲線に沿った曲面を有する、仮想立体物４０の三次元形状を算出する。
In addition, the
また、曲げ形状情報は、仮想オブジェクト４２の曲げ方向を含む。そして、形状算出部１４Ｅは、この曲げ方向に曲がった曲面を有する、仮想立体物４０の三次元形状を算出する。
Further, the bending shape information includes the bending direction of the
また、曲げ形状情報は、仮想オブジェクト４２の曲げ位置を含む。形状算出部１４Ｅは、曲げ位置で折り曲げた隣接する２平面を含む、仮想立体物４０の三次元形状を算出する。そして、射影部１４Ｆは、仮想立体物４０の表面における、２平面の境界に曲げ位置が一致するように貼り付けた仮想オブジェクト４２を二次元空間に射影したオブジェクト画像３０を生成する。
The bending shape information includes the bending position of the
また、曲げ形状情報は、曲げ角度を含む。そして、形状算出部１４Ｅは、隣接する２平面の成す角度が、曲げ形状情報に含まれる曲げ角度を示す仮想立体物４０の三次元形状を算出する。
The bending shape information includes a bending angle. Then, the
形状算出部１４Ｅは、仮想オブジェクト４２の、曲げ位置から曲げ方向の一方の辺までの長さを２平面の一方の平面の長さとし、曲げ位置から他方の辺までの長さを２平面の他方の平面の長さとする、仮想立体物４０の三次元形状を算出する。
The
また、曲げ形状情報は、仮想オブジェクト４２の曲げ方向を含む。形状算出部１４Ｅは、曲げ方向に曲がった２平面を含む、仮想立体物４０の三次元形状を算出する。
Further, the bending shape information includes the bending direction of the
表示制御部１４Ｈは、仮想オブジェクト４２を射影したオブジェクト画像３０における、該仮想オブジェクト４２の貼り付けられた仮想立体物４０の表示面側とは反対側の背面側の領域を非表示としたオブジェクト画像３０を、撮影画像５３に重畳した重畳画像５４を表示部２０へ表示する。
The
また、画像処理装置１０は、第１受付部１４Ｊと、移動部１４Ｌと、を更に備える。第１受付部１４Ｊは、オブジェクト画像３０の仮想立体物４０上での移動量および移動方向を、二次元座標で示す第１移動指示を受付ける。移動部１４Ｌは、仮想オブジェクト４２を、第１移動指示に応じた移動量分、第１移動指示に応じた移動方向へ、仮想立体物４０上で移動させる。射影部１４Ｆは、第１受付部１４Ｊが第１移動指示を受付けた場合、仮想立体物４０上の移動された位置に貼り付けられた仮想オブジェクト４２を二次元空間に射影したオブジェクト画像３０を生成する。
The
また、画像処理装置１０は、第２受付部１４Ｋと、関数補正部１４Ｍと、を備える。第２受付部１４Ｋは、オブジェクト画像３０の表示面上での移動量および移動方向を二次元座標で示す第２移動指示を受付ける。関数補正部１４Ｍは、第２移動指示に応じた移動量および方向に、仮想オブジェクト４２が二次元座標上で移動するように、仮想オブジェクト４２を二次元空間に射影するための変換関数を補正する。第２受付部１４Ｋが第２移動指示を受付けた場合、射影部１４Ｆは、関数補正部１４Ｍによって補正された変換関数に基づき、オブジェクト画像３０を生成する。
Further, the
次に、上述した画像処理装置１０のハードウェア構成について説明する。
Next, the hardware configuration of the
図２０は、画像処理装置１０のハードウェア構成図である。画像処理装置１０は、ハードウェア構成として、装置全体を制御するＣＰＵ２９０１と、各種データや各種プログラムを記憶するＲＯＭ２９０２と、各種データや各種プログラムを記憶するＲＡＭ２９０３と、ＵＩ装置２９０４と、撮影装置２９０５と、検出器２９０６と、を主に備えており、通常のコンピュータを利用したハードウェア構成となっている。なお、ＵＩ装置２９０４は、図１のＵＩ部１９に相当し、撮影装置２９０５は、撮影部１２に相当し、検出器２９０６は、検知部２５に相当する。
FIG. 20 is a hardware configuration diagram of the
上記実施の形態の画像処理装置１０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。
The program executed by the
また、上記実施の形態の画像処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施の形態の画像処理装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
The program executed by the
また、上記実施の形態の画像処理装置１０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
In addition, the program executed by the
上記実施の形態の画像処理装置１０で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記録媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。
The program executed by the
なお、本発明は上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせてもよい。また、種々の変形が可能である。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the components without departing from the scope of the invention in the implementation stage. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined. Various modifications are possible.
１０ 画像処理装置
１４Ｄ 取得部
１４Ｅ 形状算出部
１４Ｆ 射影部
１４Ｈ 表示制御部
１４Ｊ 第１受付部
１４Ｋ 第２受付部
１４Ｌ 移動部
１４Ｍ 関数補正部
１９ ＵＩ部
２０ 表示部
２５ 検知部
３０、３０Ａ、３０Ｂ オブジェクト画像
４０、４０Ａ、４０Ｂ 仮想立体物
４２、４２Ａ、４２Ｂ 仮想オブジェクト
５３ 撮影画像
５４ 重畳画像
DESCRIPTION OF
Claims (12)
仮想三次元空間に配置する仮想オブジェクトの曲げ形状を、表示部の表示面を表す二次元デバイス座標で表した、曲げ形状情報を取得する取得部と、
前記曲げ形状情報に応じて、前記仮想オブジェクトの貼り付け対象を示す仮想立体物の三次元形状を算出する形状算出部と、
前記仮想立体物の表面に貼り付けた前記仮想オブジェクトを、二次元空間に射影したオブジェクト画像を生成する射影部と、
前記撮影画像に前記オブジェクト画像を重畳した重畳画像を前記表示部へ表示する表示制御部と、
を備えた画像処理装置。 A shooting unit for obtaining a shot image;
An acquisition unit for acquiring bending shape information, which represents a bending shape of a virtual object arranged in a virtual three-dimensional space by two-dimensional device coordinates representing a display surface of the display unit;
In accordance with the bending shape information, a shape calculation unit that calculates a three-dimensional shape of a virtual three-dimensional object indicating the virtual object paste target;
A projection unit that generates an object image obtained by projecting the virtual object pasted on the surface of the virtual three-dimensional object into a two-dimensional space;
A display control unit that displays on the display unit a superimposed image in which the object image is superimposed on the captured image;
An image processing apparatus.
前記形状算出部は、前記曲げ方向に曲がった前記曲面を有する、前記仮想立体物の三次元形状を算出する、請求項２に記載の画像処理装置。 The bending shape information includes a bending direction of the virtual object,
The image processing apparatus according to claim 2, wherein the shape calculation unit calculates a three-dimensional shape of the virtual three-dimensional object having the curved surface bent in the bending direction.
前記形状算出部は、前記曲げ位置で折り曲げた隣接する２平面を含む、前記仮想立体物の三次元形状を算出し、
前記射影部は、前記仮想立体物の表面における、前記２平面の境界に前記曲げ位置が一致するように貼り付けた前記仮想オブジェクトを二次元空間に射影した前記オブジェクト画像を生成する、
請求項１に記載の画像処理装置。 The bending shape information includes a bending position of the virtual object,
The shape calculation unit calculates a three-dimensional shape of the virtual three-dimensional object including two adjacent planes bent at the bending position,
The projection unit generates the object image obtained by projecting the virtual object pasted so that the bending position coincides with a boundary between the two planes on the surface of the virtual three-dimensional object into a two-dimensional space.
The image processing apparatus according to claim 1.
前記形状算出部は、隣接する前記２平面の成す角度が前記曲げ角度を示す、前記仮想立体物の三次元形状を算出する、
請求項４に記載の画像処理装置。 The bending shape information includes a bending angle,
The shape calculation unit calculates a three-dimensional shape of the virtual three-dimensional object, wherein an angle formed by the two adjacent planes indicates the bending angle;
The image processing apparatus according to claim 4.
請求項４または請求項５に記載の画像処理装置。 The shape calculation unit uses the length from the bending position to one side in the bending direction of the virtual object as the length of one plane of the two planes, and the length from the bending position to the other side as the length. Calculating the three-dimensional shape of the virtual three-dimensional object as the length of the other of the two planes;
The image processing apparatus according to claim 4 or 5.
前記形状算出部は、前記曲げ方向に曲がった前記２平面を含む、前記仮想立体物の三次元形状を算出する、請求項４〜請求項６の何れか１項に記載の画像処理装置。 The bending shape information includes a bending direction of the virtual object,
The image processing apparatus according to claim 4, wherein the shape calculation unit calculates a three-dimensional shape of the virtual three-dimensional object including the two planes bent in the bending direction.
前記仮想オブジェクトを射影した前記オブジェクト画像における、該仮想オブジェクトの貼り付けられた前記仮想立体物の表示面側とは反対側の背面側の領域を非表示とした前記オブジェクト画像を、前記撮影画像に重畳した前記重畳画像を前記表示部へ表示する、
請求項１〜請求項７の何れか１項に記載の画像処理装置。 The display control unit
In the object image obtained by projecting the virtual object, the object image in which a region on the back side opposite to the display surface side of the virtual three-dimensional object to which the virtual object is pasted is not displayed on the captured image. Displaying the superimposed image on the display unit;
The image processing apparatus according to claim 1.
前記仮想オブジェクトを、前記第１移動指示に応じた移動量分、前記第１移動指示に応じた移動方向へ、前記仮想立体物上で移動させる移動部と、
を更に備え、
前記射影部は、前記第１移動指示を受付けた場合、前記仮想立体物上の移動された位置に貼り付けられた前記仮想オブジェクトを二次元空間に射影した前記オブジェクト画像を生成する、
請求項１〜請求項８の何れか１項に記載の画像処理装置。 A first reception unit that receives a first movement instruction indicating the movement amount and movement direction of the object image on the virtual three-dimensional object by the two-dimensional coordinates;
A moving unit that moves the virtual object on the virtual three-dimensional object in a movement direction according to the first movement instruction by a movement amount according to the first movement instruction;
Further comprising
When the projection unit receives the first movement instruction, the projection unit generates the object image obtained by projecting the virtual object pasted at the moved position on the virtual three-dimensional object into a two-dimensional space.
The image processing apparatus according to claim 1.
前記第２移動指示に応じた移動量および方向に、前記仮想オブジェクトが前記二次元座標上で移動するように、前記仮想オブジェクトを二次元空間に射影するための変換関数を補正する関数補正部と、
をさらに備え、
前記射影部は、前記第２移動指示を受付けた場合、補正された前記変換関数に基づき、前記オブジェクト画像を生成する、
請求項１〜請求項９の何れか１項に記載の画像処理装置。 A second reception unit that receives a second movement instruction indicating the movement amount and movement direction of the object image on the display surface by the two-dimensional coordinates;
A function correction unit that corrects a conversion function for projecting the virtual object into a two-dimensional space so that the virtual object moves on the two-dimensional coordinates in a movement amount and a direction according to the second movement instruction; ,
Further comprising
When the projection unit receives the second movement instruction, the projection unit generates the object image based on the corrected conversion function.
The image processing apparatus according to claim 1.
仮想三次元空間に配置する仮想オブジェクトの曲げ形状を、表示部の表示面を表す二次元デバイス座標で表した、曲げ形状情報を取得するステップと、
前記曲げ形状情報に応じて、前記仮想オブジェクトの貼り付け対象を示す仮想立体物の三次元形状を算出するステップと、
前記仮想立体物の表面に貼り付けた前記仮想オブジェクトを、二次元空間に射影したオブジェクト画像を生成するステップと、
前記撮影画像に前記オブジェクト画像を重畳した重畳画像を前記表示部へ表示するステップと、
を含む、画像処理方法。 Obtaining a captured image;
A step of acquiring bending shape information representing a bending shape of a virtual object arranged in the virtual three-dimensional space by two-dimensional device coordinates representing a display surface of the display unit;
Calculating a three-dimensional shape of a virtual three-dimensional object indicating a pasting target of the virtual object according to the bending shape information;
Generating an object image obtained by projecting the virtual object pasted on the surface of the virtual three-dimensional object into a two-dimensional space;
Displaying a superimposed image in which the object image is superimposed on the captured image on the display unit;
Including an image processing method.
仮想三次元空間に配置する仮想オブジェクトの曲げ形状を、表示部の表示面を表す二次元デバイス座標で表した、曲げ形状情報を取得するステップと、
前記曲げ形状情報に応じて、前記仮想オブジェクトの貼り付け対象を示す仮想立体物の三次元形状を算出するステップと、
前記仮想立体物の表面に貼り付けた前記仮想オブジェクトを、二次元空間に射影したオブジェクト画像を生成するステップと、
前記撮影画像に前記オブジェクト画像を重畳した重畳画像を前記表示部へ表示するステップと、
をコンピュータに実行させるためのプログラム。 Obtaining a captured image;
A step of acquiring bending shape information representing a bending shape of a virtual object arranged in the virtual three-dimensional space by two-dimensional device coordinates representing a display surface of the display unit;
Calculating a three-dimensional shape of a virtual three-dimensional object indicating a pasting target of the virtual object according to the bending shape information;
Generating an object image obtained by projecting the virtual object pasted on the surface of the virtual three-dimensional object into a two-dimensional space;
Displaying a superimposed image in which the object image is superimposed on the captured image on the display unit;
A program that causes a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015012562A JP2016139201A (en) | 2015-01-26 | 2015-01-26 | Image processing device, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015012562A JP2016139201A (en) | 2015-01-26 | 2015-01-26 | Image processing device, image processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016139201A true JP2016139201A (en) | 2016-08-04 |
Family
ID=56560235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015012562A Pending JP2016139201A (en) | 2015-01-26 | 2015-01-26 | Image processing device, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016139201A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674430A (en) * | 2021-08-24 | 2021-11-19 | 上海电气集团股份有限公司 | Virtual model positioning and registering method and device, augmented reality equipment and storage medium |
-
2015
- 2015-01-26 JP JP2015012562A patent/JP2016139201A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674430A (en) * | 2021-08-24 | 2021-11-19 | 上海电气集团股份有限公司 | Virtual model positioning and registering method and device, augmented reality equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6476657B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4508049B2 (en) | 360 ° image capturing device | |
| US9516223B2 (en) | Motion-based image stitching | |
| JP2011239361A (en) | System and method for ar navigation and difference extraction for repeated photographing, and program thereof | |
| JP6849634B2 (en) | Terminal device and control method of terminal device | |
| US20160063713A1 (en) | Information terminal apparatus, information processing method, and system | |
| JP6812128B2 (en) | Information processing device and information processing method | |
| JP6088260B2 (en) | Processing apparatus, processing system, processing method, and program | |
| JP6488591B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2006318095A (en) | Image processing method and image processor | |
| KR101875047B1 (en) | System and method for 3d modelling using photogrammetry | |
| JP6875196B2 (en) | Mobile platforms, flying objects, support devices, mobile terminals, imaging assist methods, programs, and recording media | |
| JP6295296B2 (en) | Complex system and target marker | |
| JP4835243B2 (en) | Image composition apparatus and image composition program | |
| US9348542B2 (en) | Display processing apparatus, display processing method, and computer-readable recording medium | |
| JP2018010473A (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2010128931A (en) | Remote control system and remote control apparatus | |
| JP2009217115A (en) | Camera picture simulator program | |
| JP2016139199A (en) | Image processing device, image processing method, and program | |
| JP2004140845A (en) | Projector | |
| JP6405539B2 (en) | Label information processing apparatus for multi-viewpoint image and label information processing method | |
| JP2013008257A (en) | Image composition program | |
| JP2016139201A (en) | Image processing device, image processing method, and program | |
| JP2013092888A (en) | Data processor | |
| JP2008203991A (en) | Image processor |