JP2004234549A - 現実物体モデル作成方法 - Google Patents
現実物体モデル作成方法 Download PDFInfo
- Publication number
- JP2004234549A JP2004234549A JP2003024959A JP2003024959A JP2004234549A JP 2004234549 A JP2004234549 A JP 2004234549A JP 2003024959 A JP2003024959 A JP 2003024959A JP 2003024959 A JP2003024959 A JP 2003024959A JP 2004234549 A JP2004234549 A JP 2004234549A
- Authority
- JP
- Japan
- Prior art keywords
- mask model
- unit
- image
- mask
- real world
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Image Analysis (AREA)
Abstract
【課題】簡便な方法により現実物体の三次元モデルを作成すること。
【解決手段】撮像部１０１で撮影された、モデル化対象物体１０８を被写体として含む現実世界の映像と、位置姿勢計測部１０２で測定した撮像部１０１の位置姿勢と、距離計測部１０３で計測した、撮像部１０１からモデル化対象物体１０８までの距離を用いて、モデル化対象物体１０８の三次元モデルを作成する。
【選択図】 図１
【解決手段】撮像部１０１で撮影された、モデル化対象物体１０８を被写体として含む現実世界の映像と、位置姿勢計測部１０２で測定した撮像部１０１の位置姿勢と、距離計測部１０３で計測した、撮像部１０１からモデル化対象物体１０８までの距離を用いて、モデル化対象物体１０８の三次元モデルを作成する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、現実物体のモデルを作成する技術に関する。
【０００２】
【従来の技術】
現実世界と仮想世界とを違和感なく自然に結合する複合現実感（ＭＲ： Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の技術を応用した装置が盛んに提案されている。これら複合現実感技術を利用した装置（複合現実感提示装置）は、カメラなどの撮像装置によって撮影した現実世界の映像に対し、それと同時に計測した撮像装置の位置姿勢情報を手がかりにして、あたかも使用者（観察者）が自らの目で見ているがごとく、コンピュータグラフィックス（ＣＧ： Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）で描画した仮想世界の映像を結合し、使用者に提示する。現実世界映像と仮想世界映像を違和感なく合成するためには、現実世界と仮想世界との隠蔽関係を適切に表現することが重要である。
【０００３】
通常、図２に示すように、あらかじめ現実世界（現実物体）の三次元形状をモデル化したマスクモデルを用意しておき、仮想世界（仮想物体）を描画する際に、仮想世界とマスクモデルとの前後関係を比較し、現実世界が仮想世界を隠す部分については描画しないように処理することにより、違和感のない合成を実現している。
【０００４】
【発明が解決しようとする課題】
しかし、この方法によって、現実世界と仮想世界との隠蔽関係を正しく表現するためには、現実世界の三次元形状をモデル化したマスクモデルが必要である。そして、マスクモデルを作成する作業には、一般的に多大な労力を要することが多い。
【０００５】
特許文献１には、現実世界の三次元モデルを用いて、現実世界と仮想世界との隠蔽関係を表現する方法が開示されているが、現実世界の三次元モデルを作成する方法に関しては、全く触れられていない。
【０００６】
本発明は、このような従来技術の問題点に鑑みなされたもので、現実物体の三次元モデルを簡便に生成可能な現実物体モデル作成方法を提供することを目的とする。
【０００７】
【特許文献１】
特開平８−１５３２１３号公報
【０００８】
【課題を解決するための手段】
すなわち、本発明の要旨は、モデル化対象物体を被写体として含む、現実世界の映像を撮影する撮像ステップと、撮像ステップの位置姿勢を計測する位置姿勢計測ステップと、撮像ステップから、モデル化対象物体までの距離を計測する距離計測ステップと、撮像ステップの位置姿勢と、現実世界の映像とに基づいて、モデル化対象物体の三次元モデルを作成するモデル作成ステップと、を有することを特徴とする現実物体モデル作成方法に存する。
【０００９】
【発明の実施の形態】
以下、添付の図面を参照して本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態においては、本発明による現実物体モデル作成装置の一例として、特に現実世界と仮想世界との隠蔽関係の表現を実現する際に必要となる現実物体のマスクモデルを作成する装置についてのみ説明するが、本発明はマスクモデルの生成に限らず、任意の現実物体に対する三次元モデル生成に適用可能であることは言うまでもない。
【００１０】
＜第１の実施形態＞
図１は本発明の第１の実施形態に係るマスクモデル作成装置の概略構成例を示すブロック図である。
１０１は撮像部であり、撮影部１０１は本装置で作成するマスクモデルの対象である現実世界中のモデル化対象物体１０８を撮影し、撮影映像を映像信号としてマスクモデル作成部１０４に送る。１０２は位置姿勢計測部であり、撮像部１０１の三次元空間中での位置姿勢を計測し、その位置姿勢情報をマスクモデル作成部１０４に送出する。１０３は距離計測部であり、撮像部１０１からモデル化対象物体１０８までの距離を計測し、その距離情報をマスクモデル作成部１０４に送出する。
【００１１】
１０４はマスクモデル作成部であり、撮像部１０１から取得された現実世界の映像、位置姿勢計測部１０２から取得された撮像部１０１の位置姿勢情報、距離計測部１０３から取得された撮像部１０１からモデル化対象物体１０８までの距離情報、操作入力部１０７から取得された本装置の使用者からの指示情報をもとに対象物体１０８のマスクモデルを作成して、マスクモデル蓄積部１０５に保存する。また、作業結果を結果表示部１０６に送出する。
【００１２】
１０５はマスクモデル蓄積部であり、マスクモデル作成部１０４で作成されたマスクモデルを蓄積する。１０６は結果表示部であり、マスクモデル作成部１０４の作業結果を表示して、本装置の使用者に提示する。１０７は操作部であり、本装置の使用者がマスクモデル作成部１０４に対して指示を与えるために用いられる。１０８はモデル化対象物体であり、本装置によってマスクモデルを作成する対象物である。
【００１３】
撮像部１０１は、本装置で作成する現実世界モデルの対象であるモデル化対象物体１０８を撮影する。撮像部１０１は、ＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子を有するカメラなどの撮像装置によって実現される。撮像部１０１において撮影された映像は、映像信号としてマスクデータ作成部１０４に送出される。
【００１４】
位置姿勢計測部１０２は撮像部１０１の三次元空間（現実世界）内での位置姿勢を計測する。位置姿勢計測部１０２は磁気センサや光学式センサ、超音波センサ等を用いる周知の三次元位置計測装置によって実現される。また、位置姿勢計測部１０２は、単独の計測装置で構成されてもよいし、複数の計測装置を併用して計測を行う構成であってもよい。
【００１５】
また、三次元空間中での位置が既知であるランドマークを撮像部１０１によって撮影し、画像中のランドマークを画像処理によって抽出した後、ランドマークの三次元座標と画像中の二次元座標との対応関係から、撮像部１０１の位置姿勢を算出することも可能であり、この場合には位置姿勢計測部１０２は必要な画像処理および位置姿勢算出処理を行うための構成を備える。また、位置姿勢計測部１０２はセンサ等の各種計測装置によって計測された位置姿勢情報を手がかりにして、計測結果を補正するための位置姿勢補正機構を備えてもよい。また、位置姿勢を表現するパラメータのうち、時間的に変化しないパラメータについては本装置の起動前にあらかじめ計測しておき、その計測値を本装置の起動時に定数として入力することで、位置姿勢計測部１０２では時間的に変化するパラメータのみを計測するようにしてもよい。
【００１６】
距離計測部１０３は撮像部１０１からモデル化対象物体１０８を構成する各点までの距離を計測する。距離計測部１０３はレーザレンジファインダ、超音波センサや測量機などの距離計測装置によって実現されるほか、複数の撮像部１０１を設け、それをステレオカメラとして取り扱うことによって、撮影した画像からモデル化対象物体１０８の距離を計測することも可能である。また、撮像部１０１とモデル化対象物体１０８との位置関係が不変であるか、あるいはほとんど不変であるとみなすことができる場合には、本装置の起動前に距離をあらかじめ計測しておき、本装置に定数として入力するようにしてもよい。このようなモデル化対象物体１０８に対しては、距離計測処理は不要となる。
【００１７】
マスクモデル作成部１０４は、プロセッサ、記憶装置、入出力装置などのコンピュータハードウェアおよびこれらハードウェアを駆動するためのソフトウェア、ファームウェア等のプログラムコードによって実現される。
【００１８】
マスクモデル作成部１０４の機能について詳細に説明する。マスクモデル作成部１０４はその内部に備えた画像入力装置によって、撮像部１０１において撮像した現実世界映像を入力する機能を備える。
【００１９】
また、マスクモデル作成部１０４の内部に備えた入力装置によって、位置姿勢計測部１０２が取得した位置姿勢情報と距離計測部１０３が取得した距離情報と操作入力部１０７が取得した本装置の使用者の操作情報とを入力する機能を備える。
【００２０】
さらに、マスクモデル作成部１０４は、前記現実世界映像中に映っているモデル化対象物体１０８の像の領域を抽出し、画像上の二次元座標を取得する機能を備える。
【００２１】
さらに、マスクモデル作成部１０４は、前記撮像部１０１の位置姿勢情報、前記距離情報、前記モデル化対象物体１０８の画像上の二次元座標を用いて、モデル化対象物体１０８を構成する頂点の三次元座標を算出し、その三次元座標を頂点の構成情報と共にマスクモデルとしてマスクモデル蓄積部１０５に送出する機能を備える。
【００２２】
ここで、モデル化対象物体１０８の三次元座標の算出方法について説明する。前記モデル化対象物体１０８上のある一点Ｐの三次元座標についてワールド座標系で表現したものを（Ｘｍ，Ｙｍ，Ｚｍ）、撮像部１０１のカメラ座標系で表現したものを（Ｘｃ，Ｙｃ，Ｚｃ）、前記距離のうち、Ｐに対応するものをｄ、Ｐの画像上での二次元座標を（ｕ，ｖ）、撮像部１０１のカメラのフォーカス値をｆとすると、
Ｘｃ＝ｄｕ／ｆ
Ｙｃ＝ｄｖ／ｆ
Ｚｃ＝ｄ
と表される。
【００２３】
（Ｘｃ，Ｙｃ，Ｚｃ）は撮像部１０１のカメラ座標系における座標であるため、位置姿勢情報を用いて、カメラ座標系での座標からワールド座標系での座標（Ｘｍ，Ｙｍ，Ｚｍ）に変換する。位置姿勢情報を４行４列の三次元空間中での変換行列を用いて表現し、この変換行列をＭとする。求めるワールド座標系での座標は同次座標による表現を用いることで
【００２４】
【数１】
と表すことができ、モデル化対象物体１０８の三次元座標を算出することができる。
【００２５】
マスクモデル蓄積部１０５はハードディスク等の補助記憶装置および媒体によって実現され、マスクモデル作成部１０４において作成されたマスクモデルを蓄積する。マスクモデル蓄積部１０５は本装置の構成要素であるだけではなく、内部に保持するマスクモデルを図示しない複合現実感提示装置に供給する。複合現実感提示装置は、マスクモデル蓄積部１０５が蓄積しているマスクモデルを参照することによって、現実世界と仮想世界との隠蔽関係を正しく反映した出力映像を合成することが可能となる。
【００２６】
結果出力部１０６は、例えば据え置き型ディスプレイ、ＨＭＤなどの表示装置またはプリンタなどの記録装置によって実現され、マスクモデル生成部１０４が作成したマスクモデルおよび本装置の内部状態、処理結果などの情報を本装置の使用者に提供する。
【００２７】
操作入力部１０７は、タブレット、マウス、キーボード、押しボタンスイッチ、ジョイスティックなどの入力装置によって実現され、本装置の使用者が本装置に指令を送り、本装置を操作するために用いる。
【００２８】
本装置で作成したマスクモデルは図示しない複合現実感提示装置において用いられるが、本装置を構成する撮像部１０１、位置姿勢計測部１０２、マスクモデル蓄積部１０５、結果出力部１０６、操作入力部１０７を複合現実感提示装置と共通に用いるか、または複合現実感提示装置の一部分として本装置の機能を実現してもよい。
【００２９】
複合現実感提示装置と共通に用いる、または前記複合現実感提示装置の一部分として本装置を用いることによって、複合現実感提示装置において実際に使用される条件と同一の条件下でマスクモデルを作成することが可能であり、複合現実感提示装置において現実世界映像と仮想世界映像とを合成する際に、仮想世界映像中のマスクモデルに隠蔽される部分が、本来隠蔽されるべき箇所とはずれてしまうという可能性を低減することができる。
【００３０】
以上の様な構成を備えた本実施形態の処理について、以下説明する。図３は本実施形態に係るマスクモデル作成装置の処理手順を説明するフローチャートである。
【００３１】
マスクモデル作成装置が起動されると、ステップＳ５０において初期化処理を行う。
ステップＳ１００では、撮像部１０１において現実世界（モデル化対象物体１０８）を撮影し、撮影映像を映像信号としてマスクモデル作成部１０４に送る。
【００３２】
ステップＳ２００では、位置姿勢計測部１０２において撮像部１０１の三次元空間内での位置姿勢を計測し、その位置姿勢情報をマスクモデル作成部１０４に送出する。
ステップＳ３００では、距離計測部１０３において撮像部１０１からモデル化対象物体１０８までの距離を計測し、その距離情報をマスクモデル作成部１０４に送出する。
【００３３】
ステップＳ４００では、本装置の使用者が操作入力部１０７に対して行った操作を検知し、その制御信号をマスクモデル作成部１０４に送出する。
ステップＳ１００からステップＳ４００までの処理については、この順序に限定されるものではない。ステップＳ１００にて取得される現実世界映像、ステップＳ２００にて取得される撮像部の位置姿勢情報、ステップＳ３００にて取得される撮像部１０１からモデル化対象物体までの距離情報、ステップＳ４００にて取得される使用者の操作情報は、いずれもステップＳ５００以降で使用されるため、ステップＳ１００からステップＳ４００までの処理に関しては、各ステップをどのような順序で実行してもよい（また、２つ以上を並列に処理しても良い）。
【００３４】
ステップＳ５００では、マスクモデル作成部１０４において、先にステップＳ１００にて取得した現実世界映像から、例えば、現実世界映像の各画素について、あらかじめ指定された色情報との比較を行い、自動的に領域の内外を判定することにより、現実世界映像中で撮影されているモデル化対象物体１０８の像の領域を抽出する。
【００３５】
ステップＳ６００では、ステップＳ２００にて取得した撮像部１０１の位置姿勢情報、ステップＳ３００にて取得した撮像部１０１からモデル化対象物体１０８までの距離情報、ステップＳ５００にて取得したモデル化対象物体１０８の像の領域の二次元座標をもとに、モデル化対象物体１０８の三次元座標を算出し、各頂点の座標からポリゴンを構成することによってモデル化対象物体１０８のマスクモデルを作成する。
【００３６】
ステップＳ７００では、ステップＳ６００にて作成したマスクモデルを結果出力部１０６に出力する処理が行われる。このとき、結果出力部に出力される情報は作成したマスクモデルのみに限られない。例えば、ステップＳ６００での処理過程や、ステップＳ１００からステップＳ４００までの処理によって取得した各種パラメータを結果出力部１０６に出力してもよい。さらに、ステップＳ６００にて作成したマスクモデルをＣＧとして描画し、ステップＳ１００にて取得した現実世界の映像に重ね合わせて、合成映像を結果出力部１０６に送出してもよい。
【００３７】
ステップＳ８００では、ステップＳ６００にて作成したマスクモデルについて、これをマスクモデル蓄積部１０５に保存、蓄積する。
【００３８】
なお、ステップＳ８００の処理については、ステップＳ７００の処理とステップＳ９００の処理の間で行われることに限定されない。ステップＳ８００の処理は、ステップＳ９００の後、装置を終了する直前に行ってもよいし、ステップＳ６００とステップＳ７００の間で行ってもよい。
【００３９】
ステップＳ９００では、例えばステップＳ４００で取得した操作部１０７への指示が装置の動作終了指示であるかに基づいて、現実世界マスク作成装置はステップＳ１００に戻る、または終了する。
【００４０】
以上述べたように、第１の実施形態によれば、現実世界の物体をモデル化したマスクモデルを簡便に作成することが可能であり、複合現実感提示装置において、現実世界と仮想世界とを結合する際に、隠蔽関係を適切に表現するために用いることができるようになる。また、作成したマスクモデルは撮像装置の位置姿勢とは独立した座標値を有しているため、複数の複合現実感提示装置間でマスクモデルを共用することが可能である。
【００４１】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本実施形態に係るマスクモデル作成装置の構成は、第１の実施形態と共通であるため、構成の説明は省略する。ただし、本実施形態において、結果出力部１０６は表示装置であり、操作入力部１０７は結果出力部１０６の表示画面に設けられたタッチパネルによって実現されているものとする。
【００４２】
図４は第２の実施形態に係るマスクモデル作成装置の処理手順を説明するフローチャートである。
ステップＳ５０からステップＳ３００までの処理は、第１の実施形態における処理と同一である。
【００４３】
ステップＳ１００からステップＳ３００までの処理については、この順序に限定されるものではない。ステップＳ１００にて取得される現実世界映像、ステップＳ２００にて取得される撮像部の位置姿勢情報、ステップＳ３００にて取得される撮像部１０１からモデル化対象物体までの距離情報、いずれもステップＳ５００以降で使用されるため、ステップＳ１００からステップＳ３００までの処理に関しては、各ステップをどのような順序で実行してもよく、２つ以上のステップを並列に処理しても良い。
【００４４】
ステップＳ３２５では、マスク作成部１０４において、現実世界映像中に撮影されているモデル化対象物体１０８の像の領域を自動的に抽出する。例えば、現実世界映像の各画素について、あらかじめ指定された色情報との比較を行い、自動的に領域の内外を判定する。
【００４５】
ステップＳ３２５の処理を行うことにより、その後、本装置の使用者が行うべき作業を省力化することが可能であるが、必要としない場合にはステップＳ３２５の処理を行わないようにしてもよい。その際には、ステップＳ３００の処理の後にステップＳ３５０の処理を行う。
【００４６】
ステップＳ３５０では、ステップＳ３２５において抽出したモデル化対象物体１０８の像の映像又は、ステップＳ４５０において使用者が行った操作に基づいて抽出した映像を現実世界映像と合成し、合成映像を結果出力部１０６に出力する処理を行う。なお、ステップＳ３２５が省略される場合、ステップＳ３５０の最初の実行時には、例えば現実世界の映像を表示する。
【００４７】
ステップＳ３７５では、例えば操作入力部１０７から、モデル化対象物体１０８の像の領域抽出が完了している旨（結果出力部１０６に表示されている抽出領域に基づいてマスクモデルを生成する旨）の確認入力がなされたか否かを検出することにより、ステップＳ６００以降のマスクモデル生成処理又は、ステップＳ４００〜Ｓ４５０の、使用者による抽出領域の指定（調整）処理に分岐する。
【００４８】
ステップＳ４００では、使用者が操作入力部１０７に対して行った操作を検知し、その制御信号をマスクモデル作成部１０４に送出する。
【００４９】
上述のように、本実施形態において、操作入力部１０７は表示装置である結果出力部１０６の表示画面上に設けられたタッチパネルであるため、本装置の使用者は、結果出力部１０６に表示されている、ステップＳ３５０で表示した合成映像を確認しながら、所望の画像領域の輪郭を指やスタイラスペン等で入力することによって、マスクモデルの元となる画像領域を指定、修正することができる。
【００５０】
本実施形態においては、操作入力部１０７としてタッチパネルを用いたが、マウスやタブレットなど、他の入力デバイスを用いても良い。すなわち、本装置の使用者が結果出力部１０６に表示される合成映像を見ながら操作入力部１０７を操作し、合成映像中の座標を指定することができれば、どのような構成を用いても良い。
【００５１】
ステップＳ４５０では、ステップＳ４００において本装置の使用者が入力した合成映像上の二次元座標をもとに、現実世界映像に撮されたモデル化対象物体１０８の像の領域を修正する。ステップＳ４５０の処理が終了したら、ステップＳ３５０の処理に戻る。
【００５２】
例えば、本装置の使用者はステップＳ４００において、結果出力部１０６に表示される合成映像を見ながら、ステップＳ３２５における抽出で失敗した部分、あるいは抽出の精度の悪い部分の正しい輪郭を指やペンでなぞり、ステップＳ４５０では、ステップＳ３２５において抽出した領域と、ステップＳ４００で本装置の使用者が指定した領域とを足し合わせ、モデル化対象物体１０８の像の領域を修正することができる。修正結果はステップＳ３５０で表示される画像に反映される。
【００５３】
ステップＳ３５０からステップＳ４５０までの処理を繰り返すことにより、本装置の使用者は、現実世界映像中に撮影されているモデル化対象物体１０８の像の領域の抽出結果を自身の目で確認しながら、何度でも修正することが可能である。
【００５４】
そして、希望する領域が抽出され、使用者が抽出完了を指示すると、この領域に基づいてステップＳ６００以降の処理によってマスクモデルを形成する。ステップＳ６００以降の処理は第１の実施形態と同様であるので、処理内容の説明は省略する。
【００５５】
以上述べたように、第２の実施形態によれば、現実世界映像中に撮影されたモデル化対象物体１０８の像の領域について、本装置が自動で行う抽出処理と、本装置の使用者が行う領域指定操作を併用することによって、領域を抽出する作業を省力化しつつ、自動での抽出処理に失敗した場合にも、使用者が結果を修正することによって、より精度の高いマスクモデルを作成することが可能となる。
【００５６】
＜第３の実施形態＞
上述の第１及び第２の実施形態においては、三次元のマスクモデルを生成していた。しかし、マスクモデルを用いる複合現実感提示装置の撮像部の位置が実質的に固定と見なせる場合や、またはモデル化対象物体１０８が撮像部から遠距離に存在する場合のように、撮像部とモデル化対象物体１０８との位置関係が実質的に不変又は不変に近い場合、また、例えば建物などのようにモデル化対象物体１０８の三次元構造が比較的単純な立体で近似できるような場合には、マスクモデルが平面であっても現実世界と仮想世界の隠蔽関係をほぼ正しく表現することが可能である。
【００５７】
本実施形態においては、第１及び第２の実施形態で説明したマスクモデル生成装置を用い、二次元マスクモデルを生成することを特徴とする。本実施形態において、マスクモデルの生成手順は図３又は図４を用いて説明した手順を用いることができる。
【００５８】
第１及び第２の実施形態と異なるのは、距離計測部１０３が、モデル化対象物体１０８を構成する点のうち、ある一点の距離のみを計測し、この距離をモデル化対象物体１０８までの距離全体の代表としてマスクモデルを形成することである。
【００５９】
本実施形態においては、距離計測部１０３を、第１及び第２の実施形態と同様の、同時に複数点を計測する装置によって実現しても良いし、撮像部１０１にレンズのフォーカス値を取得する機構を設け、撮像部１０１がモデル化対象物体１０８に合焦したときのレンズのフォーカス値をもとに距離を算出するようにして実現してもよい。
【００６０】
本実施形態において、マスクモデル作成部１０４は、ステップＳ５００（図３）又はＳ３２５（図４）において、現実世界映像中に撮影されているモデル化対象物体１０８の像の領域のうち、輪郭のみを抽出し、画像上の二次元座標を取得する。次に、撮像部１０１の位置姿勢情報、距離情報、モデル化対象物体１０８の輪郭部分の画像上での二次元座標を用いて、モデル化対象物体１０８を構成する頂点の三次元座標を算出し、その三次元座標を頂点の構成情報と共にマスクモデルとしてマスクモデル蓄積部１０５に送出する。上述したように、本実施形態で生成されるマスクモデルは平面で表現される。
【００６１】
以上述べたように、第３の実施形態によれば、より簡便にマスクモデルを作成することが可能となる。
【００６２】
＜第４の実施形態＞
第１〜第３の実施形態においては、撮像部１０１を固定して撮像した現実世界映像を元に現実物体のマスクモデルを生成していた。これに対し、本実施形態においては、異なる位置、方向から撮像した現実世界映像を元に複数のマスクモデルを生成し、これらを統合することで、より正確なマスクモデルを生成することを特徴とする。
【００６３】
本実施形態に係るマスクモデル作成装置の構成は第１の実施形態と同様であり、また、個々のマスクモデルを生成する処理は、第１〜第３の実施形態で説明した処理のいずれかを用いることができる。
【００６４】
図５は、本実施形態におけるマスクモデル作成装置のマスクモデル生成処理手順を説明するフローチャートである。
ステップＳ５０の処理については、第１の実施形態における処理と同様である。
【００６５】
ステップＳ５５では、図３または図４でのステップＳ１００からステップＳ８００までの一連の処理を行い、ある位置におけるモデル化対象物体１０８のマスクモデルを作成する。ステップＳ５５の処理は、撮像部１０１の位置を変更しながら、複数回実行する。同一のモデル化対象物体１０８に対して、マスクモデルは視点を変更した回数だけ作成される。
【００６６】
ステップＳ６０では、ステップＳ５５において、同一のモデル化対象物体１０８に対して作成された複数のマスクモデルに関して、複数のマスクモデルを一つに統合する処理を行う。
【００６７】
複数のマスクモデルを一つに統合する処理は、例えば次のようにして行うことができる。モデル化対象物体１０８を構成するある特定の一点をＰとする。Ｐに対し、ある視点位置から作成したマスクモデルのＰに対する三次元座標をＣｊとする。作成したマスクモデルの座標Ｃｊを代表する座標Ｃ０を求める。このＣ０はＰの座標を最も正確に表現している点であることが望ましい。Ｃ０を求める方法としては、例えばＣｊの重心となる点を求め、Ｃ０とする方法などが考えられる。
【００６８】
次に、モデル化対象物体１０８を構成するすべての点に関して、このＣ０を求め、各視点位置について、その視点位置ｊから作成したマスクモデルの座標ＣｊをＣ０に写像させるような変換Ｔｊを求める。視点位置ｊから作成したマスクモデルについてすべての座標をＴｊによって変換し、この変換をすべての視点位置に対して行うことによって、統合したマスクモデルを作成することが可能である。
【００６９】
ステップＳ６５では、ステップＳ６０で統合したマスクモデルをマスクモデル蓄積部１０５に保存する。
ステップＳ９００では、例えば操作入力部１０７の入力に応じ、処理をステップＳ５５へ戻すか、処理を終了する。
【００７０】
以上述べたように、第４の実施形態によれば、単一の視点からマスクモデルを作成するのと比較して、より正確なマスクモデルを作成することが可能となる。
【００７１】
【他の実施形態】
上述の実施形態においては、１つの機器から構成されるマスクモデル作成装置についてのみ説明したが、同等の機能を複数の機器から構成されるシステムによって実現しても良い。
【００７２】
尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【００７３】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００７４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００７５】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００７６】
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
【００７７】
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【００７８】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００７９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００８０】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００８１】
本発明の実施態様を以下に列挙する。
【００８２】
［実施態様１］ モデル化対象物体を被写体として含む、現実世界の映像を撮影する撮像ステップと、
前記撮像ステップの位置姿勢を計測する位置姿勢計測ステップと、
前記撮像ステップから、前記モデル化対象物体までの距離を計測する距離計測ステップと、
前記撮像ステップの位置姿勢と、前記現実世界の映像とに基づいて、モデル化対象物体の三次元モデルを作成するモデル作成ステップと、
を有することを特徴とする現実物体モデル作成方法。
【００８３】
［実施態様２］ 前記モデル作成ステップが、前記現実世界の映像から、前記モデル化対象物体の像を抽出する抽出ステップを有し、
前記抽出した前記モデル化対象物体の像を用いて前記三次元モデルを作成することを特徴とする実施態様１記載のモデル作成方法。
【００８４】
［実施態様３］ 入力手段を介して指定された、前記撮影した現実世界の映像中の座標を取得する座標入力ステップを更に有し、
前記モデル作成ステップが、前記座標入力ステップで取得した座標に基づき、前記抽出ステップが抽出した前記モデル化対象物体の像の領域を修正することを特徴とする実施態様２記載のモデル作成方法。
【００８５】
［実施態様４］ 入力手段を介して指定された、前記撮影した現実世界の映像中の座標を取得する座標入力ステップを更に有し、
前記モデル作成ステップが、前記座標入力ステップで取得した座標に基づき、前記現実世界の映像中の領域を抽出し、
前記抽出した領域を前記モデル化対象物体の像として前記三次元モデルを作成することを特徴とする実施態様１記載のモデル作成方法。
【００８６】
［実施態様５］ 前記距離計測ステップが、前記モデル化対象物体を構成する複数の点について前記距離を計測することを特徴とする実施態様１乃至実施態様４のいずれか１項に記載のモデル作成方法。
【００８７】
［実施態様６］ 前記距離計測ステップが、前記モデル化対象物体を構成する所定の１点について前記距離を計測し、
前記モデル作成ステップが、前記撮像ステップから前記１点への距離を有する平面で構成される前記三次元モデルを作成することを特徴とする実施態様１乃至実施態様４のいずれか１項に記載のモデル作成方法。
【００８８】
［実施態様７］ 前記モデル作成ステップが、複数の異なる位置から撮影した前記現実世界の映像を用いて、前記複数の異なる位置毎に前記三次元モデルを作成するとともに、これら複数の三次元モデルを統合した統合三次元モデルを前記モデル化対象物体の三次元モデルとして作成することを特徴とする実施態様１乃至実施態様５のいずれか１項に記載のモデル作成方法。
【００８９】
【発明の効果】
以上説明したように、本発明によれば、複合現実感提示装置において、現実世界と仮想世界との隠蔽関係を適切に表現しつつ両世界を結合する際に必要となるマスクモデルを簡便に作成することが可能となる。また、本発明によるマスクモデルは複合現実感提示装置の撮像部の位置に依存しないため、複数の複合現実感提示装置間で共有可能であり、マスクモデル生成処理及び蓄積のための資源を節約することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係るマスクモデル作成装置の概略構成例を示すブロック図である。
【図２】マスクモデルを用いて、隠蔽関係を適切に表現しながら現実世界と仮想世界とを結合させる様子を説明する図である。
【図３】第１の実施形態に係るマスクモデル作成装置の処理手順を説明するフローチャートである。
【図４】第２の実施形態に係るマスクモデル作成装置の処理手順を説明するフローチャートである。
【図５】第４の実施形態に係るマスクモデル作成装置の処理手順を説明するフローチャートである。
【発明の属する技術分野】
本発明は、現実物体のモデルを作成する技術に関する。
【０００２】
【従来の技術】
現実世界と仮想世界とを違和感なく自然に結合する複合現実感（ＭＲ： Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の技術を応用した装置が盛んに提案されている。これら複合現実感技術を利用した装置（複合現実感提示装置）は、カメラなどの撮像装置によって撮影した現実世界の映像に対し、それと同時に計測した撮像装置の位置姿勢情報を手がかりにして、あたかも使用者（観察者）が自らの目で見ているがごとく、コンピュータグラフィックス（ＣＧ： Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）で描画した仮想世界の映像を結合し、使用者に提示する。現実世界映像と仮想世界映像を違和感なく合成するためには、現実世界と仮想世界との隠蔽関係を適切に表現することが重要である。
【０００３】
通常、図２に示すように、あらかじめ現実世界（現実物体）の三次元形状をモデル化したマスクモデルを用意しておき、仮想世界（仮想物体）を描画する際に、仮想世界とマスクモデルとの前後関係を比較し、現実世界が仮想世界を隠す部分については描画しないように処理することにより、違和感のない合成を実現している。
【０００４】
【発明が解決しようとする課題】
しかし、この方法によって、現実世界と仮想世界との隠蔽関係を正しく表現するためには、現実世界の三次元形状をモデル化したマスクモデルが必要である。そして、マスクモデルを作成する作業には、一般的に多大な労力を要することが多い。
【０００５】
特許文献１には、現実世界の三次元モデルを用いて、現実世界と仮想世界との隠蔽関係を表現する方法が開示されているが、現実世界の三次元モデルを作成する方法に関しては、全く触れられていない。
【０００６】
本発明は、このような従来技術の問題点に鑑みなされたもので、現実物体の三次元モデルを簡便に生成可能な現実物体モデル作成方法を提供することを目的とする。
【０００７】
【特許文献１】
特開平８−１５３２１３号公報
【０００８】
【課題を解決するための手段】
すなわち、本発明の要旨は、モデル化対象物体を被写体として含む、現実世界の映像を撮影する撮像ステップと、撮像ステップの位置姿勢を計測する位置姿勢計測ステップと、撮像ステップから、モデル化対象物体までの距離を計測する距離計測ステップと、撮像ステップの位置姿勢と、現実世界の映像とに基づいて、モデル化対象物体の三次元モデルを作成するモデル作成ステップと、を有することを特徴とする現実物体モデル作成方法に存する。
【０００９】
【発明の実施の形態】
以下、添付の図面を参照して本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態においては、本発明による現実物体モデル作成装置の一例として、特に現実世界と仮想世界との隠蔽関係の表現を実現する際に必要となる現実物体のマスクモデルを作成する装置についてのみ説明するが、本発明はマスクモデルの生成に限らず、任意の現実物体に対する三次元モデル生成に適用可能であることは言うまでもない。
【００１０】
＜第１の実施形態＞
図１は本発明の第１の実施形態に係るマスクモデル作成装置の概略構成例を示すブロック図である。
１０１は撮像部であり、撮影部１０１は本装置で作成するマスクモデルの対象である現実世界中のモデル化対象物体１０８を撮影し、撮影映像を映像信号としてマスクモデル作成部１０４に送る。１０２は位置姿勢計測部であり、撮像部１０１の三次元空間中での位置姿勢を計測し、その位置姿勢情報をマスクモデル作成部１０４に送出する。１０３は距離計測部であり、撮像部１０１からモデル化対象物体１０８までの距離を計測し、その距離情報をマスクモデル作成部１０４に送出する。
【００１１】
１０４はマスクモデル作成部であり、撮像部１０１から取得された現実世界の映像、位置姿勢計測部１０２から取得された撮像部１０１の位置姿勢情報、距離計測部１０３から取得された撮像部１０１からモデル化対象物体１０８までの距離情報、操作入力部１０７から取得された本装置の使用者からの指示情報をもとに対象物体１０８のマスクモデルを作成して、マスクモデル蓄積部１０５に保存する。また、作業結果を結果表示部１０６に送出する。
【００１２】
１０５はマスクモデル蓄積部であり、マスクモデル作成部１０４で作成されたマスクモデルを蓄積する。１０６は結果表示部であり、マスクモデル作成部１０４の作業結果を表示して、本装置の使用者に提示する。１０７は操作部であり、本装置の使用者がマスクモデル作成部１０４に対して指示を与えるために用いられる。１０８はモデル化対象物体であり、本装置によってマスクモデルを作成する対象物である。
【００１３】
撮像部１０１は、本装置で作成する現実世界モデルの対象であるモデル化対象物体１０８を撮影する。撮像部１０１は、ＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子を有するカメラなどの撮像装置によって実現される。撮像部１０１において撮影された映像は、映像信号としてマスクデータ作成部１０４に送出される。
【００１４】
位置姿勢計測部１０２は撮像部１０１の三次元空間（現実世界）内での位置姿勢を計測する。位置姿勢計測部１０２は磁気センサや光学式センサ、超音波センサ等を用いる周知の三次元位置計測装置によって実現される。また、位置姿勢計測部１０２は、単独の計測装置で構成されてもよいし、複数の計測装置を併用して計測を行う構成であってもよい。
【００１５】
また、三次元空間中での位置が既知であるランドマークを撮像部１０１によって撮影し、画像中のランドマークを画像処理によって抽出した後、ランドマークの三次元座標と画像中の二次元座標との対応関係から、撮像部１０１の位置姿勢を算出することも可能であり、この場合には位置姿勢計測部１０２は必要な画像処理および位置姿勢算出処理を行うための構成を備える。また、位置姿勢計測部１０２はセンサ等の各種計測装置によって計測された位置姿勢情報を手がかりにして、計測結果を補正するための位置姿勢補正機構を備えてもよい。また、位置姿勢を表現するパラメータのうち、時間的に変化しないパラメータについては本装置の起動前にあらかじめ計測しておき、その計測値を本装置の起動時に定数として入力することで、位置姿勢計測部１０２では時間的に変化するパラメータのみを計測するようにしてもよい。
【００１６】
距離計測部１０３は撮像部１０１からモデル化対象物体１０８を構成する各点までの距離を計測する。距離計測部１０３はレーザレンジファインダ、超音波センサや測量機などの距離計測装置によって実現されるほか、複数の撮像部１０１を設け、それをステレオカメラとして取り扱うことによって、撮影した画像からモデル化対象物体１０８の距離を計測することも可能である。また、撮像部１０１とモデル化対象物体１０８との位置関係が不変であるか、あるいはほとんど不変であるとみなすことができる場合には、本装置の起動前に距離をあらかじめ計測しておき、本装置に定数として入力するようにしてもよい。このようなモデル化対象物体１０８に対しては、距離計測処理は不要となる。
【００１７】
マスクモデル作成部１０４は、プロセッサ、記憶装置、入出力装置などのコンピュータハードウェアおよびこれらハードウェアを駆動するためのソフトウェア、ファームウェア等のプログラムコードによって実現される。
【００１８】
マスクモデル作成部１０４の機能について詳細に説明する。マスクモデル作成部１０４はその内部に備えた画像入力装置によって、撮像部１０１において撮像した現実世界映像を入力する機能を備える。
【００１９】
また、マスクモデル作成部１０４の内部に備えた入力装置によって、位置姿勢計測部１０２が取得した位置姿勢情報と距離計測部１０３が取得した距離情報と操作入力部１０７が取得した本装置の使用者の操作情報とを入力する機能を備える。
【００２０】
さらに、マスクモデル作成部１０４は、前記現実世界映像中に映っているモデル化対象物体１０８の像の領域を抽出し、画像上の二次元座標を取得する機能を備える。
【００２１】
さらに、マスクモデル作成部１０４は、前記撮像部１０１の位置姿勢情報、前記距離情報、前記モデル化対象物体１０８の画像上の二次元座標を用いて、モデル化対象物体１０８を構成する頂点の三次元座標を算出し、その三次元座標を頂点の構成情報と共にマスクモデルとしてマスクモデル蓄積部１０５に送出する機能を備える。
【００２２】
ここで、モデル化対象物体１０８の三次元座標の算出方法について説明する。前記モデル化対象物体１０８上のある一点Ｐの三次元座標についてワールド座標系で表現したものを（Ｘｍ，Ｙｍ，Ｚｍ）、撮像部１０１のカメラ座標系で表現したものを（Ｘｃ，Ｙｃ，Ｚｃ）、前記距離のうち、Ｐに対応するものをｄ、Ｐの画像上での二次元座標を（ｕ，ｖ）、撮像部１０１のカメラのフォーカス値をｆとすると、
Ｘｃ＝ｄｕ／ｆ
Ｙｃ＝ｄｖ／ｆ
Ｚｃ＝ｄ
と表される。
【００２３】
（Ｘｃ，Ｙｃ，Ｚｃ）は撮像部１０１のカメラ座標系における座標であるため、位置姿勢情報を用いて、カメラ座標系での座標からワールド座標系での座標（Ｘｍ，Ｙｍ，Ｚｍ）に変換する。位置姿勢情報を４行４列の三次元空間中での変換行列を用いて表現し、この変換行列をＭとする。求めるワールド座標系での座標は同次座標による表現を用いることで
【００２４】
【数１】
【００２５】
マスクモデル蓄積部１０５はハードディスク等の補助記憶装置および媒体によって実現され、マスクモデル作成部１０４において作成されたマスクモデルを蓄積する。マスクモデル蓄積部１０５は本装置の構成要素であるだけではなく、内部に保持するマスクモデルを図示しない複合現実感提示装置に供給する。複合現実感提示装置は、マスクモデル蓄積部１０５が蓄積しているマスクモデルを参照することによって、現実世界と仮想世界との隠蔽関係を正しく反映した出力映像を合成することが可能となる。
【００２６】
結果出力部１０６は、例えば据え置き型ディスプレイ、ＨＭＤなどの表示装置またはプリンタなどの記録装置によって実現され、マスクモデル生成部１０４が作成したマスクモデルおよび本装置の内部状態、処理結果などの情報を本装置の使用者に提供する。
【００２７】
操作入力部１０７は、タブレット、マウス、キーボード、押しボタンスイッチ、ジョイスティックなどの入力装置によって実現され、本装置の使用者が本装置に指令を送り、本装置を操作するために用いる。
【００２８】
本装置で作成したマスクモデルは図示しない複合現実感提示装置において用いられるが、本装置を構成する撮像部１０１、位置姿勢計測部１０２、マスクモデル蓄積部１０５、結果出力部１０６、操作入力部１０７を複合現実感提示装置と共通に用いるか、または複合現実感提示装置の一部分として本装置の機能を実現してもよい。
【００２９】
複合現実感提示装置と共通に用いる、または前記複合現実感提示装置の一部分として本装置を用いることによって、複合現実感提示装置において実際に使用される条件と同一の条件下でマスクモデルを作成することが可能であり、複合現実感提示装置において現実世界映像と仮想世界映像とを合成する際に、仮想世界映像中のマスクモデルに隠蔽される部分が、本来隠蔽されるべき箇所とはずれてしまうという可能性を低減することができる。
【００３０】
以上の様な構成を備えた本実施形態の処理について、以下説明する。図３は本実施形態に係るマスクモデル作成装置の処理手順を説明するフローチャートである。
【００３１】
マスクモデル作成装置が起動されると、ステップＳ５０において初期化処理を行う。
ステップＳ１００では、撮像部１０１において現実世界（モデル化対象物体１０８）を撮影し、撮影映像を映像信号としてマスクモデル作成部１０４に送る。
【００３２】
ステップＳ２００では、位置姿勢計測部１０２において撮像部１０１の三次元空間内での位置姿勢を計測し、その位置姿勢情報をマスクモデル作成部１０４に送出する。
ステップＳ３００では、距離計測部１０３において撮像部１０１からモデル化対象物体１０８までの距離を計測し、その距離情報をマスクモデル作成部１０４に送出する。
【００３３】
ステップＳ４００では、本装置の使用者が操作入力部１０７に対して行った操作を検知し、その制御信号をマスクモデル作成部１０４に送出する。
ステップＳ１００からステップＳ４００までの処理については、この順序に限定されるものではない。ステップＳ１００にて取得される現実世界映像、ステップＳ２００にて取得される撮像部の位置姿勢情報、ステップＳ３００にて取得される撮像部１０１からモデル化対象物体までの距離情報、ステップＳ４００にて取得される使用者の操作情報は、いずれもステップＳ５００以降で使用されるため、ステップＳ１００からステップＳ４００までの処理に関しては、各ステップをどのような順序で実行してもよい（また、２つ以上を並列に処理しても良い）。
【００３４】
ステップＳ５００では、マスクモデル作成部１０４において、先にステップＳ１００にて取得した現実世界映像から、例えば、現実世界映像の各画素について、あらかじめ指定された色情報との比較を行い、自動的に領域の内外を判定することにより、現実世界映像中で撮影されているモデル化対象物体１０８の像の領域を抽出する。
【００３５】
ステップＳ６００では、ステップＳ２００にて取得した撮像部１０１の位置姿勢情報、ステップＳ３００にて取得した撮像部１０１からモデル化対象物体１０８までの距離情報、ステップＳ５００にて取得したモデル化対象物体１０８の像の領域の二次元座標をもとに、モデル化対象物体１０８の三次元座標を算出し、各頂点の座標からポリゴンを構成することによってモデル化対象物体１０８のマスクモデルを作成する。
【００３６】
ステップＳ７００では、ステップＳ６００にて作成したマスクモデルを結果出力部１０６に出力する処理が行われる。このとき、結果出力部に出力される情報は作成したマスクモデルのみに限られない。例えば、ステップＳ６００での処理過程や、ステップＳ１００からステップＳ４００までの処理によって取得した各種パラメータを結果出力部１０６に出力してもよい。さらに、ステップＳ６００にて作成したマスクモデルをＣＧとして描画し、ステップＳ１００にて取得した現実世界の映像に重ね合わせて、合成映像を結果出力部１０６に送出してもよい。
【００３７】
ステップＳ８００では、ステップＳ６００にて作成したマスクモデルについて、これをマスクモデル蓄積部１０５に保存、蓄積する。
【００３８】
なお、ステップＳ８００の処理については、ステップＳ７００の処理とステップＳ９００の処理の間で行われることに限定されない。ステップＳ８００の処理は、ステップＳ９００の後、装置を終了する直前に行ってもよいし、ステップＳ６００とステップＳ７００の間で行ってもよい。
【００３９】
ステップＳ９００では、例えばステップＳ４００で取得した操作部１０７への指示が装置の動作終了指示であるかに基づいて、現実世界マスク作成装置はステップＳ１００に戻る、または終了する。
【００４０】
以上述べたように、第１の実施形態によれば、現実世界の物体をモデル化したマスクモデルを簡便に作成することが可能であり、複合現実感提示装置において、現実世界と仮想世界とを結合する際に、隠蔽関係を適切に表現するために用いることができるようになる。また、作成したマスクモデルは撮像装置の位置姿勢とは独立した座標値を有しているため、複数の複合現実感提示装置間でマスクモデルを共用することが可能である。
【００４１】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本実施形態に係るマスクモデル作成装置の構成は、第１の実施形態と共通であるため、構成の説明は省略する。ただし、本実施形態において、結果出力部１０６は表示装置であり、操作入力部１０７は結果出力部１０６の表示画面に設けられたタッチパネルによって実現されているものとする。
【００４２】
図４は第２の実施形態に係るマスクモデル作成装置の処理手順を説明するフローチャートである。
ステップＳ５０からステップＳ３００までの処理は、第１の実施形態における処理と同一である。
【００４３】
ステップＳ１００からステップＳ３００までの処理については、この順序に限定されるものではない。ステップＳ１００にて取得される現実世界映像、ステップＳ２００にて取得される撮像部の位置姿勢情報、ステップＳ３００にて取得される撮像部１０１からモデル化対象物体までの距離情報、いずれもステップＳ５００以降で使用されるため、ステップＳ１００からステップＳ３００までの処理に関しては、各ステップをどのような順序で実行してもよく、２つ以上のステップを並列に処理しても良い。
【００４４】
ステップＳ３２５では、マスク作成部１０４において、現実世界映像中に撮影されているモデル化対象物体１０８の像の領域を自動的に抽出する。例えば、現実世界映像の各画素について、あらかじめ指定された色情報との比較を行い、自動的に領域の内外を判定する。
【００４５】
ステップＳ３２５の処理を行うことにより、その後、本装置の使用者が行うべき作業を省力化することが可能であるが、必要としない場合にはステップＳ３２５の処理を行わないようにしてもよい。その際には、ステップＳ３００の処理の後にステップＳ３５０の処理を行う。
【００４６】
ステップＳ３５０では、ステップＳ３２５において抽出したモデル化対象物体１０８の像の映像又は、ステップＳ４５０において使用者が行った操作に基づいて抽出した映像を現実世界映像と合成し、合成映像を結果出力部１０６に出力する処理を行う。なお、ステップＳ３２５が省略される場合、ステップＳ３５０の最初の実行時には、例えば現実世界の映像を表示する。
【００４７】
ステップＳ３７５では、例えば操作入力部１０７から、モデル化対象物体１０８の像の領域抽出が完了している旨（結果出力部１０６に表示されている抽出領域に基づいてマスクモデルを生成する旨）の確認入力がなされたか否かを検出することにより、ステップＳ６００以降のマスクモデル生成処理又は、ステップＳ４００〜Ｓ４５０の、使用者による抽出領域の指定（調整）処理に分岐する。
【００４８】
ステップＳ４００では、使用者が操作入力部１０７に対して行った操作を検知し、その制御信号をマスクモデル作成部１０４に送出する。
【００４９】
上述のように、本実施形態において、操作入力部１０７は表示装置である結果出力部１０６の表示画面上に設けられたタッチパネルであるため、本装置の使用者は、結果出力部１０６に表示されている、ステップＳ３５０で表示した合成映像を確認しながら、所望の画像領域の輪郭を指やスタイラスペン等で入力することによって、マスクモデルの元となる画像領域を指定、修正することができる。
【００５０】
本実施形態においては、操作入力部１０７としてタッチパネルを用いたが、マウスやタブレットなど、他の入力デバイスを用いても良い。すなわち、本装置の使用者が結果出力部１０６に表示される合成映像を見ながら操作入力部１０７を操作し、合成映像中の座標を指定することができれば、どのような構成を用いても良い。
【００５１】
ステップＳ４５０では、ステップＳ４００において本装置の使用者が入力した合成映像上の二次元座標をもとに、現実世界映像に撮されたモデル化対象物体１０８の像の領域を修正する。ステップＳ４５０の処理が終了したら、ステップＳ３５０の処理に戻る。
【００５２】
例えば、本装置の使用者はステップＳ４００において、結果出力部１０６に表示される合成映像を見ながら、ステップＳ３２５における抽出で失敗した部分、あるいは抽出の精度の悪い部分の正しい輪郭を指やペンでなぞり、ステップＳ４５０では、ステップＳ３２５において抽出した領域と、ステップＳ４００で本装置の使用者が指定した領域とを足し合わせ、モデル化対象物体１０８の像の領域を修正することができる。修正結果はステップＳ３５０で表示される画像に反映される。
【００５３】
ステップＳ３５０からステップＳ４５０までの処理を繰り返すことにより、本装置の使用者は、現実世界映像中に撮影されているモデル化対象物体１０８の像の領域の抽出結果を自身の目で確認しながら、何度でも修正することが可能である。
【００５４】
そして、希望する領域が抽出され、使用者が抽出完了を指示すると、この領域に基づいてステップＳ６００以降の処理によってマスクモデルを形成する。ステップＳ６００以降の処理は第１の実施形態と同様であるので、処理内容の説明は省略する。
【００５５】
以上述べたように、第２の実施形態によれば、現実世界映像中に撮影されたモデル化対象物体１０８の像の領域について、本装置が自動で行う抽出処理と、本装置の使用者が行う領域指定操作を併用することによって、領域を抽出する作業を省力化しつつ、自動での抽出処理に失敗した場合にも、使用者が結果を修正することによって、より精度の高いマスクモデルを作成することが可能となる。
【００５６】
＜第３の実施形態＞
上述の第１及び第２の実施形態においては、三次元のマスクモデルを生成していた。しかし、マスクモデルを用いる複合現実感提示装置の撮像部の位置が実質的に固定と見なせる場合や、またはモデル化対象物体１０８が撮像部から遠距離に存在する場合のように、撮像部とモデル化対象物体１０８との位置関係が実質的に不変又は不変に近い場合、また、例えば建物などのようにモデル化対象物体１０８の三次元構造が比較的単純な立体で近似できるような場合には、マスクモデルが平面であっても現実世界と仮想世界の隠蔽関係をほぼ正しく表現することが可能である。
【００５７】
本実施形態においては、第１及び第２の実施形態で説明したマスクモデル生成装置を用い、二次元マスクモデルを生成することを特徴とする。本実施形態において、マスクモデルの生成手順は図３又は図４を用いて説明した手順を用いることができる。
【００５８】
第１及び第２の実施形態と異なるのは、距離計測部１０３が、モデル化対象物体１０８を構成する点のうち、ある一点の距離のみを計測し、この距離をモデル化対象物体１０８までの距離全体の代表としてマスクモデルを形成することである。
【００５９】
本実施形態においては、距離計測部１０３を、第１及び第２の実施形態と同様の、同時に複数点を計測する装置によって実現しても良いし、撮像部１０１にレンズのフォーカス値を取得する機構を設け、撮像部１０１がモデル化対象物体１０８に合焦したときのレンズのフォーカス値をもとに距離を算出するようにして実現してもよい。
【００６０】
本実施形態において、マスクモデル作成部１０４は、ステップＳ５００（図３）又はＳ３２５（図４）において、現実世界映像中に撮影されているモデル化対象物体１０８の像の領域のうち、輪郭のみを抽出し、画像上の二次元座標を取得する。次に、撮像部１０１の位置姿勢情報、距離情報、モデル化対象物体１０８の輪郭部分の画像上での二次元座標を用いて、モデル化対象物体１０８を構成する頂点の三次元座標を算出し、その三次元座標を頂点の構成情報と共にマスクモデルとしてマスクモデル蓄積部１０５に送出する。上述したように、本実施形態で生成されるマスクモデルは平面で表現される。
【００６１】
以上述べたように、第３の実施形態によれば、より簡便にマスクモデルを作成することが可能となる。
【００６２】
＜第４の実施形態＞
第１〜第３の実施形態においては、撮像部１０１を固定して撮像した現実世界映像を元に現実物体のマスクモデルを生成していた。これに対し、本実施形態においては、異なる位置、方向から撮像した現実世界映像を元に複数のマスクモデルを生成し、これらを統合することで、より正確なマスクモデルを生成することを特徴とする。
【００６３】
本実施形態に係るマスクモデル作成装置の構成は第１の実施形態と同様であり、また、個々のマスクモデルを生成する処理は、第１〜第３の実施形態で説明した処理のいずれかを用いることができる。
【００６４】
図５は、本実施形態におけるマスクモデル作成装置のマスクモデル生成処理手順を説明するフローチャートである。
ステップＳ５０の処理については、第１の実施形態における処理と同様である。
【００６５】
ステップＳ５５では、図３または図４でのステップＳ１００からステップＳ８００までの一連の処理を行い、ある位置におけるモデル化対象物体１０８のマスクモデルを作成する。ステップＳ５５の処理は、撮像部１０１の位置を変更しながら、複数回実行する。同一のモデル化対象物体１０８に対して、マスクモデルは視点を変更した回数だけ作成される。
【００６６】
ステップＳ６０では、ステップＳ５５において、同一のモデル化対象物体１０８に対して作成された複数のマスクモデルに関して、複数のマスクモデルを一つに統合する処理を行う。
【００６７】
複数のマスクモデルを一つに統合する処理は、例えば次のようにして行うことができる。モデル化対象物体１０８を構成するある特定の一点をＰとする。Ｐに対し、ある視点位置から作成したマスクモデルのＰに対する三次元座標をＣｊとする。作成したマスクモデルの座標Ｃｊを代表する座標Ｃ０を求める。このＣ０はＰの座標を最も正確に表現している点であることが望ましい。Ｃ０を求める方法としては、例えばＣｊの重心となる点を求め、Ｃ０とする方法などが考えられる。
【００６８】
次に、モデル化対象物体１０８を構成するすべての点に関して、このＣ０を求め、各視点位置について、その視点位置ｊから作成したマスクモデルの座標ＣｊをＣ０に写像させるような変換Ｔｊを求める。視点位置ｊから作成したマスクモデルについてすべての座標をＴｊによって変換し、この変換をすべての視点位置に対して行うことによって、統合したマスクモデルを作成することが可能である。
【００６９】
ステップＳ６５では、ステップＳ６０で統合したマスクモデルをマスクモデル蓄積部１０５に保存する。
ステップＳ９００では、例えば操作入力部１０７の入力に応じ、処理をステップＳ５５へ戻すか、処理を終了する。
【００７０】
以上述べたように、第４の実施形態によれば、単一の視点からマスクモデルを作成するのと比較して、より正確なマスクモデルを作成することが可能となる。
【００７１】
【他の実施形態】
上述の実施形態においては、１つの機器から構成されるマスクモデル作成装置についてのみ説明したが、同等の機能を複数の機器から構成されるシステムによって実現しても良い。
【００７２】
尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【００７３】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００７４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００７５】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００７６】
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
【００７７】
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【００７８】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００７９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００８０】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００８１】
本発明の実施態様を以下に列挙する。
【００８２】
［実施態様１］ モデル化対象物体を被写体として含む、現実世界の映像を撮影する撮像ステップと、
前記撮像ステップの位置姿勢を計測する位置姿勢計測ステップと、
前記撮像ステップから、前記モデル化対象物体までの距離を計測する距離計測ステップと、
前記撮像ステップの位置姿勢と、前記現実世界の映像とに基づいて、モデル化対象物体の三次元モデルを作成するモデル作成ステップと、
を有することを特徴とする現実物体モデル作成方法。
【００８３】
［実施態様２］ 前記モデル作成ステップが、前記現実世界の映像から、前記モデル化対象物体の像を抽出する抽出ステップを有し、
前記抽出した前記モデル化対象物体の像を用いて前記三次元モデルを作成することを特徴とする実施態様１記載のモデル作成方法。
【００８４】
［実施態様３］ 入力手段を介して指定された、前記撮影した現実世界の映像中の座標を取得する座標入力ステップを更に有し、
前記モデル作成ステップが、前記座標入力ステップで取得した座標に基づき、前記抽出ステップが抽出した前記モデル化対象物体の像の領域を修正することを特徴とする実施態様２記載のモデル作成方法。
【００８５】
［実施態様４］ 入力手段を介して指定された、前記撮影した現実世界の映像中の座標を取得する座標入力ステップを更に有し、
前記モデル作成ステップが、前記座標入力ステップで取得した座標に基づき、前記現実世界の映像中の領域を抽出し、
前記抽出した領域を前記モデル化対象物体の像として前記三次元モデルを作成することを特徴とする実施態様１記載のモデル作成方法。
【００８６】
［実施態様５］ 前記距離計測ステップが、前記モデル化対象物体を構成する複数の点について前記距離を計測することを特徴とする実施態様１乃至実施態様４のいずれか１項に記載のモデル作成方法。
【００８７】
［実施態様６］ 前記距離計測ステップが、前記モデル化対象物体を構成する所定の１点について前記距離を計測し、
前記モデル作成ステップが、前記撮像ステップから前記１点への距離を有する平面で構成される前記三次元モデルを作成することを特徴とする実施態様１乃至実施態様４のいずれか１項に記載のモデル作成方法。
【００８８】
［実施態様７］ 前記モデル作成ステップが、複数の異なる位置から撮影した前記現実世界の映像を用いて、前記複数の異なる位置毎に前記三次元モデルを作成するとともに、これら複数の三次元モデルを統合した統合三次元モデルを前記モデル化対象物体の三次元モデルとして作成することを特徴とする実施態様１乃至実施態様５のいずれか１項に記載のモデル作成方法。
【００８９】
【発明の効果】
以上説明したように、本発明によれば、複合現実感提示装置において、現実世界と仮想世界との隠蔽関係を適切に表現しつつ両世界を結合する際に必要となるマスクモデルを簡便に作成することが可能となる。また、本発明によるマスクモデルは複合現実感提示装置の撮像部の位置に依存しないため、複数の複合現実感提示装置間で共有可能であり、マスクモデル生成処理及び蓄積のための資源を節約することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係るマスクモデル作成装置の概略構成例を示すブロック図である。
【図２】マスクモデルを用いて、隠蔽関係を適切に表現しながら現実世界と仮想世界とを結合させる様子を説明する図である。
【図３】第１の実施形態に係るマスクモデル作成装置の処理手順を説明するフローチャートである。
【図４】第２の実施形態に係るマスクモデル作成装置の処理手順を説明するフローチャートである。
【図５】第４の実施形態に係るマスクモデル作成装置の処理手順を説明するフローチャートである。
Claims (1)
- モデル化対象物体を被写体として含む、現実世界の映像を撮影する撮像ステップと、
前記撮像ステップの位置姿勢を計測する位置姿勢計測ステップと、
前記撮像ステップから、前記モデル化対象物体までの距離を計測する距離計測ステップと、
前記撮像ステップの位置姿勢と、前記現実世界の映像とに基づいて、モデル化対象物体の三次元モデルを作成するモデル作成ステップと、
を有することを特徴とする現実物体モデル作成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003024959A JP2004234549A (ja) | 2003-01-31 | 2003-01-31 | 現実物体モデル作成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003024959A JP2004234549A (ja) | 2003-01-31 | 2003-01-31 | 現実物体モデル作成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004234549A true JP2004234549A (ja) | 2004-08-19 |
Family
ID=32953354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003024959A Withdrawn JP2004234549A (ja) | 2003-01-31 | 2003-01-31 | 現実物体モデル作成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004234549A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011257861A (ja) * | 2010-06-07 | 2011-12-22 | Nintendo Co Ltd | ゲーム装置、ゲームプログラムおよびゲームシステム |
| JP2012238117A (ja) * | 2011-05-10 | 2012-12-06 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
| JP2013097806A (ja) * | 2011-11-01 | 2013-05-20 | Samsung Electronics Co Ltd | 映像処理装置及び方法 |
| JP2015084150A (ja) * | 2013-10-25 | 2015-04-30 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| JP2017097872A (ja) * | 2015-11-18 | 2017-06-01 | フラミー インコーポレイテッド | 画像積層処理方法及びシステム |
| CN107978009A (zh) * | 2016-10-24 | 2018-05-01 | 粉迷科技股份有限公司 | 影像叠层处理方法与系统 |
| JP2018129736A (ja) * | 2017-02-10 | 2018-08-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| WO2019053997A1 (ja) * | 2017-09-13 | 2019-03-21 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP2020149733A (ja) * | 2019-11-07 | 2020-09-17 | 株式会社スクウェア・エニックス | 鑑賞システム、モデル構成装置、制御方法、プログラム及び記録媒体 |
| US11054650B2 (en) | 2013-03-26 | 2021-07-06 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
| WO2024095356A1 (ja) * | 2022-11-01 | 2024-05-10 | 株式会社バーチャルウインドウ | グラフィックス生成装置、グラフィックス生成方法及びプログラム |
-
2003
- 2003-01-31 JP JP2003024959A patent/JP2004234549A/ja not_active Withdrawn
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011257861A (ja) * | 2010-06-07 | 2011-12-22 | Nintendo Co Ltd | ゲーム装置、ゲームプログラムおよびゲームシステム |
| JP2012238117A (ja) * | 2011-05-10 | 2012-12-06 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
| JP2013097806A (ja) * | 2011-11-01 | 2013-05-20 | Samsung Electronics Co Ltd | 映像処理装置及び方法 |
| US11054650B2 (en) | 2013-03-26 | 2021-07-06 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
| JP2015084150A (ja) * | 2013-10-25 | 2015-04-30 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| US10430052B2 (en) | 2015-11-18 | 2019-10-01 | Framy Inc. | Method and system for processing composited images |
| KR101811042B1 (ko) | 2015-11-18 | 2017-12-20 | 프래미 인코퍼레이티드 | 이미지 적층 처리 방법 및 시스템 |
| JP2017097872A (ja) * | 2015-11-18 | 2017-06-01 | フラミー インコーポレイテッド | 画像積層処理方法及びシステム |
| CN107978009A (zh) * | 2016-10-24 | 2018-05-01 | 粉迷科技股份有限公司 | 影像叠层处理方法与系统 |
| JP2018129736A (ja) * | 2017-02-10 | 2018-08-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| WO2019053997A1 (ja) * | 2017-09-13 | 2019-03-21 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP2020149733A (ja) * | 2019-11-07 | 2020-09-17 | 株式会社スクウェア・エニックス | 鑑賞システム、モデル構成装置、制御方法、プログラム及び記録媒体 |
| JP7079287B2 (ja) | 2019-11-07 | 2022-06-01 | 株式会社スクウェア・エニックス | 鑑賞システム、モデル構成装置、制御方法、プログラム及び記録媒体 |
| US11941763B2 (en) | 2019-11-07 | 2024-03-26 | Square Enix Co., Ltd. | Viewing system, model creation apparatus, and control method |
| WO2024095356A1 (ja) * | 2022-11-01 | 2024-05-10 | 株式会社バーチャルウインドウ | グラフィックス生成装置、グラフィックス生成方法及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8055061B2 (en) | Method and apparatus for generating three-dimensional model information | |
| JP4677273B2 (ja) | 情報処理方法および情報処理装置 | |
| EP1883052B1 (en) | Generating images combining real and virtual images | |
| JP4401727B2 (ja) | 画像表示装置及び方法 | |
| JP5538667B2 (ja) | 位置姿勢計測装置及びその制御方法 | |
| JP4065507B2 (ja) | 情報提示装置および情報処理方法 | |
| US9332243B2 (en) | Handheld portable optical scanner and method of using | |
| JP5248806B2 (ja) | 情報処理装置、情報処理方法 | |
| JP4677281B2 (ja) | 画像処理方法、画像処理装置 | |
| US10019839B2 (en) | Three-dimensional object scanning feedback | |
| JP2006072903A (ja) | 画像合成方法及び装置 | |
| JP2004062758A (ja) | 情報処理装置および方法 | |
| JP2007042055A (ja) | 画像処理方法、画像処理装置 | |
| JP2006285788A (ja) | 複合現実感情報生成装置および方法 | |
| JP2007064684A (ja) | マーカ配置補助方法及び装置 | |
| US20030184602A1 (en) | Information processing method and apparatus | |
| JP2004234549A (ja) | 現実物体モデル作成方法 | |
| JP2008146497A (ja) | 画像処理装置、画像処理方法 | |
| JP2006012042A (ja) | 画像生成方法及び装置 | |
| US20210358189A1 (en) | Advanced Systems and Methods for Automatically Generating an Animatable Object from Various Types of User Input | |
| JP2009087161A (ja) | 画像処理装置、画像処理方法 | |
| JP4926598B2 (ja) | 情報処理方法、情報処理装置 | |
| JP4447896B2 (ja) | 画像処理装置および方法 | |
| JP7279113B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
| JP6581348B2 (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060404 |