JP2010287174A - 家具シミュレーション方法、装置、プログラム、記録媒体 - Google Patents

家具シミュレーション方法、装置、プログラム、記録媒体 Download PDF

Info

Publication number
JP2010287174A
JP2010287174A JP2009142530A JP2009142530A JP2010287174A JP 2010287174 A JP2010287174 A JP 2010287174A JP 2009142530 A JP2009142530 A JP 2009142530A JP 2009142530 A JP2009142530 A JP 2009142530A JP 2010287174 A JP2010287174 A JP 2010287174A
Authority
JP
Japan
Prior art keywords
furniture
camera
image data
marker
calibration pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009142530A
Other languages
English (en)
Inventor
Kunihiko Kasahara
Tomoya Tachikawa
智哉 立川
邦彦 笠原
Original Assignee
Dainippon Printing Co Ltd
大日本印刷株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dainippon Printing Co Ltd, 大日本印刷株式会社 filed Critical Dainippon Printing Co Ltd
Priority to JP2009142530A priority Critical patent/JP2010287174A/ja
Publication of JP2010287174A publication Critical patent/JP2010287174A/ja
Application status is Withdrawn legal-status Critical

Links

Images

Abstract

【課題】本発明の課題は、家具を撮影した後にカメラの内部パラメーターを校正することで、室内実写画像に違和感のない家具CG画像を重畳できる家具シミュレーション方法を提供することである。
【解決手段】操作者が、(1)デジタルカメラで、標準マーカーを置いた室内を撮影するステップと、(2)室内を撮影した時と同じ焦点距離を設定したデジタルカメラで、校正パターンを撮影するステップと、家具シミュレーション装置が、(1)校正パターン撮影画像から、カメラ内部パラメーターを導出するステップと、(2)室内撮影画像の標準マーカー画像にカメラ内部パラメーターを適用して、三次元正射影変換関係式を導出するステップと、(3)家具モデルデータに三次元正射影変換関係式を適用して、家具CG画像データを生成して、室内撮影画像データに重畳して表示するステップと、を含んだ手順でなされることを特徴とする家具シミュレーション方法である。
【選択図】図1

Description

本発明は、室内の撮影画像に家具のコンピュータグラフィックス画像(以下、CG画像)を合成して表示する家具シミュレーション方法、装置、プログラム、記録媒体に関するものである。
本発明は特に、家具を購入検討する時に、家具が室内に調和するか否かを検討する場合に有用である。

快適な部屋を実現するためには、部屋の雰囲気にあって、部屋と調和が取れる調度品を選ぶことが大切である。
たとえば、家具を部屋に設置する場合に、家具の形や色によって部屋の印象は大きく変わってくるので、家具選びは大変重要である。
以下に、代表的な家具の選び方について説明する。

《A.家具カタログ》
部屋と家具の調和を検討する場合には、たとえば、家具カタログを閲覧して、家具を部屋に設置した状況を想像して、家具を選択している。
あるいは、家具カタログを用いる代わりに、家具展示場にて、家具の実物をみて、家具を部屋に設置した状況を想像して、家具を選択する場合もある。

《B.コンピュータ・シミュレーション》
部屋に合う家具を選ぶ時に、AR技術を用いて、部屋の実写画像に家具の三次元CG画像を合成したシミュレーションによる家具選択方法が考えられる。
たとえば、非特許文献1では、カメラ校正処理したデジタルカメラを用いて、撮影した現実世界(=マーカーを置いた部屋の実写映像)に含まれるマーカー画像から撮影角度と撮影距離とを算出して、仮想物体(=家具モデルデータ)に対して、算出した角度と距離の情報を適用してレンダリング処理して、三次元CG画像を生成して、この三次元CG画像を、撮影動画像のマーカーの位置にリアルタイムで重畳して合成動画像を作成して再生する技術が開示されている。
ここで、ARとは、Augmented Realityの略である。ARは、日本語では、拡張現実や、強化現実と称する。AR技術により現実を動画撮影した実写映像に仮想物体をリアルタイムで重畳することで、あたかも、現実空間に仮想物体があるかのような映像を再生させることができる。
また、AR技術で用いるマーカーとは、点対称とならない図柄を有する正方形の図形である。マーカーの寸法と図柄が分かっているので、撮影されたマーカー形状の大きさと変形の程度から、カメラの撮影距離や撮影角度などの撮影条件情報を算出することができる。

加藤博一、外3名、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、論文誌、日本バーチャルリアリティ学会、1999、第4巻、第4号、p.3−5

しかしながら、《A.家具カタログ》による家具の選び方では、実際に、家具を部屋に設置すると、家具の形や色が部屋と調和が取れず、部屋の雰囲気に合った家具を選ぶことに失敗することがある。

また、《B.コンピュータ・シミュレーション》による家具の選び方では実写画像にCG画像を所定の位置に違和感のない形状で重畳させるためには、カメラの内部パラメーターを校正しておく必要がある。このカメラの内部パラメーターは、撮影条件に依存するので、あらゆる撮影条件を想定して校正しなければならず、多大な校正作業を要する。

本発明は以上のような点を解決するためになされたものであって、本発明の課題は、家具を撮影した後に、家具の撮影条件に対応したカメラの内部パラメーターを校正することで、室内実写画像に違和感のないCG画像を、簡単で容易で確実に重畳できる家具シミュレーション方法、装置、プログラム、記録媒体を提供することである。

本発明は、以下の各態様に記載の手段により、前記課題を解決する。
すなわち、本願発明の第1の発明は、寸法と図柄が既知の標準マーカーと、標準校正パターンと、家具モデルデータと、を用いる家具シミュレーション方法であって、
操作者が、デジタルカメラにより、前記標準マーカーを置いた室内を撮影して、室内撮影画像データを生成する室内撮像ステップと、
操作者が、デジタルカメラに、室内を撮影した時と同じ焦点距離を設定して、標準校正パターンを撮影して、校正パターン撮影画像データを生成する校正パターン撮像ステップと、
家具シミュレーション装置が、少なくとも3つの校正パターン撮影画像データから、カメラ座標系と撮影平面座標系との関係を表すカメラ内部パラメーターを導出するカメラ校正ステップと、
家具シミュレーション装置が、標準マーカーの図柄情報を用いて、室内撮影画像から標準マーカー画像を検出するマーカー検出ステップと、
家具シミュレーション装置が、前記カメラ内部パラメーターを用いて、検出した標準マーカー画像を三次元マーカー画像に変換して、変換した三次元マーカー画像と標準マーカーの寸法情報とを用いて、三次元正射影変換関係式を導出する正射影変換式導出ステップと、
家具シミュレーション装置が、家具モデルデータに対して三次元正射影変換関係式を適用して、レンダリング処理して、家具CG画像データを生成して、これを室内撮影画像データに重畳して合成して、表示部に表示する合成画面作成表示ステップと、
を含んだ手順でなされることを特徴とする家具シミュレーション方法である。

このように、室内を撮影した後で、カメラの内部パラメーターを簡単で容易に校正することが可能である。
また、カメラ校正作業は、室内撮影時と同じ焦点距離に対応したカメラの内部パラメーターを校正するだけでよいので、最小限の作業量である。
また、室内撮影時と同じ焦点距離に対応したカメラの内部パラメーターを校正できるので、室内撮影画像に重畳して合成する家具CG画像データを、正確に生成することができる。

本願発明の第2の発明は、寸法と図柄が既知の標準マーカーと、標準校正パターンと、家具モデルデータと、を用いる家具シミュレーション方法であって、
顧客が、デジタルカメラにより、前記標準マーカーを置いた室内を撮影して、室内撮影画像データを生成する室内撮像ステップと、
顧客が、室内を撮影したデジタルカメラと、室内撮影画像データを店舗に持参する店舗持参ステップと、
店員が、デジタルカメラに、室内を撮影した時と同じ焦点距離を設定して、標準校正パターンを撮影して、校正パターン撮影画像データを生成する校正パターン撮像ステップと、
家具シミュレーション装置が、少なくとも3つの校正パターン撮影画像データから、カメラ座標系と撮影平面座標系との関係を表すカメラ内部パラメーターを導出するカメラ校正ステップと、
家具シミュレーション装置が、標準マーカーの図柄情報を用いて、室内撮影画像からマーカー画像を検出するマーカー検出ステップと、
家具シミュレーション装置が、前記カメラ内部パラメーターを用いて、検出したマーカー画像を三次元マーカー画像に変換して、変換した三次元マーカー画像と標準マーカーの寸法情報とを用いて、三次元正射影変換関係式を導出する正射影変換式導出ステップと、
家具シミュレーション装置が、家具モデルデータに対して三次元正射影変換関係式を適用して、レンダリング処理して、家具CG画像データを生成して、これを室内撮影画像データに重畳して合成して、表示部に表示する合成画面作成表示ステップと、
を含んだ手順でなされることを特徴とする家具シミュレーション方法である。

本願発明の第3の発明は、第1の発明または第2の発明における家具シミュレーション方法において、
前記カメラ校正ステップが、さらに、
少なくとも3つの校正パターン撮影画像データからパターンの特徴点情報を抽出する特徴点抽出工程と、
抽出した特徴点情報と標準校正パターン情報を、ホモグラフィー行列式に代入して、少なくとも3組のホモグラフィー行列要素を算出するホモグラフィー行列算出工程と、
少なくとも3組のホモグラフィー行列要素を、ホモグラフィー内部パラメーター関係式に代入して、カメラ内部パラメーターを算出する内部パラメーター算出工程と、
を含んだ手順でなされることを特徴とする家具シミュレーション方法である。

本願発明の第4の発明は、寸法情報と図柄情報が既知の標準マーカー情報を格納する標準マーカー格納領域と、
家具モデルデータを格納する家具モデル格納領域と、
標準校正パターン情報を格納する標準校正パターン格納領域と、
を備える記憶手段と、
焦点距離を設定したデジタルカメラが、前記標準マーカーを置いた室内を撮影して生成した室内撮影画像データと、
室内を撮影した時と同じ焦点距離を設定したデジタルカメラが、校正パターンを撮影して生成した校正パターン撮影画像データを、入力する撮影画像入力手段と、
少なくとも3つの校正パターン撮影画像データからパターンの特徴点情報を抽出して、抽出した特徴点情報と標準校正パターン情報を用いて、少なくとも3つのホモグラフィー行列を算出して、これらのホモグラフィー行列式を解いて、カメラ内部パラメーターを導出するカメラ校正手段と、
標準マーカー情報の図柄情報を用いて、室内撮影画像データからマーカー画像データを検出するマーカー検出手段と、
前記カメラ内部パラメーターを用いて、検出したマーカー画像を三次元マーカー画像に変換して、変換した三次元マーカー画像と標準マーカーの寸法情報とを用いて、三次元正射影変換関係式を導出する正射影変換式導出手段と、
家具モデルデータに対して三次元正射影変換関係式を適用して、レンダリング処理して、これを撮影画像データに重畳して合成して、表示部に表示する合成画面作成表示手段と、
を備えることを特徴とする家具シミュレーション装置である。

本願発明の第5の発明は、第4の発明における家具シミュレーション装置において、
前記カメラ校正手段が、さらに、
少なくとも3つの校正パターン撮影画像データからパターンの特徴点情報を抽出する特徴点抽出機能と、
抽出した特徴点情報と標準校正パターン情報を、ホモグラフィー行列式に代入して、少なくとも3組のホモグラフィー行列要素を算出するホモグラフィー行列算出機能と、
少なくとも3組のホモグラフィー行列要素を、ホモグラフィー内部パラメーター関係式に代入して、カメラ内部パラメーターを算出する内部パラメーター算出機能と、
を備えることを特徴とする家具シミュレーション装置である。

本願発明の第6の発明は、コンピュータに組込むことによって、コンピュータを請求項4または第5の発明に記載の家具シミュレーション装置として動作させるコンピュータプログラムである。

本願発明の第7の発明は、第6の発明に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体である。

本願発明によれば、
(1)室内を撮影した後で、室内撮影時と同じ焦点距離で、カメラの内部パラメーターを簡単で容易に校正することが可能である。
(2)室内実写画像に違和感なく重畳できる家具CG画像を、確実に生成することが可能である。
従って、本発明によれば、部屋の雰囲気に合った家具を選ぶことが可能である。

図1は、本発明の実施の形態による家具シミュレーションシステム1の概要を説明する図である。(実施例1) 図2は、家具シミュレーションシステム1の大まかな作業と処理の流れを説明する図である。 図3は、マーカー200の例である。 図4は、室内撮影画像の例である。 図5は、校正パターン400の説明図である。 図6は、(校正パターンの撮影台800を説明する図である。 図7は、校正パターンの撮影画像の表示例である。 図8は、室内撮影画像と家具CG画像300の合成表示画面の例である。 図9は、家具シミュレーションシステム1が扱う3つの座標系を説明する図である。 図10は、(3)《校正パターン撮影作業》のフローチャートである。 図11は、(7)《カメラ校正処理》の詳細な流れを説明する図である。 図12は、(8)《マーカーの切り出し処理》と(9)《 座標変換式算出処理》の詳細な流れを説明する図である。 図13は、デジタルカメラ100の詳細な構成図である。 図14は、家具シミュレーション装置300の詳細な構成図である。 図15は、撮影平面座標系(xp 、yp )と、撮影画像の画素の座標を表すカメラ内部座標系(u 、v )との関連を説明する図である。

以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。

図1は、本発明の実施の形態による家具シミュレーションシステム1の概要を説明する図である。
家具シミュレーションシステム1は、家具シミュレーション装置300と、デジタルカメラ(たとえば、電子スチルカメラ)100と、マーカー200と、校正パターン400とから構成される。

家具シミュレーション装置300は、周知の三次元CGプログラムを備えたパーソナルコンピューターに、後述する専用プログラムを搭載したものである。
デジタルカメラ100は、既存のデジタルスチルカメラまたはデジタルビデオカメラである。
マーカー200は、既知の寸法の平面図形である。また、マーカー200は、既知の図柄の平面図形である。
校正パターン400は、既知の幾何特性を有する平面図形である。

図2は、家具シミュレーションシステム1の大まかな作業と処理の流れを説明する。
(1)《 室内撮影作業》 顧客が家具を設置したい位置にマーカー200を置いて、デジタルカメラ100を用いて室内を撮影する。
(2)《 室内撮影画像生成処理》デジタルカメラ100は、室内を撮像して、室内撮影画像データを生成する。
(3)《校正パターン撮影作業》
店員は、顧客のデジタルカメラに対して、室内を撮像した時と同じ焦点距離fに設定して、校正パターン(=平面パターン)を少なくとも3つの異なる回転姿勢(たとえば、水平、垂直、45度に傾けた姿勢)で撮影する。
ここで、室内を撮像した時の焦点距離fは、室内撮影画像のexif(Exchangeable Image File Format)参照すれば、これを読み取ることができる。
また、校正パターンの撮影に於いては、校正パターンを、デジタルカメラの光軸に対して垂直に設置する。
(4)《校正パターン撮影画像生成処理》
デジタルカメラ100は、校正パターンを撮像して、校正パターン撮影画像データを生成する。
(5)《撮像画像出力処理》
デジタルカメラ100は、撮像画像データ(=室内撮像画像データと校正パターン撮影画像データ)を、家具シミュレーション装置300に出力する。
(6)《撮像画像入力処理》家具シミュレーション装置300は、デジタルカメラ100が出力した撮像画像データを入力する。
(7)《カメラ校正処理》
家具シミュレーション装置300は、入力した校正パターン撮影画像データを用いてカメラ校正処理を行って、設定された焦点距離fに対応するカメラの内部パラメーターKを導出する。(詳細は後述する)
(8)《 マーカーの切り出し処理》家具シミュレーション装置300は、室内撮影画像データからマーカー画像を切り出す。(詳細は後述する)
(9)《 座標変換式算出処理》家具シミュレーション装置300は、マーカー画像に対して、カメラの内部パラメーターKと標準マーカー情報を適用して、三次元画像正射影変換関係式(以下、正射影変換関係式)を算出する。(詳細は後述する)
(10)《表示処理》家具シミュレーション装置300は、家具のモデルデータに対して正射影変換関係式を適用して、レンダリング処理をして家具CG画像データを作成して、これを室内撮影画像に重畳させて表示する。
このとき、室内撮影画像が動画の場合には、家具シミュレーション装置300は、家具CG画像データを実時間で室内撮影画像に重畳させて表示する。
なお、店員は、家具のモデルデータを指定してもよい。
(11)《顧客による作業 》顧客は、表示された家具CG画像が重畳された室内画像を閲覧して、家具の購入を決定する。

なお、内部パラメーターを導出するためには、非特許文献1の技術では、使用が想定されるカメラ焦点距離fに対応した内部パラメーターKを全て導出しておくことが必要であるが、本願の発明では、その必要がない。

図3は、マーカー200の例である。
マーカー200は、点対称とならない図柄を有する正方形の平面図形である。
点対称とならない図柄には、二次元コードパターンや絵柄や文字などを用いる。点対称とならない図形を用いるので、180度回転しても、同じ図形とはならない。
マーカーの正方形枠の寸法は、事前に定められた既知の値(たとえば、正方形の1辺の長さ「L」)である。
ここで、マーカーの寸法と図柄が分かっているので、撮影されたマーカー形状の大きさと変形の程度から、カメラの撮影距離や撮影角度などを算出することができる。(詳細は後述する)

図4は、室内撮影画像の表示例である。
例示された室内撮影画像には、マーカー画像201が含まれている。
マーカー画像201は、マーカー200がデジタルカメラ100の撮影条件(撮影方向や撮影距離など)に従って透視投影された画像である。

図5は、校正パターン400の説明図である。
校正パターン400は、たとえば、白矩形と黒矩形が交互に配列した市松模様を幾何学特性とした平面図形である。このとき、市松模様の縦線と横線の交差点の間隔は、事前に定められた既知の値(たとえば、交差点の間隔「M」)である。ここで、市松模様の黒矩形の縦と横の配列個数が、一方を奇数個として、他方を偶数個とする市松模様を用いると、90度回転しても、同じ図形とはならない。
図5には、白矩形と黒矩形との配列個数が3個と4個である市松模様の校正パターンが例示されている。例示されている校正パターンは、90度回転しても、同じ図形とはならない。
ここで、市松模様の間隔(=幾何学特性)が分かっているので、撮影された校正パターンの大きさと変形の程度から、デジタルカメラを校正することができる。(詳細は後述する)

図6は、校正パターンの撮影台800を説明する図である。
校正パターン撮影台800は、校正パターン回転台810とカメラ台830とから構成される。
校正パターン回転台810は、校正パターン400を貼付する平面板が回転する回転台である。校正パターン回転台810の回転軸は、校正パターン回転台810が定める平面と垂直に交わる。
カメラ台830は、デジタルカメラ100を設置する台である。
カメラ台830に設置されたデジタルカメラ100の光軸は、校正パターン回転台810の回転軸と平行である。

図7は、校正パターンの撮影画像の表示例である。
図7の(a)は、回転姿勢が水平(あるいは、垂直)である校正パターン撮影画像410の表示例である。校正パターンの市松模様の縦線と横線が水平と垂直である。
図7の(b)は、回転姿勢が斜め45度である校正パターン撮影画像410の表示例である。回転姿勢が斜め45度である校正パターン撮影画像410は、校正パターンの市松模様の縦線と横線が、水平に対して45度に斜いている。

図8は、室内撮影画像と家具CG画像250の合成表示画面の例である。
例示されている合成表示画面には、家具CG画像250がマーカー画像201の位置に、マーカー画像201の方向に向けて撮影画像と重畳されて合成されている。

ここで、図9を用いて、家具シミュレーションシステム1が扱う3つの座標系の説明をする。
家具シミュレーションシステム1が扱う3つの座標系は、室内空間座標系(Xm、Ym 、Zm )と、カメラ座標系(Xc 、Yc 、Zc )と、撮影画像平面座標系(xp 、yp )とである。
室内空間座標系(Xm、Ym 、Zm )は、マーカー200を原点とする三次元空間で、撮影される室内を形成する空間である。ここで、マーカー200は、X軸とY軸がなす平面内に配置される。室内空間座標系には、撮影対象物(マーカー200や部屋の調度品など)と、デジタルカメラ100が配置されている。
カメラ座標系(Xc 、Yc 、Zc )は、デジタルカメラ100を原点とする三次元空間である。
撮影画像平面座標系(xp 、yp )は、デジタルカメラ100が撮影して生成した撮影画像を現わす二次元平面である。このデジタルカメラが撮影した撮影画像は、室内空間座標系に配置された撮影対象物を透視変換した二次元画像である。

図10は、(3)《校正パターン撮影作業》のフローチャートである。
(1)店員は、室内撮影画像のexif(Exchangeable Image File Format)参照して、焦点距離の値fを読み取り、顧客のデジタルカメラ100の焦点距離を読み取った焦点距離の値fに設定する。(ステップS110)
(2)店員は、顧客のデジタルカメラ100を校正パターン撮影台800のカメラ台830に設置する。(ステップS120)
(3)店員は、校正パターン回転台810を回転させて、校正パターンを所定の回転姿勢にする。(ステップS130)
(4)店員は、顧客のデジタルカメラ100を用いて、所定の回転姿勢の校正パターンを撮影する。(ステップS140)
(5)店員は、全ての回転姿勢(たとえば、水平と、垂直と、斜め45度との3つの回転姿勢)で、校正パターンを撮影したか否かを判定する。
全ての回転姿勢の校正パターンを撮影していれば、デジタルカメラ100を家具シミュレーション装置300に接続して、撮影画像の出力を指示して、撮影作業を終了する。
全ての回転姿勢の校正パターンの撮影が否であれば、ステップS130に戻る。(ステップS150)

図11は、(7)《カメラ校正処理》の詳細な流れを説明する図である。
以下に、図2における(7)《カメラ校正処理》の詳細な流れを説明する。
(7−1)《交差点抽出処理》家具シミュレーション装置300は、3つの異なる回転姿勢の校正パターン撮影画像(二次元画像)に対して、二値化処理(詳細は後述する)して二値化画像を生成して、二値化画像に対して輪郭部画素抽出処理(詳細は後述する)して輪郭部画素を抽出して、輪郭部画素に対して折れ線近似処理(詳細は後述する)して市松模様の縦線と横線を算出して、この縦線と横線の交差点を抽出する。

(7−2)《ホモグラフィー行列算出処理》家具シミュレーション装置300は、3つの回転姿勢の校正パターンの市松模様の交差点座標と、それぞれの回転姿勢の校正パターンの撮影画像の交差点座標に対して、ホモグラフィー行列算出処理して、3組のホモグラフィー行列Hの行列要素の値を算出する。
ここで、ホモグラフィー行列算出処理とは、たとえば、2つの平面上の座標間にはホモグラフィー座標変換関係が成立することが数学的にすでに分かっているホモグラフィー行列式(下記の数式1)を用いて、以下の手順にて、ホモグラフィー行列Hの9つの行列要素Hij(i、j=1、2、3)の値を算出すればよい。
(a)1つの校正パターン撮影画像の市松模様の交差点から、少なくとも4つの交差点の座標情報「xpk 、ypk 」(k=1、2、3、4)を算出する。
(b)家具シミュレーション装置300は、この校正パターン撮影画像の4つの交差点に対応する校正パターン(二次元平面)上の4つの交差点の座標情報(=室内空間座標系)「Xmk 、Ymk 」(k=1、2、3、4)を、標準校正パターン情報の交差点間隔値を適用して算出する。
(c)家具シミュレーション装置300は、二次元平面の4つの交差点の座標情報「xpk 、ypk 」を二次元画像の「Xmk 、Ymk 」にホモグラフィー変換する二次元座標変換関係式(たとえば、2つの二次元画像の関係が成立することが数学的にすでに分かっている下記のホモグラフィー行列Hを用いた(数式1)に代入して、9つの式を作成して、これらを解いて、ホモグラフィー行列Hの9つの行列要素Hi(i=1〜9)の値を算出する。
(d)他の2つの異なる回転姿勢の校正パターン撮影画像に対しても、(a)〜(c)の処理を繰り返すことで、それぞれの校正パターン撮影画像からホモグラフィー行列要素Hijの値を算出して、合計3組のホモグラフィー行列Hの行列要素の値Hij(i=1〜9、j=1、2、3)を算出する。
ここで、xpは、校正パターンの交差点の撮影画像平面座標系のx座標値である。ypは、校正パターンの交差点の撮影画像平面座標系のy座標値である。Xmは、校正パターンの交差点の室内空間座標系のX座標値である。Ymは、校正パターンの交差点の室内空間座標系のY座標値である。

(7−3)《カメラ内部パラメーター行列導出処理》家具シミュレーション装置300は、3組の行列要素Hijの値を用いて、以下の手順でカメラを校正して、カメラ内部パラメーター行列K(下記の数式2)を導出する。
ここで、カメラ内部パラメーター行列とは、カメラに固有のもので、特定のカメラ内部パラメーター行列を求めることをカメラ校正という。
(a)3組の行列要素Hijの値を下記の数式3と数式4に代入して、6つの線形方程式を作成する。
ここで、数式3と数式4との2つを組合せた式(=ホモグラフィー内部パラメーター関係式)は、成立することが数学的にすでに分かっている関係式であって、詳細については、以下の非特許文献に記載がある。「佐川立昌、外1名、“2つの平行光の観測による内部パラメーターの安定なキャリブレーション”、画像の認識・理解シンポジウム(MIRU2007)、2007年7月、p.2−3」。
(b)6つの線形方程式を解いて、5つパラメーター「αu、αv、u0、v0、b」の値を算出する。
(c)5つパラメーター「αu、αv、u0、v0、b」の値をカメラ内部パラメーター行列Kに設定する。
ここで、行列の上付き記号「−1」は、逆行列を示す。行列の上付き記号「T」は、転置列を示す。行列の上付き記号「−T」は、転置した逆行列を示す。

次に、図15と、下記の数式5から数式7と、を用いて、カメラ内部パラメーター行列Kと、焦点距離fとの関係を、補足説明する。

撮影平面座標系(xp 、yp )とカメラ座標系(Xc、Yc 、Zc )の関係において、カメラ座標系の原点と撮影平面との距離は、焦点距離fに相当する。このとき、2つの座標系の座標間には、下記の数式5が成立することが数学的にすでに分かっている。(詳細については、以下の非特許文献に記載がある。徐剛、外1名著、「3次元ビジョン」、共立出版株式会社、初版、1998年4月20日、p.10−11)。

図15は、撮影平面座標系(xp 、yp )と、撮影画像の画素の座標を表すカメラ内部座標系(u 、v )との関連を説明する図である。
撮影平面座標系においては、2つの座標軸、xp軸601とyp軸602は、直交する。軸のスケールは同じである(軸のスケールが同じとは、画素が正方形であることを意味する)。
カメラ内部座標系においては、2つの座標軸、u軸691とv軸692がなす角度は、θである。単位長をそれぞれ、kuとkvとする(一般的には、u軸とv軸のスケールは異なる)。また、カメラ内部座標系の中心座標(=カメラの光軸がカメラ内部座標系の画素平面と交わる交点座標)は、[u0、v0tである。
このとき、この2つの座標系の間には、下記の数式6が成立することが数学的にすでに分かっている。(詳細については、以下の非特許文献に記載がある。徐剛、外1名著、「3次元ビジョン」、共立出版株式会社、初版、1998年4月20日、p.12−13)

次に、数式6に数式5を代入して、下記の数式7を導くと、カメラ内部パラメーター行列Kの中の3つのパラメーター「αu 、b、αv」は、それぞれ、αu =fku 、b=−fku cotθ、αv=fkv /sinθの関係が成立することが分かる。このことは、カメラ内部パラメーター行列Kは、焦点距離fに依存していることを意味している。
ちなみに、数式7において、fkuとfkvが残っているのは、焦点距離fの変化と軸のスケールku、kvの変化(=画素サイズの変化)が区別して取り出せないことを意味している。

なお、たとえば、画像処理プログラミングライブラリーであるOpenCVの関数cvFindChessboardCornersを用いることにより、校正パターンの交差点の座標情報「xpk 、ypk 」を検出することができる。また、この校正パターンの交差点の座標情報「xpk 、ypk 」を、関数cvCalibrateCamera2に代入することで、カメラ内部行列Kを算出することができる。ここで、OpenCVは、Intel(登録商標)社が開発提供するオープンソースのプログラミングライブラリーである。

図12は、(8)《マーカーの切り出し処理》と(9)《 座標変換式算出処理》の詳細な流れを説明する図である。

以下に、まず、図2における(8)《マーカーの切り出し処理》の詳細な流れを説明する。
(8−1)《室内撮影画像の二値化処理》家具シミュレーション装置300は、室内撮影画像の明度情報に対して、適切な閾値(たとえば、明度情報の最高値の2分の1など)を適用して二値化処理して、マーカー枠を形成する罫線の二値化画素を含む二値化画像を生成する。
なお、撮影画像の明度情報は、たとえば撮影画像がグレースケールの場合には、明度情報として、グレースケール値を用いる。また、撮影画像がRGB値で構成される場合には、この撮影画像のRGB値の相加平均や加重平均などにより算出すれば良い。

(8−2)《輪郭部画素抽出処理》家具シミュレーション装置300は、二値化画像に対して、以下に説明する周知の隣接領域探索アルゴリズムを用いて、黒画素を抽出して、この抽出した黒画素を輪郭部画素とする。
ここで、隣接領域探索アルゴリズムは、二値化画像を端から走査して、検出した未追跡黒画素を始点の輪郭部画素として、この画素を次の中心にして、4連結または8連結の画素を隣接する画素の定義として、隣接する画素を探索して黒画素を検出して、始点に戻るまでこれを繰り返えすものである。
あるいは、隣接領域探索アルゴリズムは、二値化画像に対して、周知の微分フィルターを適用した空間フィルタリング処理により、エッジを抽出して、このエッジの画素を輪郭部画素として抽出するものでも良い。このとき、微分フィルターとしては、一次微分フィルター(たとえば、ソーベル・フィルターなど)や二次微分フィルター(たとえば、四方向ラプラシアン・フィルターや、八方向ラプラシアン・フィルターなど)を用いれば良い。

(8−3)《四角形画像の切り出し処理》家具シミュレーション装置300は、輪郭部画素に対して、折れ線近似処理して線分を算出して、4本の算出された線分で囲まれた四角形画像を抽出する。
ここで、折れ線近似処理とは、たとえば、多数の輪郭部画素の並びから直線を検出できるということが数学的にすでに分かっているハフ変換式(下記の数式8)を用いて、以下の手順にて、画素を通る直線(下記の数式9)を算出すればよい。
(a)輪郭部画素に対してハフ変換式(下記の数式1)を適用して正弦曲線に変換する。
(b)正弦曲線を画素に対応付ける。
(c)所定の本数以上の正弦曲線が交差する点の座標(ρ0、θ0)を抽出する。
(d)抽出した点の座標(ρ0、θ0)をハフ変換式(下記の数式8)に代入して、この点に交差する正弦曲線に対応する画素を通る直線(下記の数式9)を算出する。

(8−4)《透視変換関係式導出処理》家具シミュレーション装置300は、四角形画像の4本の線分(=算出された数式7)の4つの交点座標(=4つの頂点座標)と、マーカー200の正方形枠の4つの頂点座標とに対して、透視変換関係式(室内空間座標系のX軸とY軸がなす面の座標(Xm 、Ym)を撮影画像平面座標系の座標(xp 、yp)に透視投影する関係式であることが数学的にすでに分かっている下記の数式10)を適用して、8つの式を作成して、数式18の8つのCijを算出して、二次元画像透視変換関係式(下記の数式11)を導出する。
ところで、マーカー200の正方形枠の4つの頂点座標は、正方形枠の中心を原点とする座標値であって、既知の値である、正方形の1辺の長さ「L」から、算出すればよい。
ここで、xp は、撮影画像平面座標系における画像のX座標値である。yp は、撮影画像平面座標系における画像のY座標値である。
hは、カメラ原点と画像平面の距離を変数とする値である。
mは、室内空間座標系における画像のX座標値である。Ym は、室内空間座標系における画像のY座標値である。
ijは、二次元画像透視変換関係式の行列要素である。ここで、i,j=1、2,3である。
ここで、Ca 、Cb 、・・、Ch は、算出した二次元画像透視変換関係式の行列要素である。

(8−5)《四角形画像の変形処理》家具シミュレーション装置300は、この導出した二次元画像透視変換関係式を用いて、四角形画像を変形する。

(8−6)《画素数正規化処理》家具シミュレーション装置300は、変形した四角形画像の横方向と縦方向を独立して拡大/縮小処理して、標準マーカーテンプレート(二次元画像)の横方向と縦方向の画素数と一致させたマーカー候補画像を生成する。ここで、マーカーの図柄を識別するためには、たとえば、64×64画素の標準マーカーテンプレートを用いればよい。

(8−7)《マーカー認識処理》家具シミュレーション装置300は、マーカー候補画像を標準マーカーテンプレートと照合して、テンプレートマッチングしてマーカーを認識し、同時にマーカー回転方向を検出して、このマーカー回転方向情報を保持する。
ここで、テンプレートマッチングでは、相互相関関数(たとえば、類似度を算出できるということが数学的にすでに分かっている下記の数式12)を用いて、マーカー候補画像と標準マーカーテンプレートの類似度を算出して、最も類似度の高いマーカー候補画像をマーカーとして認識すればよい。
また、マーカーの回転に対応するために、標準マーカーテンプレートとして、90度おきに回転したテンプレートを4つ用意することで、テンプレートマッチングでマーカーを認識したときのテンプレートから回転方向を検出することができる。
ここで、tは、テンプレート画像である。
Mは、テンプレート画像の横方向の画素数である。
Nは、テンプレート画像の縦方向の画素数である。
fは、マーカー候補画像である。
kは、マーカー候補画像fまたは標準マーカーテンプレートtの横方向の画素位置である。
lは、マーカー候補画像fまたは標準マーカーテンプレートtの縦方向の画素位置である。
f[k][l]は、マーカー候補画像fの画素位置(k、l)の画素値(0または1)である。
t[k][l]は、標準マーカーテンプレートtの画素位置(k、l)の画素値(0または1)である。
オーバーライン付fは、マーカー候補画像fの画素値の平均値である。
オーバーライン付tは、標準マーカーテンプレートtの画素値の平均値である。

なお、たとえば、拡張現実感プログラミングライブラリーであるARToolKitのarDetectMarkerを用いることにより、撮影画像からマーカーを容易に抽出することができる。ここで、ARToolKitは、the University of Washingtonのthe Human Interface Technology Laboratoryが開発提供するオープンソースのプログラミングライブラリーである。

以下に、次に、図2における(9)《 座標変換式算出処理》の詳細な流れを説明する。
(9−1)《二次元撮影画像の三次元座標変換》
家具シミュレーション装置300は、(7)《カメラ校正処理》により算出したカメラ内部行列Kを設定した座標変換式(数式13)を用いて、撮影画像平面座標系(xp 、yp )の、撮影画像から切り取ったマーカー画像201の座標値(xp 、yp )を、カメラ座標系の座標値(Xc 、Yc 、Zc )に透視変換する。
pは、撮影画像平面座標系における撮影画像のx座標値である。ypは、撮影画像平面座標系における撮影画像のy座標値である。
cは、カメラ座標系における撮影画像のX座標値である。Ycは、カメラ座標系における撮影画像のY座標値である。Zcは、カメラ座標系における撮影画像のZ座標値である。
Kは、校正したカメラ内部行列である。αu、αv、u0、v0、bは、カメラ内部行列Kの5つパラメーターの値である。hは、カメラ原点と画像平面の距離である。

(9−2)《正射影変換関係式の導出》
家具シミュレーション装置300は、正射影変換関係式(たとえば、正射影変換(=アフィン変換)行列関係式として、すでに数学的に分かっている下記の数式14)に対して、カメラ座標系の室内撮影画像のマーカー画像201の4つの頂点座標値[Xck 、Yck 、Zck ](k=1、2、3、4)と、室内空間座標系のマーカー200の4つの頂点座標値[Xmk、Ymk 、Zmk ](k=1、2、3、4)とを対応付けて代入して12個の式を作成して、これらを解いて、座標変換行列の回転移動成分の9つの行列要素Rij (i,j=1、2,3)と、座標変換行列の平行移動成分の3つの行列要素Ti (i=1、2,3)と、を算出して、デジタルカメラ座標系(Xc 、Yc 、Zc )と室内空間座標系(Xm、Ym 、Zm )との三次元正射影変換関係式(下記の数式15)を導出して、この式を撮影条件の三次元座標変換式に設定する。
c は、カメラ座標系における画像のX座標値である。Yc は、カメラ座標系における画像のY座標値である。Zc は、カメラ座標系における画像のZ座標値である。
mは、室内空間座標系における画像のX座標値である。Ym は、室内空間座標系における画像のY座標値である。Zm は、室内空間座標系における画像のZ座標値である。
ij は、正射影変換関係式の行列要素の回転移動成分である。
i は、正射影変換関係式の行列要素の平行移動成分である。
ここで、i,j=1、2,3である。
a 、Rb 、・・、Ri は、算出した回転移動成分の行列要素である。Ta 、Tb 、Tc は、算出した平行移動成分の行列要素である。

なお、たとえば、前述したARToolKitのarGetTransMat を用いることにより、室内撮影画像データのマーカー画像を適用して、正射影変換関係式を、容易に求めることができる。

図13は、デジタルカメラ100の詳細な構成図である。
デジタルカメラ100は、マイクロコンピューター110と、レンズ161と、レンズ位置制御部170と、撮像部160と、A/D変換部120と、照明部150と、操作部130と、表示部140と、接続部180と、電源部183と、画像記録部190などから構成される。

マイクロコンピューター110は、デジタルカメラの各種の機能を実現するプログラムやハードウェアを有する大規模集積回路(LSI)である。

レンズ161は、入射した光を屈折させて実像を撮像部に結像させるための光学素子である。
レンズ位置制御部170は、マイクロコンピューター110の指示に従って、レンズ161を移動させるモーターである。

撮像部160は、レンズを通過した光学的信号を電気的信号に変換して、アナログ信号の画像データを生成するCCDやCMOSである。
A/D変換部:アナログ信号の画像データからデジタル信号の撮影画像データ195に変換して、マイクロプロセッサーに出力する。

照明部150は、マイクロコンピューター110の指示に従って、発光するストロボである。

表示部140は、撮影画像データやデジタルカメラの設定情報などを表示する液晶表示装置やELデバイスなどである。
操作部130は、焦点距離情報などのデジタルカメラの設定情報を入力または変更するメニューボタンや、電源スイッチなどから構成される。

画像記録部190は、撮影画像データ195を記憶する半導体メモリーである。

接続部180は、ホスト機器(=家具シミュレーション装置300)に接続するためのUSB(Universal Serial Bus)アダプターである。
接続部180は、USB接続した家具シミュレーション装置300に画像データを出力する。
電源部183は、二次電池である。

そのほかに、図示はしないが、絞りリングや、マイクロコンピューターの指示に従って、モーターを駆動させて、絞りリングの開口面積を変更する絞り機構部などを有する。

デジタルカメラ100は、マイクロコンピューター110が、操作部130から入力された撮像光学系Lの焦点距離情報fをレンズの移動距離に換算して、このレンズの移動距離をモーターの回転量情報に変換して、このモーターの回転量情報を含む指示をレンズ位置制御部170に出力する。
デジタルカメラ100は、撮像部160が、レンズ161を通過した光学的信号をアナログ信号に変換して、アナログ信号の画像データを生成する。次に、A/D変換部120が、デジタル信号の撮影画像データ195に変換して、マイクロプロセッサー110に出力する。
マイクロプロセッサー110は、入力した撮影画像データ195を表示部140や画像記録部190に出力する。

図14は、家具シミュレーション装置300の詳細な構成図である。
家具シミュレーション装置300は、CPU301と、表示部302と、操作部304と、接続部308と、記憶部309と専用プログラムなどを備える。
CPU301と、表示部102と、操作部304と、接続部308と、記憶部309とは、BUS399で接続される。

CPU301は、中央演算装置である。
表示部302は、液晶表示装置や有機EL表示装置である。
操作部304は、キーボードやマウスである。
接続部308は、USBアダプターである。

記憶部309は、半導体メモリーや磁気メモリーである。
記憶部309は、標準マーカー格納領域3091と、内部パラメーター格納領域3092と、標準校正パターン格納領域3093と、正射影変換関係式格納領域3094と、撮影画像格納領域3095と、合成用画像格納領域3097と、を備えて、オペレーティングシステム385と、三次元CGプログラム380と、専用プログラムとを記憶する。

標準マーカー格納領域3091は、寸法情報と標準マーカーテンプレート(たとえば、図柄情報)を含む標準マーカー情報391を格納する。
家具モデル格納領域3092は、家具モデルデータ392を格納する。
標準校正パターン格納領域3093は、標準校正パターン情報393を格納する。
正射影変換関係式格納領域3094は、正射影変換関係式情報398(数式15)を格納する。
撮影画像格納領域3095は、室内撮影画像データと校正パターン撮影画像データとから校正される撮影画像データ195を格納する。
合成用画像格納領域3096は、家具CG画像データ396を格納する。
内部パラメーター格納領域3097は、内部パラメーター情報397(数式2)を格納する。

オペレーティングシステム385は、家具シミュレーション装置300のハードウェア(たとえば、CPU301と、表示部302と、接続部308と、記憶部309と、BUS399など)を管理・制御して、応用ソフトウエア(たとえば、専用プログラム)に対して、これらのハードウェアを利用できるようなサービスを提供する基本ソフトウエアである。
三次元CGプログラム380は、既存のプログラムであって、レンダリング処理のアルゴリズムは、限定されず、入手可能なものを用いればよい。

このほかに、撮影画像入力手段310と、カメラ校正手段320と、マーカー検出手段330と、正射影変換式導出手段340と、合成画面作成表示手段350と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがCPU301に解釈・実行されることによって機能する。

撮影画像入力手段310は、デジタルカメラ100が出力する室内撮影画像と校正パターン撮影画像データを有する撮影画像データを、接続部308を経由して入力する。

カメラ校正手段320は、入力した校正パターン撮影画像データと標準校正パターン情報を用いて、カメラの内部パラメーターK(数式2)を導出する。
カメラ校正手段320の処理の詳細は、図11の(7)《カメラ校正処理》の詳細な流れを説明する項で述べた。

マーカー検出手段330は、標準マーカー情報の標準マーカーテンプレートを用いて、室内撮影画像からマーカー画像201を検出して切り出す。
なお、マーカー検出手段330の処理の詳細は、図12の(8)《マーカーの切り出し処理》の詳細な流れを説明する項で述べた。

正射影変換式導出手段340は、検出したマーカー画像の4つの頂点座標と標準マーカー情報の寸法情報を用いて、正射影変換関係式(数式15)を導出する。
なお、正射影変換式導出手段340の処理の詳細は、図12の(9)《座標変換式算出処理》の詳細な流れを説明する項で述べた。

合成画面作成表示手段350は、家具モデルデータに対して正射影変換関係式を適用して、三次元CGプログラム380を呼び出して、レンダリング処理させてマーカーの方向に対応付けられた家具CG動画データを作成させて、これを室内撮影画像データに重畳して合成して、表示部に表示する。
ここで、室内撮影画像データが動画の場合には、合成画面作成表示手段350は、生成した家具CG動画データを、実時間で室内撮影画像データに重畳して合成して、表示部に表示する。

100 デジタルカメラ
110 マイクロコンピューター
161 レンズ
170 レンズ位置制御部
160 撮像部
120 A/D変換部
150 照明部
130 操作部
140 表示部
180 接続部
195 撮影画像データ
200 マーカー
201 マーカー画像
300 家具シミュレーション装置
310 撮影画像入力手段
320 カメラ校正手段
330 マーカー検出手段
340 正射影変換式導出手段
350 合成画面作成表示手段
380 三次元CGプログラム
400 校正パターン

Claims (7)

  1. 寸法と図柄が既知の標準マーカーと、標準校正パターンと、家具モデルデータと、を用いる家具シミュレーション方法であって、
    操作者が、デジタルカメラにより、前記標準マーカーを置いた室内を撮影して、室内撮影画像データを生成する室内撮像ステップと、
    操作者が、デジタルカメラに、室内を撮影した時と同じ焦点距離を設定して、標準校正パターンを撮影して、校正パターン撮影画像データを生成する校正パターン撮像ステップと、
    家具シミュレーション装置が、少なくとも3つの校正パターン撮影画像データから、カメラ座標系と撮影平面座標系との関係を表すカメラ内部パラメーターを導出するカメラ校正ステップと、
    家具シミュレーション装置が、標準マーカーの図柄情報を用いて、室内撮影画像から標準マーカー画像を検出するマーカー検出ステップと、
    家具シミュレーション装置が、前記カメラ内部パラメーターを用いて、検出した標準マーカー画像を三次元マーカー画像に変換して、変換した三次元マーカー画像と標準マーカーの寸法情報とを用いて、三次元正射影変換関係式を導出する正射影変換式導出ステップと、
    家具シミュレーション装置が、家具モデルデータに対して三次元正射影変換関係式を適用して、レンダリング処理して、家具CG画像データを生成して、これを室内撮影画像データに重畳して合成して、表示部に表示する合成画面作成表示ステップと、
    を含んだ手順でなされることを特徴とする家具シミュレーション方法。
  2. 寸法と図柄が既知の標準マーカーと、標準校正パターンと、家具モデルデータと、を用いる家具シミュレーション方法であって、
    顧客が、デジタルカメラにより、前記標準マーカーを置いた室内を撮影して、室内撮影画像データを生成する室内撮像ステップと、
    顧客が、室内を撮影したデジタルカメラと、室内撮影画像データを店舗に持参する店舗持参ステップと、
    店員が、デジタルカメラに、室内を撮影した時と同じ焦点距離を設定して、標準校正パターンを撮影して、校正パターン撮影画像データを生成する校正パターン撮像ステップと、
    家具シミュレーション装置が、少なくとも3つの校正パターン撮影画像データから、カメラ座標系と撮影平面座標系との関係を表すカメラ内部パラメーターを導出するカメラ校正ステップと、
    家具シミュレーション装置が、標準マーカーの図柄情報を用いて、室内撮影画像からマーカー画像を検出するマーカー検出ステップと、
    家具シミュレーション装置が、前記カメラ内部パラメーターを用いて、検出したマーカー画像を三次元マーカー画像に変換して、変換した三次元マーカー画像と標準マーカーの寸法情報とを用いて、三次元正射影変換関係式を導出する正射影変換式導出ステップと、
    家具シミュレーション装置が、家具モデルデータに対して三次元正射影変換関係式を適用して、レンダリング処理して、家具CG画像データを生成して、これを室内撮影画像データに重畳して合成して、表示部に表示する合成画面作成表示ステップと、
    を含んだ手順でなされることを特徴とする家具シミュレーション方法。
  3. 請求項1または請求項2における家具シミュレーション方法において、
    前記カメラ校正ステップが、さらに、
    少なくとも3つの校正パターン撮影画像データからパターンの特徴点情報を抽出する特徴点抽出工程と、
    抽出した特徴点情報と標準校正パターン情報を、ホモグラフィー行列式に代入して、少なくとも3組のホモグラフィー行列要素を算出するホモグラフィー行列算出工程と、
    少なくとも3組のホモグラフィー行列要素を、ホモグラフィー内部パラメーター関係式に代入して、カメラ内部パラメーターを算出する内部パラメーター算出工程と、
    を含んだ手順でなされることを特徴とする家具シミュレーション方法。
  4. 寸法情報と図柄情報が既知の標準マーカー情報を格納する標準マーカー格納領域と、
    家具モデルデータを格納する家具モデル格納領域と、
    標準校正パターン情報を格納する標準校正パターン格納領域と、
    を備える記憶手段と、
    焦点距離を設定したデジタルカメラが、前記標準マーカーを置いた室内を撮影して生成した室内撮影画像データと、
    室内を撮影した時と同じ焦点距離を設定したデジタルカメラが、校正パターンを撮影して生成した校正パターン撮影画像データを、入力する撮影画像入力手段と、
    少なくとも3つの校正パターン撮影画像データからパターンの特徴点情報を抽出して、抽出した特徴点情報と標準校正パターン情報を用いて、少なくとも3つのホモグラフィー行列を算出して、これらのホモグラフィー行列式を解いて、カメラ内部パラメーターを導出するカメラ校正手段と、
    標準マーカー情報の図柄情報を用いて、室内撮影画像データからマーカー画像データを検出するマーカー検出手段と、
    前記カメラ内部パラメーターを用いて、検出したマーカー画像を三次元マーカー画像に変換して、変換した三次元マーカー画像と標準マーカーの寸法情報とを用いて、三次元正射影変換関係式を導出する正射影変換式導出手段と、
    家具モデルデータに対して三次元正射影変換関係式を適用して、レンダリング処理して、これを撮影画像データに重畳して合成して、表示部に表示する合成画面作成表示手段と、
    を備えることを特徴とする家具シミュレーション装置。
  5. 請求項4における家具シミュレーション装置において、
    前記カメラ校正手段が、さらに、
    少なくとも3つの校正パターン撮影画像データからパターンの特徴点情報を抽出する特徴点抽出機能と、
    抽出した特徴点情報と標準校正パターン情報を、ホモグラフィー行列式に代入して、少なくとも3組のホモグラフィー行列要素を算出するホモグラフィー行列算出機能と、
    少なくとも3組のホモグラフィー行列要素を、ホモグラフィー内部パラメーター関係式に代入して、カメラ内部パラメーターを算出する内部パラメーター算出機能と、
    を備えることを特徴とする家具シミュレーション装置。
  6. コンピュータに組込むことによって、コンピュータを請求項4または請求項5に記載の家具シミュレーション装置として動作させるコンピュータプログラム。
  7. 請求項6に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体。

JP2009142530A 2009-06-15 2009-06-15 家具シミュレーション方法、装置、プログラム、記録媒体 Withdrawn JP2010287174A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009142530A JP2010287174A (ja) 2009-06-15 2009-06-15 家具シミュレーション方法、装置、プログラム、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009142530A JP2010287174A (ja) 2009-06-15 2009-06-15 家具シミュレーション方法、装置、プログラム、記録媒体

Publications (1)

Publication Number Publication Date
JP2010287174A true JP2010287174A (ja) 2010-12-24

Family

ID=43542804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009142530A Withdrawn JP2010287174A (ja) 2009-06-15 2009-06-15 家具シミュレーション方法、装置、プログラム、記録媒体

Country Status (1)

Country Link
JP (1) JP2010287174A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013054740A (ja) * 2011-08-31 2013-03-21 Zazzle.Com Inc カスタム製品のその場可視化
CN103026328A (zh) * 2011-05-26 2013-04-03 松下电器产业株式会社 电子设备以及合成图像的编辑方法
CN103134477A (zh) * 2013-01-31 2013-06-05 南昌航空大学 一种基于双目立体视觉的直升机旋翼桨叶运动参数测量方法
JP2013109624A (ja) * 2011-11-22 2013-06-06 Hitachi Plant Technologies Ltd 画像処理装置、画像処理方法
WO2013176525A1 (ko) * 2012-05-25 2013-11-28 주식회사 고영테크놀러지 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법
KR101427730B1 (ko) 2012-05-25 2014-09-23 주식회사 고영테크놀러지 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법
US8856160B2 (en) 2011-08-31 2014-10-07 Zazzle Inc. Product options framework and accessories
US8958633B2 (en) 2013-03-14 2015-02-17 Zazzle Inc. Segmentation of an image based on color and color differences
WO2015040657A1 (ja) * 2013-09-20 2015-03-26 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9213920B2 (en) 2010-05-28 2015-12-15 Zazzle.Com, Inc. Using infrared imaging to create digital images for use in product customization
JP2016197342A (ja) * 2015-04-03 2016-11-24 株式会社サイバーウォーカー 拡張現実プログラム、拡張現実提供方法、拡張現実提供装置、及び情報配信方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9355421B2 (en) 2007-10-26 2016-05-31 Zazzle Inc. Product options framework and accessories
US9147213B2 (en) 2007-10-26 2015-09-29 Zazzle Inc. Visualizing a custom product in situ
US9183582B2 (en) 2007-10-26 2015-11-10 Zazzle Inc. Tiling process for digital image retrieval
US9213920B2 (en) 2010-05-28 2015-12-15 Zazzle.Com, Inc. Using infrared imaging to create digital images for use in product customization
CN103026328A (zh) * 2011-05-26 2013-04-03 松下电器产业株式会社 电子设备以及合成图像的编辑方法
US20140082491A1 (en) * 2011-05-26 2014-03-20 Panasonic Corporation Electronic device and editing method for synthetic image
JP2013054740A (ja) * 2011-08-31 2013-03-21 Zazzle.Com Inc カスタム製品のその場可視化
US8856160B2 (en) 2011-08-31 2014-10-07 Zazzle Inc. Product options framework and accessories
US9436963B2 (en) 2011-08-31 2016-09-06 Zazzle Inc. Visualizing a custom product in situ
JP2013109624A (ja) * 2011-11-22 2013-06-06 Hitachi Plant Technologies Ltd 画像処理装置、画像処理方法
KR101427730B1 (ko) 2012-05-25 2014-09-23 주식회사 고영테크놀러지 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법
WO2013176525A1 (ko) * 2012-05-25 2013-11-28 주식회사 고영테크놀러지 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법
US9773312B2 (en) 2012-05-25 2017-09-26 Koh Young Technology Inc. Method of registrating a camera of a surgical navigation system for an augmented reality
CN103134477A (zh) * 2013-01-31 2013-06-05 南昌航空大学 一种基于双目立体视觉的直升机旋翼桨叶运动参数测量方法
US8958633B2 (en) 2013-03-14 2015-02-17 Zazzle Inc. Segmentation of an image based on color and color differences
JPWO2015040657A1 (ja) * 2013-09-20 2017-03-02 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2015040657A1 (ja) * 2013-09-20 2015-03-26 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2016197342A (ja) * 2015-04-03 2016-11-24 株式会社サイバーウォーカー 拡張現実プログラム、拡張現実提供方法、拡張現実提供装置、及び情報配信方法

Similar Documents

Publication Publication Date Title
JP4958497B2 (ja) 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体
EP0782100B1 (en) Three-dimensional shape extraction apparatus and method
US6781618B2 (en) Hand-held 3D vision system
US7317558B2 (en) System and method for image processing of multiple images
Avidan et al. Novel view synthesis by cascading trilinear tensors
JP4522140B2 (ja) 指標配置情報推定方法および情報処理装置
CN101162524B (zh) 图像处理设备及方法
Jagannathan et al. Perspective correction methods for camera based document analysis
JP3148045B2 (ja) 三次元物体cg作成装置
EP1223540A2 (en) Method and apparatus for collating object
JP2014510958A (ja) テキストベース3d拡張現実
JP4238856B2 (ja) 画像合成方法、グラフィック・コントローラ及びデジタル画像装置
CN100578141C (zh) 放置信息估计方法以及信息处理装置
JP4282216B2 (ja) 3次元位置姿勢センシング装置
EP1521482B1 (en) Image display apparatus and method
US20030012410A1 (en) Tracking and pose estimation for augmented reality using real features
JP4926817B2 (ja) 指標配置情報計測装置および方法
US7519218B2 (en) Marker detection method and apparatus, and position and orientation estimation method
JP5989113B2 (ja) 1つまたは複数のチェッカーボードパターンの画像を用いた自動カメラキャリブレーションの方法および装置
Gledhill et al. Panoramic imaging—a review
EP1986154A1 (en) Model-based camera pose estimation
Hsu et al. Automated mosaics via topology inference
US7554575B2 (en) Fast imaging system calibration
US20030218607A1 (en) Three-dimensional computer modelling
US20120242795A1 (en) Digital 3d camera using periodic illumination

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20120904