JP2009271822A - 室内調度品購入支援システム、方法、プログラム、媒体 - Google Patents
室内調度品購入支援システム、方法、プログラム、媒体 Download PDFInfo
- Publication number
- JP2009271822A JP2009271822A JP2008123208A JP2008123208A JP2009271822A JP 2009271822 A JP2009271822 A JP 2009271822A JP 2008123208 A JP2008123208 A JP 2008123208A JP 2008123208 A JP2008123208 A JP 2008123208A JP 2009271822 A JP2009271822 A JP 2009271822A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- picture
- image
- information
- marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【解決手段】カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレームを取得し、そのフレームが第1フレームであれば、基準マーカを用いて、第1フレームを正規化して、絵画を検出して、絵画の位置と特徴点と特徴点の位置を絵画追跡辞書に登録し、取得したフレームが第2フレーム以降のフレームであれば、画追跡辞書の絵画位置を用いて、このフレームにおける絵画位置を予測して、絵画を予測検出して、絵画追跡辞書を更新し、絵画追跡辞書の特徴点位置と絵画検出辞書の特徴点の座標と透視変換行列とを用いて、額縁画像を座標変換してフレームに合成して額縁シミュレーション動画像を表示することを特徴とする額縁選択装置である。
【選択図】図1
Description
本発明は特に、絵画の額縁を購入検討するときに、額縁が絵画や室内に調和するか否かを検討する場合に有用である。
たとえば、額縁付きの絵画を部屋に掛ける場合に、額縁によって絵画の印象は大きく変わってくるので、額縁選びは大変重要である。
以下に、絵画に合った額縁の選び方とその問題点について説明する。
絵画と額縁の調和を検討する場合には、絵の寸法に合う額縁が、販売店舗(たとえば、画廊や額縁販売店など)に在庫しているとは限らず額縁に絵を入れることができないので、額縁の切れ端見本を見て額縁に入れた絵の印象を想像して、額縁を選択している。
従って、実際に、額に絵をはめ込むと、想像した印象と異なり不具合を感じるなど、額縁の切れ端見本と絵を見比べるだけでは、適切な額縁を選むことは難しい。
《2.部屋に合う額縁の選び方》
部屋と額縁の調和を検討する場合には、たとえば、額縁カタログを持ち帰って、額縁付きの絵画を壁に掛けた状況を想像して、額縁を選択している。
従って、実際に、額縁付きの絵画を壁に掛けると、壁の質感や色と調和が取れないことや、部屋の雰囲気と調和が取れないなど、額縁カタログと部屋を見比べるだけでは、部屋に調和する額縁を選ぶことは難しい。
《3.コンピュータ・シミュレーション》
そこで、絵画や部屋に合う額縁を選ぶときに、AR技術を用いて、実写画像に3次元仮想モデル画像を合成したシミュレーションによる額縁選択方法が考えられる。
たとえば、非特許文献1では、撮影した現実世界に含まれるマーカ画像(=壁にマーカを貼った部屋の実写映像)から撮影角度と撮影距離とを算出して、マーカに対応する仮想物体(=額縁付きの絵画)に対して、算出した角度と距離の情報を適用して3次元加工して、この3次元加工した対象画像を、撮影動画像のマーカの位置にリアルタイムで重畳して合成動画像を作成して再生する技術が開示されている。
あるいは、特許文献1では、実写映像の各フレームの特徴点を求めて、そのマーカ位置を手がかりにして、次のフレームの基準点マーカの位置を予測して、検知することで、効率よく、基準点マーカを追跡できる技術が開示されている。
ここで、ARとは、Augmented Realityの略である。ARは、日本語では、拡張現実や、強化現実と称する。
AR技術により現実を動画撮影した実写映像に仮想物体をリアルタイムで重畳することで、あたかも、現実空間に仮想物体があるかのような映像を再生させることができる。
また、AR技術で用いるマーカとは、二次元コード画像である。
また、特許文献1や非特許文献1では、撮影動画像のマーカの位置に仮想物体を重畳するときには、マーカに対応した仮想物体を予め記憶した装置を用いなければならないので、ARを利用する装置が限定されて、柔軟なAR利用ができないという欠点があった。
「フレーム」とは、カメラが撮影した二次元静止画像である。フレームを所定の順番で表示することにより、動画を再生することができる。(図15、図29を参照)
「特徴点」とは、フレーム中の画像パターンが有する端点、頂点、角などである。(図9を参照)
「マーカ」とは、識別のパターンと方形枠とを有する図形である。マーカ図形の寸法は、既知である。(図5を参照)
「透視変換」とは、フレーム中の二次元画像の座標情報(=観測画面座標系の座標情報)を、カメラ座標系の座標情報に変換することである。(図21を参照)
「射影変換」とは、カメラ座標系の座標情報を、フレーム中の二次元画像の座標情報に変換することである。
「座標変換」とは、マーカを表現するマーカ座標系の座標情報を、カメラ座標系に座標情報に変換することである。(図22を参照)
「カメラ座標系」とは、マーカに対するカメラの位置を原点とする座標系である。(図23を参照)
すなわち、本願発明の第1の発明は、絵画の特徴点情報と、その特徴点の座標情報(=マーカ座標系における座標情報)と、を含む絵画検出辞書を記憶する絵画検出辞書格納部と、
絵画の位置情報(=観測画面座標系の座標情報)と、絵画の特徴点情報と、特徴点の位置情報(=観測画面座標系の座標情報)とを含む絵画追跡辞書を記憶する絵画追跡辞書格納部と、
四頂点座標情報(=マーカ座標系における座標情報)を含む基準マーカ情報を記憶する基準マーカ格納部と、
額縁画像を含む額縁データを記憶する額縁格納部と、
透視変換行列情報と射影変換行列情報とを記憶する透視変換行列格納部と、
を含む記憶部と、
フレームから構成される動画像を作成するカメラ部と、
カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレーム(=観測画面座標系の座標情報)を取得するフレーム取得手段と、
フレーム取得手段が取得したフレームが第1フレームであれば、第1フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第1フレームを正規化して、特徴点情報を抽出する第1フレーム特徴点抽出手段と、
第1フレーム特徴点抽出手段が抽出した特徴点情報を用いて、絵画検出辞書格納部の絵画検出辞書と照合して、第1フレームの絵画を検出する絵画検出手段と、
絵画検出手段が検出した絵画から、絵画の位置情報と特徴点情報と特徴点の位置情報と、を算出し、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部に登録する追跡辞書登録手段と、
フレーム取得手段が取得したフレームが第2フレーム以降のフレームであれば、画追跡辞書格納部が記憶する絵画位置情報を用いて、このフレームにおける絵画位置を予測して、予測した絵画位置にあるフレームの特徴点情報を抽出する絵画予測特徴点抽出手段と、
絵画予測特徴点抽出手段が抽出した特徴点を用いて、画追跡辞書格納部が記憶する絵画追跡辞書の特徴点と照合して、フレーム取得手段が取得したフレームの絵画を検出する絵画予測検出手段と、
絵画予測検出手段が検出した絵画から、絵画の位置情報と特徴点情報と特徴点位置情報と、を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部の絵画追跡辞書を更新する追跡辞書更新手段と、
絵画追跡辞書の特徴点位置情報(=観測画面座標系の座標情報)と、絵画検出辞書の特徴点の座標情報(=マーカ座標系の座標情報)と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、これを額縁格納部の額縁画像(=マーカ座標系における座標情報)に適用して、座標変換した額縁画像(=カメラ座標系における座標情報)を作成して、この座標変換した額縁画像に透視変換行列格納部の射影変換行列情報を適用して、射影変換した額縁画像(=観測画面座標系の座標情報)を作成して、フレーム取得手段が取得したフレームに合成する額縁合成フレーム作成手段と、
額縁合成フレーム手段が合成したフレームから構成される額縁シミュレーション動画像を作成して表示する額縁シミュレーション表示手段と、
を備えることを特徴とする額縁選択装置である。
絵画追跡辞書に含まれる特徴点位置情報の中から、4箇所の特徴点の位置情報(=観測画面座標系の座標情報)を取得するフレーム特徴点取得手段と、
絵画検出辞書格納部が記憶する絵画検出辞書を参照して、フレーム特徴点取得手段が取得した4箇所の特徴点に対応する4個の特徴点の座標情報(=マーカ座標系の座標情報)を取得する辞書特徴点座標取得手段と、
フレーム特徴点取得手段が取得した4箇所の特徴点の位置情報に対して、透視変換行列格納部の透視変換行列情報を適用して、座標変換行列の回転成分を算出し、次に、算出した座標変換行列の回転成分と、フレーム特徴点取得手段が取得した4箇所の特徴点の位置情報と、辞書特徴点座標取得手段が取得した4個の特徴点の座標情報とを用いて、座標変換行列の平行移動成分を算出し、最後に、算出した回転成分と平行移動成分とを用いて、座標変換行列を算出する座標変換算出手段と、
座標変換算出手段が算出した座標変換行列を、額縁格納部の額縁データが有する額縁画像に適用して、座標変換した額縁画像を作成し、座標変換した額縁画像に射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームの絵画に合成する合成手段と、
から構成されることを特徴とする請求項1に記載の額縁選択装置である。
フレーム取得手段が取得したフレームが第1フレームであれば、第1フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第1フレームの基準マーカ画像の形状が、基準マーカ格納部の四頂点座標情報により形成する基準マーカ形状と、相似形になるように、第1フレームを変形して、正規化した第1フレームを作成して、作成した正規化した第1フレームから特徴点情報を抽出する、
ことを特徴とする請求項1に記載の額縁選択装置である。
を備えることを特徴とする請求項1に記載の額縁選択装置である。
マーカ識別情報を符号化した画像を含むマーカを印刷するマーカ印刷手段と、
を備えることを特徴とする請求項1に記載の額縁選択装置である。
を備えることを特徴とする請求項1に記載の額縁選択装置である。
マーカ識別情報と額縁と絵画を合成した画像とを対応付けた額付き絵画画像を保持する額付き絵画画像データベースと、
を記憶する記憶部と、
額縁選択装置が送信する額縁選択情報を含むデータベース検索クエリを受信して、記憶部のデータベースを検索して、抽出した額縁画像を含む額縁データを返信する額縁返信手段と、
額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベースに登録する額付き絵画画像登録手段と、
携帯端末装置が送信するマーカ識別情報を含むデータベース検索クエリを受信して、額付き絵画画像データベースを検索して、該当する額付き絵画画像を取得して、これを携帯端末装置に返信する額付き絵画画像返信手段と、
を備えることを特徴とするデータサーバ装置である。
である。
前記額縁選択装置は、
絵画の特徴点情報と、その特徴点の座標情報と、を含む絵画検出辞書を記憶する絵画検出辞書格納部と、
絵画の位置情報と、絵画の特徴点情報と、この特徴点の座標情報とを含む絵画追跡辞書を記憶する絵画追跡辞書格納部と、
四頂点座標情報を含む基準マーカ情報を記憶する基準マーカ格納部と、
額縁画像を含む額縁データを記憶する額縁格納部と、
透視変換行列情報と射影変換行列情報とを記憶する透視変換行列格納部と、
を含む記憶部と、
フレームから構成される動画像を作成するカメラ部と、
寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額縁データを受信して、額縁データを額縁格納部に記憶する額縁取得手段と、
カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレームを取得するフレーム取得手段と、
フレーム取得手段が取得したフレームが第1フレームであれば、第1フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第1フレームを正規化して、正規化した第1フレームから特徴点情報を抽出する第1フレーム特徴点抽出手段と、
第1フレーム特徴点抽出手段が抽出した特徴点情報を用いて、絵画検出辞書格納部の絵画検出辞書と照合して、第1フレームの絵画を検出する絵画検出手段と、
絵画検出手段が検出した絵画の位置情報と特徴点情報と、この特徴点の位置情報と、を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部に登録する追跡辞書登録手段と、
フレーム取得手段が取得したフレームが第2フレーム以降のフレームであれば、画追跡辞書格納部が記憶する絵画位置情報を用いて、このフレームの絵画位置を予測して、予測した絵画位置にあるフレーム上の特徴点情報を抽出する絵画予測特徴点抽出手段と、
絵画予測特徴点抽出手段が抽出した特徴点を用いて、画追跡辞書格納部が記憶する絵画追跡辞書の特徴点と照合して、フレーム取得手段が取得したフレームの絵画を検出する絵画予測検出手段と、
絵画予測検出手段が検出した絵画の位置情報と特徴点情報と、この特徴点の位置情報を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部の絵画追跡辞書を更新する追跡辞書更新手段と、
絵画追跡辞書の特徴点の位置座標情報と、絵画検出辞書の特徴点の座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、これを額縁格納部の額縁画像に適用して、座標変換した額縁画像を作成して、この座標変換した額縁画像に射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームに合成する額縁合成フレーム作成手段と、
額縁合成フレーム手段が合成したフレームから構成される額縁シミュレーション動画像を作成して表示する額縁シミュレーション表示手段と、
を備える選択装置であって、
前記データサーバ装置は、
寸法情報を含む額縁選択情報と額縁画像とを対応付けた額縁情報を記憶する額縁データベースとを記憶する記憶部と、
額縁選択装置が送信する額縁選択情報を含むデータベース検索クエリを受信して、記憶部のデータベースを検索して、抽出した額縁画像を返信する額縁返信手段、
を備えるサーバ装置である、
ことを特徴とする室内調度品購入支援システムである。
前記額縁合成フレーム作成手段は、
絵画追跡辞書に含まれる特徴点位置情報の中から、4箇所の特徴点の位置情報を取得するフレーム特徴点取得手段と、
絵画検出辞書格納部が記憶する絵画検出辞書を参照して、フレーム特徴点取得手段が取得した4箇所の特徴点に対応する4個の特徴点の座標情報を取得する辞書特徴点座標取得手段と、
フレーム特徴点取得手段が取得した4箇所の特徴点位置情報に対して、透視変換行列格納部の透視変換行列情報を適用して、額縁用座標変換行列の回転成分を算出し、次に、算出した額縁用座標変換行列の回転成分と、フレーム特徴点取得手段が取得した4箇の特徴点位置情報と、辞書特徴点座標取得手段が取得した4個の特徴点の座標情報とを用いて、額縁用座標変換行列の平行移動成分を算出し、最後に、算出した回転成分と平行移動成分とを用いて、額縁用座標変換行列を算出する座標変換算出手段と、
座標変換算出手段が算出した額縁用座標変換行列を、額縁格納部の額縁データが有する額縁画像に適用して、座標変換した額縁画像を作成し、座標変換した額縁画像に射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームの絵画に合成する合成手段と、
とから構成される手段である、
ことを特徴とする請求項8に記載の室内調度品購入支援システムである。
である。
前記第1フレーム特徴点抽出手段が、
フレーム取得手段が取得したフレームが第1フレームであれば、第1フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第1フレームの基準マーカ画像の形状と、基準マーカ格納部の四頂点座標情報により形成される基準マーカ形状と、を比較して両者が相似形になるように第1フレームを変形して、正規化した第1フレームを作成して、作成した正規化した第1フレームから特徴点情報を抽出する、
ことを特徴とする請求項8に記載の室内調度品購入支援システムである。
絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、カメラで撮影した絵画のフレームから絵画の特徴点情報を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報を算出して、抽出した特徴点情報と、算出した特徴点の座標情報と、を含む絵画検出辞書を作成して、絵画検出辞書格納部に登録する絵画検出辞書登録手段、
を備えることを特徴とする請求項8に記載の室内調度品購入支援システムである。
前記額縁選択装置は、
登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像を作成して、データサーバ装置に送信する額付き絵画画像送信手段と、
マーカ識別情報を符号化した画像を含むマーカを印刷するマーカ印刷手段と、
を備える選択装置であって、
前記データサーバ装置は、
前記記憶部は、さらに、マーカ識別情報と額縁と絵画を合成した画像とを対応付けた額付き絵画画像を保持する額付き絵画画像データベースを記憶して、
額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベースに登録する額付き絵画画像登録手段と、
携帯端末装置が送信するマーカ識別情報を含むデータベース検索クエリを受信して、額付き絵画画像データベースを検索して、該当する額付き絵画画像を取得して、これを携帯端末装置に返信する額付き絵画画像返信手段と、
を備えるサーバ装置であって、
前記携帯端末装置は、
額縁画像と絵画画像を合成した画像にマーカ識別情報を関連付けた額付き絵画画像を記憶する額付き絵画画像格納部と、
四頂点座標情報を含むマーカ情報を記憶するマーカ格納部と、
透視変換行列と射影変換行列とを記憶する透視変換行列格納部と、
座標変換行列を記憶する座標変換行列格納部と、
を有する記憶部と、
マーカを含む室内を撮影したフレームから構成される動画像を作成するカメラ部と
カメラ部が作成した動画像から順次にフレームを取得するフレーム取得手段と、
フレーム取得手段が取得したフレームからマーカ画像を取り出すマーカ画像取出手段と、
マーカ画像取出手段が取り出したマーカ画像の四頂点座標情報と、マーカ格納部が記憶する四頂点座標情報と、を用いて、マーカ画像を正規化して、正規化したマーカ画像からマーカ識別情報を復号するID復号手段と、
フレーム取得手段が取得したフレームが第1フレームであれば、復号したマーカ識別情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額付き絵画画像を受信して、額付き絵画画像格納部に格納する額付き絵画画像受信手段と、
マーカ格納部が記憶する四頂点座標情報と、マーカ画像取出手段が取り出したマーカ画像が有する四頂点の座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、これを額付き絵画画像格納部に格納された額付き絵画画像に適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像をフレーム取得手段が取得したフレームに合成する合成フレーム作成手段と、
合成フレーム手段が合成したフレームから構成される室内シミュレーション動画像を作成して表示する室内シミュレーション表示手段と、
を備える端末装置である、
ことを特徴とする請求項8に記載の室内調度品購入支援システムである。
前記ID復号手段は、
マーカ画像取出手段が取り出したマーカ画像の四頂点座標情報と、マーカ格納部の四頂点座標情報と、を用いて、第1フレームの基準マーカ画像の形状と、マーカ格納部の四頂点座標情報により形成される基準マーカ形状と、を比較して両者が相似形になるようにマーカ画像を変形して、正規化したマーカ画像を作成するマーカ正規化手段と、
マーカ正規化手段が正規化したマーカ画像からマーカ識別情報を復号する復号手段と、
から構成される手段である、
ことを特徴とする請求項12に記載の室内調度品購入支援システムである。
前記合成フレーム作成手段は、
マーカ画像取出手段が取り出したマーカ画像に対して、透視変換行列格納部が記憶する透視変換行列を適用して、透視変換したマーカ画像を作成する3次元マーカ作成手段と、
マーカ画像取出手段が取り出したマーカ画像の4頂点座標情報を算出して、算出した4頂点座標情報に対して、透視変換行列格納部が記憶する透視変換行列情報を適用して、座標変換行列の回転成分を算出する回転成分算出手段と、
回転成分算出手段が算出した座標変換行列の回転成分と、マーカ画像取出手段が算出したマーカ画像の4頂点座標情報と、マーカ格納部が記憶するマーカの4頂点座標情報と、を用いて、座標変換行列の平行移動成分を算出する平行移動成分手段と、
回転成分算出手段が算出した回転成分と平行移動成分手段が算出した平行移動成分とを用いて、座標変換行列を作成する行列算出手段と、
額付き絵画画像格納部が記憶する額縁と絵画を合成した画像に対して、行列算出手段が算出した座標変換行列を適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像を、フレーム取得手段が取得したフレームに合成する合成手段と、
から構成される手段である、
ことを特徴とする請求項12に記載の室内調度品購入支援システムである。
前記回転成分算出手段は、
マーカ画像取出手段が算出したマーカ画像の正方形枠の四頂点座標情報に対して、透視変換行列格納部が記憶する透視変換行列を適用して、マーカの正方形枠を底面としてカメラ部位置を頂点とする四角錘を作成して、この四角錘の向かい合う2枚の側面の法線ベクトルの組(U1、U2)と(U3、U4)とを算出して、それぞれの組の法線ベクトルの外積V1と外積V2とを算出して、さらに、この2つの外積V1とV2とから外積V3を算出して、最後に、3つの外積V1とV2とV3とから転置ベクトル[ V1 t V2 t V3 t ]を算出して、これを回転成分情報とする、
ことを特徴とする請求項14に記載の室内調度品購入支援システムである。
額縁選択情報と、寸法情報と額縁画像を含む額縁情報と、対応付けて記憶する額縁データベースと、
絵画の特徴点と特徴点座標情報を含む絵画検出辞書と、
座標変換行列と射影変換行列と、
額縁画像と、
を用いる室内調度品購入支援方法であって、
(1)額縁選択装置が、絵画と基準マーカを撮影したフレームから構成される動画像を作成するカメラから動画像を受け取り、動画像から順次にフレームを取得するフレーム取得ステップと、
(2)額縁選択装置が取得したフレームが第1フレームであれば以下の処理を行なうステップと、
(3−1)第1フレームから基準マーカ画像を取り出して、基準マーカ画像の四頂点座標情報と、基準マーカ情報の四頂点座標情報と、を用いて、第1フレームを正規化して、正規化した第1フレームから特徴点情報を抽出する第1フレーム特徴点抽出する第1フレーム特徴点抽出ステップと、
(3−2)抽出した特徴点情報を用いて、登録した絵画検出辞書と照合して、第1フレームの絵画を検出する絵画検出ステップと、
(3−3)検出した絵画の位置情報と特徴点情報と、特徴点の位置情報と、を算出し、これらを含む絵画追跡辞書を作成する絵画追跡辞書作成ステップと、
(4)額縁選択装置が取得したフレームが第2フレーム以降のフレームであれば以下の処理を行なうステップと、
(5−1)絵画追跡辞書の絵画位置情報を用いて、このフレームにおける絵画位置を予測して、予測した絵画位置にあるフレームの特徴点情報を抽出する絵画予測特徴点抽出ステップと、
(5−2)抽出した特徴点を用いて、絵画追跡辞書の特徴点と照合して、取得したフレームの絵画を検出する絵画予測検出ステップと、
(5−3)検出した絵画から、絵画の位置情報と特徴点情報と、この特徴点の位置情報と、を算出し、これらを含む絵画追跡辞書を作成して、既存の絵画追跡辞書を更新する絵画追跡辞書更新ステップと、
(6)額縁選択装置が、絵画追跡辞書の特徴点位置情報と、絵画検出辞書の特徴点座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、この算出した座標変換行列を、額縁格納部の額縁画像に適用して、座標変換した額縁画像を作成して、座標変換した額縁画像に射影変換行列を適用して、射影変換した額縁画像を作成して、これを、取得したフレームに合成する額縁合成フレーム作成ステップと、
(7)額縁選択装置が、合成したフレームから構成される額縁シミュレーション動画像を作成して表示する額縁シミュレーション表示ステップと、
を含んだ手順でなされることを特徴とする室内調度品購入支援方法である。
(1)額縁選択装置が、算出した特徴点位置情報の中から、4箇所の特徴点の位置情報を取得するフレーム特徴点取得ステップと、
(2)絵画検出辞書を参照して、フレーム特徴点取得ステップにて取得した4箇所の特徴点に対応する4個の特徴点の座標情報を取得する辞書特徴点座標取得ステップと、
(3)取得した4箇所の特徴点位置情報に対して、透視変換行列格納部の透視変換行列情報を適用して、座標変換行列の回転成分を算出する回転成分算出ステップと、
(4)算出した座標変換行列の回転成分と、フレーム特徴点取得ステップにて取得した4箇所の特徴点位置情報と、辞書特徴点座標取得ステップにて取得した4個の特徴点の座標情報とを用いて、座標変換行列の平行移動成分を算出する平行成分算出ステップと、
(5)算出した回転成分と平行移動成分とを用いて、額縁用座標変換行列を算出する座標変換行列算出ステップと、
(6)算出した額縁用座標変換行列を、額縁データが有する額縁画像に適用して、座標変換した額縁画像を作成し、座標変換した額縁画像に射影変換行列を適用して、射影変換した額縁画像を作成して、これを、取得したフレームの絵画に合成する合成ステップと、
から構成されるステップ、
を含んだ手順でなされることを特徴とする請求項16に記載の室内調度品購入支援方法である。
第1フレームから取り出した基準マーカ画像の四頂点座標情報と、基準マーカ格納部の基準マーカ情報と、を用いて、第1フレームの基準マーカ画像の形状が、基準マーカ格納部の基準マーカ情報の四頂点座標情報が形成する形状とは、相似形になるように、第1フレームを変形して、正規化した第1フレームを作成して、作成した正規化した第1フレームから特徴点情報を抽出する、
ことを特徴とする請求項16に記載の室内調度品購入支援方法である。
(1)額縁選択装置が、絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、カメラで撮影したフレームから絵画の特徴点情報を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報を算出して、抽出された特徴点と算出された特徴点座標情報を含む絵画検出辞書を作成して、登録する絵画検出辞書登録ステップと、
を含んだ手順でなされることを特徴とする請求項16に記載の室内調度品購入支援方法である。
(1)額縁選択装置が、寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、額縁データベースを検索して、額縁データを取得する額縁取得ステップと、
を含んだ手順でなされることを特徴とする請求項16に記載の室内調度品購入支援方法である。
(1)額縁選択装置が、登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像を作成して、データサーバ装置に送信する額付き絵画画像送信ステップと、
(2)データサーバ装置は、額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベースに登録する額付き絵画画像登録テップと、
(3)調度品選択装置がマーカ識別情報を符号化した画像を含むマーカを印刷するマーカ印刷ステップと、
(4)携帯端末装置が、印刷されたマーカを含む室内を撮影したフレームから構成される動画像を作成するカメラ部が作成した動画像から順次にフレームを取得して、以下の処理をするフレーム取得ステップと、
(5)携帯端末装置が、取得したフレームから取り出したマーカ画像の四頂点座標情報と、基準マーカ情報の四頂点座標情報と、を用いて、マーカ画像を正規化して、正規化したマーカ画像からマーカ識別情報を復号するID復号ステップと、
サブ
(5)携帯端末装置が、取得したフレームから取り出したマーカ画像の形状が、基準マーカ情報の四頂点座標情報により形成する基準マーカ形状と相似形になるように、マーカ画像を変形して、正規化するマーカ正規化作成ステップと、
(6)携帯端末装置が、正規化したマーカ画像からマーカ識別情報を復号する復号ステップと、
(7)携帯端末装置が取得したフレームが第1フレームであれば、以下の処理をするフレーム取得ステップと、
(7−1)復号したマーカ識別情報を含むデータベース検索クエリを構成して、額付き絵画画像データベースを検索して、額付き絵画画像を取得する額付き絵画画像検索ステップと、
(8)携帯端末装置が取得したフレームが第2フレーム以降であれば、以下の処理をするフレーム取得ステップと、
(8−1)マーカ識別情報が第1フレームのマーカ識別情報と等しいか否かを判定するステップと、
(8−2)マーカ識別情報が第1フレームのマーカ識別情報と等しくない場合には、当該フレームを第1フレームとして(7)に進む。
(8−3)マーカ識別情報が第1フレームのマーカ識別情報と等しい場合には、次のステップに進む。
(9)携帯端末装置がマーカ情報の四頂点座標情報と、フレームから取り出したマーカ画像が有する四頂点の座標情報と、透視変換行列情報と、を用いて、座標変換行列を算出して、これを取得された額付き絵画画像に適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像を、取得したフレームに合成する合成フレーム作成ステップと、
(10)携帯端末装置が、合成したフレームから構成される室内シミュレーション動画像を作成して表示する室内シミュレーション表示ステップと、
を含んだ手順でなされることを特徴とする請求項16に記載の室内調度品購入支援方法である。
(1)携帯端末装置が、取り出したマーカ画像を、マーカ情報の形状と相似形になるように変形して正規化するマーカ正規化ステップと、
(2)正規化したマーカ画像からマーカ識別情報を復号する復号ステップと、
を含んだ手順でなされることを特徴とする請求項21に記載の室内調度品購入支援方法である。
(1)携帯端末装置が、取り出したマーカ画像に対して、透視変換行列を適用して、透視変換したマーカ画像を作成する3次元マーカ作成ステップと、
(2)携帯端末装置が、マーカ画像の4頂点座標情報を算出して、算出した4頂点座標情報に対して、透視変換行列情報を適用して、座標変換行列の回転成分を算出する回転成分算出ステップと、
(3)携帯端末装置が、算出した座標変換行列の回転成分と、算出したマーカ画像の4頂点座標情報と、マーカの4頂点座標情報と、を用いて、座標変換行列の平行移動成分を算出する平行移動成分ステップと、
(4)携帯端末装置が、回転成分算出手段が算出した回転成分と平行移動成分手段が算出した平行移動成分とを用いて、座標変換行列を作成する行列算出ステップと、
(5)携帯端末装置が、額付き絵画画像格納部が記憶する額縁と絵画を合成した画像に対して、行列算出手段が算出した座標変換行列を適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像をフレーム取得手段が取得したフレームに合成する合成ステップと、
を含んだ手順でなされることを特徴とする請求項21に記載の室内調度品購入支援方法である。
携帯端末装置が、取り出したマーカ画像を用いて、マーカの正方形枠の辺を底辺としてカメラ部位置を頂点とする四角錘を作成して、この四角錘の向かい合う2枚の側面の法線ベクトルの組(U1、U2)と(U3、U4)とを算出して、それぞれの組の法線ベクトルの外積V1と外積V2とを算出して、さらに、この2つの外積V1とV2とから外積V3を算出して、3つの外積V1とV2とV3とを用いて転置ベクトル[ V1 t V2 t V3 t ]を算出して回転成分情報として、
前記平行移動成分算出ステップは、携帯端末装置が、取得したフレームのマーカ画像に対して、透視変換行列を適用して、透視変換したマーカ画像を作成して、算出した回転成分情報を適用して、透視変換したマーカ画像を回転させて、回転させたマーカ画像の4頂点の座標情報と、マーカ情報の4頂点座標情報と、を対比させて、平行移動成分情報を算出する
ことを特徴とする請求項23に記載の室内調度品購入支援方法である。
(1)絵画の寸法に相応しい額縁画像を用いて、絵画に額縁を合わせる額縁シミュレーションが可能である。
(2)所望の携帯端末装置を用いて、室内に額縁付き絵画を置く室内シミュレーションが可能である。
従って、本発明によれば、絵画に相応しく、室内で調和の取れた額縁を選択することができるという効果がある。
室内調度品購入支援システム1は、額縁選択装置100と、データサーバ装置300と、携帯端末装置500とが、ネットワーク900で接続されて構成される。
額縁選択装置100は、パーソナルコンピュータに、後述する専用プログラムを搭載したものである。
データサーバ装置300は、既存のデータベース管理プログラムを備えたサーバコンピュータに、後述する専用プログラムを搭載したものである。
携帯端末装置500の例としては、カメラ付き携帯電話などがある。
携帯端末装置500は、基地局600と無線電話で接続して、ゲートウェー800を介して、ネットワーク900と接続する。
以下に、購入する室内調度品として、額縁を例に説明する。室内調度品は、テーブルや椅子、など室内調度品であれば、何でも良い。
《1.室内調度品の選択》
画廊の販売者や額縁店の販売者(以下、額縁販売者)は、額縁選択装置100のカメラ106で絵画を撮影して、辞書に登録する(図2(1))。
額縁販売者は、額縁選択装置100のカメラ106で絵画を撮影して、辞書を用いて実写動画から絵画を検出して、室内調度品(=額縁)をリアルタイムに合成させて額縁シミュレーション動画を表示させる(同(2))。
額縁購入者は、気に入った額を絵画に合成して、データサーバ装置300に登録する(同(3))。
額縁販売者は、登録した額付絵画画像に対応したマーカを、額縁選択装置の印刷機14で印刷して、額縁購入者に渡す(同(4))。
額縁購入者は、カメラ付き携帯端末装置500を用いて、マーカを貼った壁を動画撮影して、データサーバ装置300からマーカに対応した額付絵画画像を取得して、壁の実写動画に、額付絵画画像をリアルタイムに合成させて室内シミュレーション動画を表示させる(同(5))。
図3の(a)は、額縁データ392の形式を説明する図である。
額縁データ392は、額縁識別情報392aと、寸法データ392bと、額縁パターンデータ392cとから構成される。
額縁識別情報392aは、ユニークな文字列である。
寸法データ392bは、数値データである。
額縁パターンデータ392cは、3次元画像データである。
図3の(b)に例示された額縁データ392は、額縁識別情報392aが「クラッシック02」と、寸法データ392bが「8号」と、額縁パターンデータ392cが「寸法「8号」の額縁の外観画像データ」である。
図4の(a)は、額付き絵画画像193の形式を説明する図である。
額付き絵画画像193は、マークID193aと、額縁を絵画に合成した画像193bと、から構成される。
マークID193aは、ユニークな文字列である。
額縁を絵画に合成した画像193bは、3次元画像データである。
図4の(b)に例示された額付き絵画画像193は、マークID193aが「m0032」で、額縁を絵画に合成した画像193bが「あるデザインの額縁に収めた絵画の3次元画像データ」である。なお、この額縁は、絵画の寸法に対応するサイズの額縁の外観画像データである。
この例の意味は、図示された額縁を絵画に合成した画像のマークIDは「m0032」であるということである。
図4の(c)に例示された額付き絵画画像193は、マークID193aが「M6430」で、額縁を絵画に合成した画像193bが「(b)とは異なるデザインの額縁に収めた絵画の3次元画像データ」である
この例の意味は、図示された額縁を絵画に合成した画像のマークIDは「M6430」であるということである。
マーカ画像16は、正方形枠を有する図形である。
正方形枠の内部には、2次元コードパターンを備える。
マーカ画像16の2次元コードパターンは、額付き絵画画像のマークID193aを符号化したものである。
マーカの大きさ(たとえば、正方形の1辺の長さ「L」)は、事前に定められた既知の値である。
《1.額縁の選択》
《1−1.絵画の登録》
額縁選択装置100は、カメラ106が絵画を撮影して作成したフレームの絵画画像から特徴点(たとえば、フレームの画像パターンが有する端点、頂点、角など)を抽出する。
さらに、額縁選択装置100は、絵画寸法情報の入力を受け付けて、受け付けた絵画寸法を元にから抽出した特徴点の座標値を求める。額縁選択装置100は、抽出した特徴点と算出した特徴点の座標値とを含む絵画抽出辞書を作成して登録する(図6(1−1))。
額縁選択装置100は、絵画寸法情報と額縁選択情報の入力を受け付けて、これらを含む額縁要求をデータサーバ装置300に発行して、返信された額縁データ392を取得する(同(2−1))。
額縁選択装置100は、カメラ106で絵画と標準マーカ16を動画撮影する(同(2−2))。
額縁選択装置100は、動画の第一フレームを用いて、標準マーカの4頂点が正方形になるように、フレーム全体を変形させて正規化する。
正規化した第一フレームと絵画抽出辞書とを照合して、第一フレームの絵画を検出する(同(2−3))。
なお、座標変換の詳細は後述する。
なお、絵画を検出する範囲を絞り込んでいるので、検出処理の能率を高めることができる。
なお、動画の第三フレーム以降では、額縁選択装置100は、直前のフレームの絵画の座標情報から当該フレームの絵画を検出して、透視変換した当該フレームから検出した絵画の任意の4個の特徴点の座標情報と、対応する検出辞書の4個の特徴点の座標情報とを額縁画像に適用して、座標変換した額縁画像を作成して、さらに射影変換行列を適用して当該フレームの絵画に合成して、表示103する(同(2−7))。
《2−1.額付き絵画の登録》
額縁選択装置100は、登録指示を受け付けて、マークIDを有する額付き絵画画像193を、データサーバ装置300に登録する(同(3))。
《2−2.マーカの印刷》
額縁選択装置100は、データサーバ装置300に登録した額付き絵画画像のマークIDを符号化したマーカ16を印刷する(同(4))。
《2−3.額付き絵画画像の受信》
カメラ付き携帯端末装置500は、カメラで、壁に貼られたマーカ16を動画撮影する(図7(5−1))。
携帯端末装置500は、動画の第一フレームのマーカ画像に対して、既知のマーカ寸法を適用して正規化して、正規化したマーカ画像からマーカIDを復号して、データサーバ装置300に送信して、対応する額付き絵画画像193を受信する(同(5−2))。
《2−4.額付き絵画画像と室内映像との合成》
携帯端末装置500は、動画の各フレームを透視変換して、透視変換したフレームから検出したマーカの4個の頂点座標情報と、マーカ情報の4個の頂点座標情報と、から座標変換行列を算出して、算出した座標変換行列と射影変換行列とを額縁画像に適用して、額付き絵画画像を座標変換して、当該フレームに合成して、動画表示103する(同(5−3))。
図8は、額縁選択装置100の詳細な構成図である。
額縁選択装置100は、CPU101と、表示部103と、入力部102と、ネットワーク通信部104と、印刷機接続部105と、カメラ部106と、記憶部109と専用プログラムとを備える。
入力部102は、キーボードやマウスや表示部103に表示されたソフトキーボードである。
表示部103は、液晶表示装置や有機EL表示装置である。
ネットワーク通信部104は、LANコネクタである。
ネットワーク通信部104が、印刷機接続部105の代わりにネットワークプリンタと接続していても良い。
カメラ部106は、撮影対象を撮影したフレームから構成される動画像を作成する。
記憶部109は、
絵画検出辞書格納部109aと、絵画追跡辞書格納部109bと、基準マーカ格納部109cと、額縁格納部109dと、透視変換行列格納部109eと、を備えて、専用プログラムを記憶する。
絵画検出辞書格納部109aは、絵画の特徴点情報と、その特徴点の座標情報と、を含む絵画検出辞書を記憶する領域である。
絵画追跡辞書格納部109bは、絵画の位置情報と、絵画の特徴点情報と、特徴点位置座標情報とを含む絵画追跡辞書を記憶する領域である。
基準マーカ格納部109cは、四頂点座標情報を含む基準マーカ情報196を記憶する領域である。
額縁格納部109dは、額縁画像を含む額縁データ392を記憶する領域である。
透視変換行列格納部109eは、透視変換行列情報191と射影変換行列情報191bを記憶する領域である。
透視変換行列情報191と射影変換行列情報191bは、カメラキャリブレーションにより算出した行列である。詳細は後述する。
追跡辞書登録手段116は、絵画検出手段が検出した絵画の位置情報と特徴点情報と、この特徴点の位置情報を算出し、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部に登録する。
登録特徴点抽出手段145は、絵画検出手段165が検出した第1フレームの絵画の位置情報を算出し、絵画が有する特徴点情報を抽出し、この抽出した特徴点の特徴点フレーム座標情報(=観測画面座標系の座標情報)を算出する。
絵画追跡辞書登録手段115は、登録特徴点抽出手段145が算出した絵画の位置情報と抽出した特徴点情報と算出した特徴点位置情報とを含む絵画追跡辞書を作成して、絵画追跡辞書格納部109bに登録する。
ここで、予測した絵画位置とは、絵画の位置とその近傍を含む位置である。
絵画予測検出手段167は、絵画予測特徴点抽出手段157が抽出した特徴点を用いて、画追跡辞書格納部109bが記憶する絵画追跡辞書の特徴点と照合して、辞書に含まれる特徴点との類似度を算出して、類似度の高い特徴点情報を用いて、該当するフレームの絵画を検出する。
追跡辞書更新手段118は、絵画予測検出手段が検出した絵画の位置情報と特徴点情報と特徴点位置情報を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部の絵画追跡辞書を更新する。
更新特徴点抽出手段147は、絵画予測検出手段167が検出した該当するフレームの絵画の位置情報を算出し、絵画が有する特徴点情報を抽出し、この抽出した特徴点の特徴点フレーム座標情報(=観測画面座標系の座標情報)を算出する。
絵画追跡辞書更新手段117は、更新特徴点抽出手段147が算出した絵画の位置情報と特徴点情報と特徴点位置情報(=観測画面座標系の座標情報)とを含む絵画追跡辞書を作成して絵画追跡辞書格納部109bに記録して絵画追跡辞書を更新する。
額縁合成フレーム作成手段170は、登録特徴点抽出手段145、もしくは、更新特徴点抽出手段147が算出した特徴点位置情報の中から、4箇所の特徴点の位置情報を取得して、絵画検出辞書格納部109aが記憶する絵画検出辞書の中から、この4箇所の特徴点に対応する4個の特徴点が有する座標情報を取得して、4箇所の特徴点位置情報と、4個の特徴点座標値と、透視変換行列格納部109eが記憶する透視変換行列情報191とを、額縁画像に適用して、座標変換した額縁画像を作成して、これに射影変換行列情報191bを適用して射影変換した額縁画像を作成して、射影変換した額縁画像をフレーム取得手段が取得したフレームの絵画に合成する。
辞書特徴点座標取得手段175は、絵画検出辞書格納部が記憶する絵画検出辞書を参照して、フレーム特徴点取得手段174が取得した4箇所の特徴点に対応する4個の特徴点の座標情報(=マーカ座標系の座標情報)を取得する。
詳細には、座標変換算出手段176は、フレーム特徴点取得手段174が取得した4箇所の特徴点位置情報に対して、透視変換行列格納部109eの透視変換行列情報191を適用して、額縁用座標変換行列の回転成分を算出する。
さらに、座標変換算出手段176は、算出した額縁用座標変換行列の回転成分と、フレーム特徴点取得手段174が取得した4箇所の特徴点位置情報(=観測面座標系の座標情報)と、辞書特徴点座標取得手段175が取得した4個の特徴点の座標情報(=マーカ座標系の座標情報)とを用いて、額縁用座標変換行列の平行移動成分を算出する。
最後に、座標変換算出手段176は、算出した回転成分と平行移動成分とを用いて、額縁用座標変換行列を算出する。
マーカ印刷手段127は、マーカ識別情報を符号化した画像を含むマーカを印刷する。
図9には、絵画画像の特徴点と特徴点座標が例示されている。
絵画画像11には、4箇の特徴点11a/b/c/dが示されている。
特徴点11aは、頂点である。
特徴点11b/dは、端点である。
特徴点11cは、角である。
特徴点11aの座標情報(たとえば座標値)は、(α、β)である。特徴点11bの座標値は、(L/2、γ)である。特徴点11cの座標値は、(−L/2、−M/2)である。、特徴点11dの座標値は、(−L/2、δ)である。(0<α<L、0<β、γ、δ<M)
この特徴点の座標値を用いて、絵画検出辞書が作成される。
ここで、絵画画像11の寸法は、縦×横=M×Lである。
なお、特徴点の座標値は、マーカ座標系における座標値である。
《1−1.絵画の登録》
《a.特徴点の抽出》
絵画検出辞書登録手段110は、カメラで撮影したフレーム106aから絵画の特徴点(頂点や端点、角など)を抽出する(図10(1))。
《b.特徴点の座標》
絵画検出辞書登録手段110は、カメラで撮影したフレーム上の絵画領域を指定する情報と絵画寸法とを含む絵画指定情報の入力を受け付けて、入力された絵画指定情報の絵画領域とその寸法と用いて、特徴点の絵画上の座標情報(=マーカ座標系における座標情報。たとえば座標値)を算出する(同(2))。
《c.辞書登録》
絵画検出辞書登録手段110は、抽出された特徴点と算出された特徴点座標情報を用いて、絵画検出辞書を作成して、絵画検出辞書格納部109aに登録する(同(3))。
撮影されたフレーム106aには、絵画画像11と、正方形の基準マーカ画像16とが撮影されている。
なお、この基準マーカ画像16は、二次元コードパターンを有さなくて良い。
変形した基準マーカ画像16の4個の頂点161/162/163/164を、正方形16の4個の頂点161s/162s/163s/164sに座標変換することで正規化した基準マーカ画像16sを得ることができる。この正規化する座標変換をフレーム106aに適用することで、正規化されたフレームを得ることができる。正規化されたフレームを、絵画検出辞書格納部109aに登録された絵画検出辞書と照合することで、フレーム内の絵画画像を検出することが可能となる。
図14には、撮影された絵画画像11に変形された額縁画像が合成されたフレーム106bが表示された例が示されている。
フレーム106bは、撮影により変形された絵画画像11と、絵画画像の変形度合に応じて変形した額縁画像392cとが合成されたフレームである。
《1.額縁の選択》
《1−3.絵画と額縁の合成》
額縁選択装置100のカメラ部106は、絵画を撮影したフレーム106aから構成される動画像を作成する(図15(1))。
フレーム取得手段130は、カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレーム106aを取得する。
フレーム取得手段130が取得したフレーム106aが第1フレームであれば、第1フレーム合成処理を行なって、合成した第1フレーム106bを作成する(同(2))。
フレーム取得手段が取得したフレーム106aが第2フレーム以降のフレームであれば、第2フレーム以降の合成処理を行なって、第2フレーム以降の合成したフレーム106bを作成する(同(3))。
額縁シミュレーション表示手段180は、合成したフレーム106bから構成される額縁シミュレーション動画106bを作成して表示する(同(4))。
《a.絵画画像の検出》
第1フレーム特徴点抽出手段155は、第1フレーム106aから基準マーカ画像16を取り出して、取り出した基準マーカ画像16の四頂点座標情報と、基準マーカ格納部109cに記憶する基準マーカ情報196の四頂点座標情報と、を用いて、正規化行列情報を算出して、第1フレームにこの正規化行列情報を適用して、第1フレームの画像を正規化する(図16(1))。
絵画検出手段165は、第1フレーム正規化作成手段155が抽出した特徴点情報を用いて、絵画検出辞書格納部109aの絵画検出辞書と照合して、辞書に含まれる特徴点との類似度を算出して、類似度の高い特徴点情報を用いて、絵画を検出する(同(2))。
登録特徴点抽出手段145は、絵画検出手段165が検出した絵画の第1フレーム上の位置情報を算出する。
登録特徴点抽出手段145は、絵画検出手段165が検出した第1フレームの絵画が有する特徴点情報と、この特徴点の位置情報(=観測画面座標系の座標情報)とを算出する(同(3))。
絵画追跡辞書登録手段115は、登録特徴点抽出手段145が算出した絵画の位置情報と、登録特徴点抽出手段145が抽出した特徴点情報と、登録特徴点抽出手段145が算出した特徴点位置情報と、を含む絵画追跡辞書を作成し、絵画追跡辞書格納部109bに登録する(同(4))。
フレーム特徴点取得手段174は、登録特徴点抽出手段145が算出した特徴点位置情報の中から、あるいは、絵画追跡辞書格納部109bが記憶する絵画追跡辞書の中から、4箇所の特徴点の特徴点位置情報(=観測画面座標系の座標情報)を取得する(同(5))。
辞書特徴点座標取得手段175は、絵画検出辞書格納部が記憶する絵画検出辞書を参照して、フレーム特徴点取得手段174が取得した4箇所の特徴点に対応する4個の特徴点の座標情報(=マーカ座標系の座標情報)を取得する(同(6))。
座標変換算出手段176は、フレーム特徴点取得手段174が取得した4箇所のレーム特徴点座標情報と、透視変換行列格納部109eの透視変換行列情報191と、辞書特徴点座標取得手段175が取得した4個の特徴点の座標情報と、を用いて、額縁用座標変換行列を算出する(同(7))。
合成手段178は、額縁画像392cに対して、座標変換算出手段176が算出した座標変換行列を適用して、座標変換した額縁画像を作成して、この座標変換した額縁画像に射影変換行列情報191bを適用して射影変換した額縁画像を作成する(同(8))。
合成手段178は、作成した射影変換した額縁画像を用いて、フレーム取得手段が取得したフレームの絵画に合成する(同(9))。
《a.絵画画像の抽出》
フレーム取得手段が取得したフレームが第2フレーム以降のフレームであれば、
絵画予測特徴点抽出手段157は、そのフレームから画追跡辞書格納部109bが記憶する絵画追跡辞書のフレームの絵画の座標情報を用いて絵画位置を予測して、予測した絵画位置から特徴点を抽出する(図17(1))。
次に、絵画予測検出手段167は、絵画予測特徴点抽出手段157が抽出した特徴点を用いて、画追跡辞書格納部109bが記憶する絵画追跡辞書の特徴点と照合して、類似度を算出して、類似度の高い特徴点情報を抽出して、該当するフレームの絵画を検出する(同(2))。
更新特徴点抽出手段147は、検出した絵画の位置情報を算出する。
更新特徴点抽出手段147は、絵画予測検出手段167が検出した絵画が有する特徴点情報を算出して、この特徴点の特徴点位置情報(=観測画面座標系の座標情報)を算出する(同(3))。
あるいは、第二フレーム以降の処理では、フレームを正規化せずにフレームの絵画を検出できるので、同様に、処理時間を節約することができる。
絵画追跡辞書更新手段117は、更新特徴点抽出手段147が算出した絵画の位置情報と、更新特徴点抽出手段147が抽出した特徴点情報と、更新特徴点抽出手段147が算出した特徴点位置情報(=観測画面座標系の座標情報)と、を含む絵画追跡辞書を作成して絵画追跡辞書格納部109bに記録して絵画追跡辞書を更新する(同(4))。
フレーム特徴点取得手段174は、更新特徴点抽出手段147が算出した特徴点位置情報の中から、あるいは、絵画追跡辞書格納部109bが記憶する絵画追跡辞書の中から、4箇所の特徴点の特徴点位置情報を取得する(同(5))。
辞書特徴点座標取得手段175は、絵画検出辞書格納部が記憶する絵画検出辞書の絵画の特徴点を参照して、フレーム特徴点取得手段174が取得した4箇所の特徴点に対応する4個の特徴点の座標情報を取得する(同(6))。
第1フレーム合成処理における座標変換処理と同じ手順(図16(7))と(図16(8))で、座標変換した額縁画像を作成する(同(7))と(同(8))。
《e.フレーム合成》
第1フレーム合成処理におけるフレーム合成処理と同じ手順(図16(9))で、座標変換・射影変換した額縁画像をフレームの絵画に合成する(同(9))。
(1)絵画検出辞書登録手段110は、抽出された特徴点と算出された特徴点座標値を用いて、絵画検出辞書を作成して、絵画検出辞書格納部109aに登録する。
(ステップS110)
(2)額縁選択装置100は、カメラ部106が撮影対象を撮影中か否かを判定する。
撮影中であれば、ステップS130に進む。
撮影中で無ければ(撮影終了であれば)、終了する。(ステップS120)
(3)フレーム取得手段130は、カメラ部106が作成した絵画と基準マーカを含む動画像から順次にフレームを取得する。(ステップS130)
(4)額縁選択装置100は、取得したフレームが第一フレームであるか否かを判定する。第一フレームであれば、ステップS150に進む。第二フレーム以降であれば、ステップS160に進む。(ステップS140)
(5)第一フレーム合成処理(図16にて説明した合成処理)を行なう。ステップS110に戻る。(ステップS150)
(6)第二フレーム以降合成処理(図17にて説明した合成処理)を行なう。ステップS110に戻る。(ステップS160)
データサーバ装置300は、CPU301と、ネットワーク通信部304と、記憶部309と専用プログラムとを備える。
ネットワーク通信部304は、LANコネクタである。
記憶部309は、額縁データベース391と、額付き絵画画像データベース393と、専用プログラムを記憶する。
額縁データベース391は、寸法情報を含む額縁選択情報と額縁画像とを対応付けた額縁データ392を記憶する。
額付き絵画画像データベース393は、マーカ識別情報と額縁と絵画を合成した画像とを対応付けた額付き絵画画像を記憶する。
額付き絵画画像登録手段320は、額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベース393に登録する。
額付き絵画画像返信手段340は、携帯端末装置が送信するマーカ識別情報を含むデータベース検索クエリを受信して、額付き絵画画像データベース393を検索して、該当する額付き絵画画像を取得して、これを携帯端末装置に返信する。
携帯端末装置500は、CPU501と、表示部503と、入力部502と、ネットワーク通信部504と、カメラ部506と、記憶部509と専用プログラムとを備える。
入力部502は、キーボードやマウスや表示部503に表示されたソフトキーボードである。
表示部503は、液晶表示装置や有機EL表示装置である。
ネットワーク通信部504は、LANコネクタである。
カメラ部506は、マーカを含む室内を撮影したフレームから構成される動画像を作成する。
記憶部509は、額付き絵画画像格納領域509aと、マーカ格納部509bと、透視変換行列格納部509cと、座標変換行列格納部509dと、専用プログラムを記憶する。
額付き絵画画像格納部509aは、額縁画像と絵画画像を合成した画像にマーカ識別情報を関連付けた額付き絵画画像193を記憶する領域である。
マーカ格納部509bは、四頂点座標情報(=マーカ座標系の座標情報)を含むマーカ情報396を記憶する領域である。
透視変換行列格納部509cは、透視変換行列395と射影変換行列395bを記憶する領域である。
座標変換行列格納部509dは、座標変換行列397を記憶する領域である。
ID復号手段530は、マーカ画像取出手段が取り出したマーカ画像の四頂点座標情報と、マーカ格納部が記憶する四頂点座標情報と、を用いて、マーカ画像を正規化して、正規化したマーカ画像からマーカ識別情報を復号する。
復号手段534は、マーカ正規化手段532が正規化したマーカ画像からマーカ識別情報を復号する。
合成フレーム作成手段570は、マーカ格納部509bが記憶する四頂点座標情報と、マーカ画像取出手段が取り出したマーカ画像が有する四頂点の座標情報と、透視変換行列格納部509cの透視変換行列情報395と、を用いて、座標変換行列397を算出して、これを額付き絵画画像格納部に格納された額付き絵画画像に適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列情報395bを適用して射影変換した額付き絵画画像を作成して、射影変換した額付き絵画画像を、フレーム取得手段が取得したフレームに合成する。
室内シミュレーション表示手段580は、この合成したフレームから構成される室内シミュレーション動画像を作成して表示する。
図21は、透視変換の説明図である。
図21の(a)は、透視変換行列395の説明図である。
「P」395は、透視変換行列である。
透視変換行列「P」395は、透視変換行列要素「Pij」から構成される4行1列の行列である。
なお、カメラキャリブレーションによる透視変換行列395の算出方法は、たとえば、非特許文献1(p.6−7)に記載されている。
なお、射影変換行列395bは、透視変換行列395と同様の変換行列要素から構成される4行1列の行列である。
関係式「式1」は、透視変換行列「P」395と、観測画面座標系の座標行列397と、カメラ座標系の座標行列396と、から構成される。
透視変換行列「P」395は、マーク画像上の座標値(Xp、Yp)を、カメラ座標系の座標値(Xc、Yc、Zc)に変換する行列である。
マーク画像上の観測画面座標系の座標行列397は、マーク画像上(=観測画面座標系)の点の座標値(Xp、Yp)を含む「hXp、hYp、h、1」を要素とする4行1列の行列である。
カメラ座標系の座標行列396は、カメラ座標系の座標値(Xc、Yc、Zc)を含む「Xc、Yc、Zc、1」を要素とする4行1列の行列である。
ここで、マーク画像上の座標値(Xp、Yp)は、観測画面座標系の2次元座標(=X座標、Y座標)である。
カメラ座標系の座標値(Xc、Yc、Zc)は、3次元座標(=X座標、Y座標、Z座標)である。
hは、観測画面とカメラの距離を変数とする値である。
なお、射影変換行列395bを用いて透視変換する関係式は、透視変換行列395を用いて透視変換する関係式と同様である。
図22は、座標変換行列を用いて座標変換する関係式「式2」の説明図である。
関係式「式2」は、マーク座標系の座標値とカメラ座標系の座標値とを変換する関係式である。
関係式「式2」は、座標変換行列「Tcm」397と、カメラ座標系の座標行列396と、マーク座標系の座標行列398と、から構成される。
座標変換行列「Tcm」397は、マーク座標系の座標値(Xm、Ym、Zm)をカメラ座標系の座標値(Xc、Yc、Zc)に変換する行列である。
カメラ座標系の座標行列396は、カメラ座標系の座標値(Xc、Yc、Zc)を含む「Xc、Yc、Zc、1」を要素とする4行1列の行列である。
マーク座標系の座標行列398は、マーク座標系の座標値(Xm、Ym、Zm)を含む「Xm、Ym、Zm、1」を要素とする4行1列の行列である。
座標変換行列「Tcm」397は、回転成分行列「R3X3」397aと、平行移動成分行列「T3X1」397bと、を含む4行4列の行列である。
回転成分行列R3X3は、3行3列の回転成分要素Rijで構成される。
平行移動成分行列T3X1は、3行1列の平行移動成分要素Tjを含む4行1列の行列である。(i,j=1、2、3)
マーカ座標系は、マーカ16がXY平面の原点に置いた3次元空間である。
カメラ座標系は、マーカ16を撮影するカメラ20の位置を原点とする3次元空間である。
観測画面座標系は、カメラ20が撮影したマーカ16の画像を投影表示する2次元平面である。
カメラ座標系と観測画面座標系との変換関係が透視変換である。
マーカ座標系とカメラ座標系との変換関係が座標変換である。
マーカ16は、マーカの中心をマーカ座標系の原点に一致させて配置されている。
マーカ16は、一辺が「L」の正方形である。
マーカの4個の頂点16a/16b/16c/16dの座標値は、それぞれ、(L/2、L/2、0)と、(−L/2、L/2、0)と、(−L/2、−L/2、0)と、(L/2、−L/2、0)とである。
四角錘22は、マーカ16の正方形枠を底面としてカメラ部20を頂点とする四角錘である。四角錘22には、観測画面21が含まれる。この観測画面21は、カメラが撮影するマーカ画像を表示する2次元平面である。
図26には、印刷されたマーカ16を壁に貼った室内の撮影画像から構成されるフレームが例示されている。
室内の壁には、額縁選択装置100が印刷したマーカが貼られている。マーカは、絵画を飾りたい位置に貼られている。マーカが有する二次元コードは、マーカ識別情報を符号化したものである。撮影画像は、マーカに正対していないので、マーカ画像は変形している。
変形したマーカ画像16pの4個の頂点161p/162p/163p/164pを、正方形16の4個の頂点161/162/163/164に透視変換して正規化することで、変形したマーカ画像16p内の2次元コードパターンを正規化したコードパターンに座標変換することができる。正規化したコードパターンを用いることで、マーカ識別情報を復号することができる。
図28には、室内シミュレーション動画のフレーム503aが例示されている。
室内シミュレーション動画のフレーム503aには、座標変換された額付き絵画画像がマーカ16の位置に合成されている。
《2.室内シミュレーション》
携帯端末装置500のカメラ部506は、マーカを含む室内を撮影したフレームから構成される動画像506aを作成する(図29(1))。
フレーム取得手段510は、カメラ部506が作成したマーカを含む動画像506aから順次にフレームを取得する。
携帯端末装置500は、フレーム取得手段510が取得したフレームが第2フレーム以降のフレームであれば、第2フレーム以降の合成処理を行なって、合成した第2フレーム以降のフレーム106bを作成する(同(3))。
室内シミュレーション表示手段580は、合成したフレーム106bを用いて、これらから構成される室内シミュレーション動画を表示する(同(4))。
携帯端末装置500のマーカ画像取出手段520は、フレーム取得手段510が取得したフレームからマーカ画像を取り出し、取り出したマーカ画像の正方形枠の4頂点座標情報(=観測画面系の座標情報)を算出する。
マーカ正規化手段532は、マーカ画像取出手段520が算出したマーカ画像の正方形枠の四頂点座標情報と、マーカ格納部509bが記憶するマーカ情報の四頂点座標情報(=マーカ座標系の座標情報)と、を用いて、正規化行列情報を作成して、マーカ画像取出手段520が取り出したマーカ画像にこの正規化行列情報を適用して、正規化する(図30(1))。
復号手段534は、マーカ正規化手段532が正規化したマーカ画像からマーカIDを復号する(同(2))。
絵画画像受信手段540は、フレーム取得手段510が取得したフレームが第1フレームであれば、復号したマーカIDを含むデータベース検索クエリを構成して、データサーバ装置300に送信して、返信された額付き絵画画像193を受信する(同(3))。
マーカ画像取出手段520は、フレーム取得手段510が取得した第1フレームからマーカ画像取り出し、マーカ画像の正方形枠の4頂点座標情報(=観測画面系の座標情報)を算出する(同(4))。
合成手段568は、額付き絵画画像格納部509cが記憶する額縁と絵画を合成した画像193bに対して、行列算出手段566が算出した座標変換行列を適用して、座標変換した額付き絵画画像を作成する。次に、合成手段568は、作成した座標変換した額付き絵画画像に射影変換行列情報395bを適用して射影変換した額付き絵画画像を作成する(同(6)。
合成手段568は、作成した射影変換した額付き絵画画像を、フレーム取得手段510が取得したフレームに合成する(同(7))。
回転成分算出手段562は、透視変換行列格納部509cが記憶する透視変換行列395と、3次元マーカ作成手段550が作成した3次元マーカ画像と、を用いて、回転成分を算出する(図31(1))。
平行移動成分算出手段564は、マーカ情報と回転成分とを用いて、平行移動成分を算出する(同(2))。
行列算出手段566は、回転成分算出手段562が算出した回転成分情報と、平行移動成分算出手段564が算出した平行移動成分情報と、を用いて、座標変換行列397を算出する(同(3))。
回転成分算出手段562は、マーカ画像取出手段520が算出した第1フレームのマーカ画像の正方形枠の4頂点座標情報(=観測画面座標系の座標情報)に対して、透視変換行列格納部509cが記憶する透視変換行列395を適用して、マーカを底面としてカメラ部位置を頂点とする四角錘を作成する(図32(1))。
次に、
回転成分算出手段562は、この四角錘の向かい合う2枚の側面の法線ベクトルの組(U1、U2)を算出して、その組の法線ベクトルの組の外積V1を算出する(同(2))。
図33には、マーカ16の正方形枠を底面としてカメラ20を頂点とする四角錘22が図示されている。
四角錘22は、側面22pを有する。
側面22pは、マーカ16の正方形枠の辺に沿った直線16aに接する。
四角錘22の向かい合う2枚の側面22pと側面22qとは、それぞれ法線ベクトル22a「U1」と、法線ベクトル22b「U2」とを有する。法線ベクトル22a「U1」と、法線ベクトル22b「U2」との外積23は「V1」である。
さらに、回転成分算出手段562は、この2つの算出した外積V1とV2から、外積V3を算出する(同(4))。
最後に、回転成分算出手段562は、3つの算出した外積V1とV2とV3の転置ベクトルを算出して、回転成分情報とする(同(5))。
回転成分算出手段562は、以下の手順で計算を行なう。すなわち、
回転成分算出手段562は、マーカ情報397が有するマーカ画像の正方形枠の4頂点座標情報(=観測画面座標系の座標情報)を用いて、マーカ枠の辺を含む直線の方程式16a「a1Xp +b1Yp +c1 = 0」を算出する(図35(1))。
回転成分算出手段562は、算出した直線の方程式の各項に Zc を掛けて、「a1XpZc+b1YpZc +c1 Zc= 0」を算出する(同(2))。
回転成分算出手段562は、透視変換の関係式「式1」を変形して、3式「hXp = P11 + P12Yc + P13Zc」「hYp = P22Yc +P23 Zc」「h = Zc」を算出する(同(3))。
回転成分算出手段562は、算出した3式からhを消去して2式「XpZc = P11Xc + P12Yc + P13Zc」「YpZc = P22Yc + P23Zc」を算出する(同(4))。
回転成分算出手段562は、Xp, Ypを消去して、式「a1(P11Xc + P12Yc + P13Zc)+b1(P22Yc +P23)+c1Zc = 0」を算出する(同(5))。
回転成分算出手段562は、項の順序を整理して、四角錐の側面を含む平面の式「a1P11Xc + (a1P12+b1P22)Yc + (a1P13+b1P23+c1)Zc = 0」を算出する(同(6))。
回転成分算出手段562は、平面の法線単位ベクトル22a「U1」を算出する(同(7))。
なお、四角錐の側面の式は、マーカ画像の枠をカメラ座標系(Xc, Yc, Zc)を使って表したものであって、Zcはカメラ原点から観測画面までの距離を表す変数hと同等である。
回転成分算出手段562は、以下の手順で計算を行なう。すなわち、
回転成分算出手段562は、マーカ16の枠の向かい合う他の1辺の直線の方程式16b「a2Xp + b2Yp + c2 = 0」を算出する(図36(1))。
同様にして、回転成分算出手段562は、計算することで、四角錐の向かい合う側面を含む平面の式「a2P11Xc + (a2P12+b2P22)Yc + (a2P13+b2P23+c2)Zc = 0」を算出する(同(2))。
回転成分算出手段562は、この平面の法線単位ベクトル22b「U2」を算出する(同(3))。
回転成分算出手段562は、四角錐の他の向かい合う2辺から、同様にして、法線単位ベクトル22c「U3」と、法線単位ベクトル22d「U4」を算出する(同(4))。
回転成分算出手段562は、2本の法線ベクトル「U1」と「U2」の外積「V1」を算出する(同(5))。
同様に、回転成分算出手段562は、四角錘の他の向かい合う2枚の側面の法線ベクトル「U3」と「U4」の外積「V2」を算出する。
さらに、回転成分算出手段562は、この2つの外積「V1」と「V2」の外積「V3」(図示せず)を算出する(同(6))。
最後に、回転成分算出手段562は、3つの外積「V1」、「V2」、「V3」から、転置行列397a[ V1 t V2 t V3 t ]作成して、回転成分を算出する(同(7))。
平行移動成分算出手段564は、マーカ座標系のマーカの4頂点座標値(=マーカの寸法情報)を、算出した回転移動成分を用いて座標変換して、カメラ座標系の4頂点座標値を算出する(図37(1))。
なお、カメラ座標系の4頂点は、回転移動のみを考慮するので、寸法は変化しない。
平行移動成分算出手段564は、観測画面座標系のマーカ画像の4頂点の座標値を測定して、透視変換行列395を用いて透視変換してカメラ座標系の3次元マーカ画像を求めて、この3次元マーカ画像の4頂点座標値を算出する(同(2))。
平行移動成分算出手段564は、回転移動した4頂点座標値と、透視変換した4頂点座標値とを用いて、両者を対比させてそのから、平行移動成分を算出する(同(3))。
《マーカIDの判定》
マーカ画像取出手段520は、フレーム取得手段510が取得したフレームからマーカ画像を取り出す。
マーカ正規化手段532は、マーカ画像取出手段520が取り出したマーカ画像の四頂点座標情報と、基準マーカ情報の四頂点座標情報と、を用いて、正規化行列情報を作成して、取り出したマーカ画像にこの正規化行列情報を適用して、正規化する(図38(1))。
復号手段534は、正規化したマーカ画像からマーカIDを復号する(同(2))。
復号されたマーカIDが第1フレームのマーカIDと同一であるか否かを確認する。同一であれば、第1フレーム合成処理で受信した額付き絵画画像を用いる(同(3))。
なお、復号されたマーカIDが第1フレームのマーカIDと同一でなければ、当該フレームを第1フレームとして、室内合成処理の第1フレーム合成処理(図30)を実行して終了すればよい。
《a.座標変換行列算出》
第1フレーム合成処理における座標変換行列算出と同じ処理手順で、座標変換行列397を作成する(同(4)))から(同(6)))。
《a.合成》
第1フレーム合成処理における合成処理と同じ処理手順で、座標変換・射影変換した額縁と絵画を合成した画像を、フレーム取得手段510が取得したフレームに合成する(同(7)))。
(1)携帯端末装置500は、カメラ部506が撮影対象を撮影中か否かを判定する。
撮影中であれば、ステップS520に進む。撮影中で無ければ(撮影終了であれば)、終了する。(ステップS510)
(2)フレーム取得フレーム取得手段520は、カメラ部506が作成したマーカを含む動画像から順次にフレームを取得する。(ステップS520)
(3)携帯端末装置500は、取得したフレームが第一フレームであるか否かを判定する。第一フレームであれば、ステップS540に進む。第二フレーム以降であれば、ステップS550に進む。(ステップS530)
(4)第一フレーム合成処理(図30にて説明した合成処理)を行なう。ステップS560に進む。(ステップS540)
(5−1)携帯端末装置500は、当該フレームのマーカIDが第一フレームのマーカIDと等しいか否かを判定する。等しければ、ステップS554に進む。等しくなければ、ステップS556に進む。(ステップS550)
(5−2)第二フレーム以降合成処理(図38にて説明した合成処理)を行なう。ステップS560に進む。(ステップS554)
(5−3)当該フレームを第一フレームに設定する。ステップS540に戻る。(ステップS556)
(6)携帯端末装置500は、カメラ部506が撮影対象を撮影中か否かを判定する。
撮影中であれば、ステップS570に進む。
撮影中で無ければ(撮影終了であれば)、終了する。(ステップS560)
(7)フレーム取得手段520は、カメラ部506が作成したマーカを含む動画像から順次にフレームを取得する。ステップS550に戻る。(ステップS570)
11 絵画画像
16 マーカ画像
100 額縁選択装置
106 カメラ
109a 絵画検出辞書格納部
109b 絵画追跡辞書格納部
109c 基準マーカ格納部
109d 額縁格納部
109e 透視変換行列格納部
110 絵画検出辞書登録手段
115 絵画追跡辞書登録手段
116 追跡辞書登録手段
117 絵画追跡辞書更新手段
118 追跡辞書更新手段
120 額縁取得手段
125 額付き絵画画像送信手段
127 マーカ印刷手段
130 フレーム取得手段
145 登録特徴点抽出手段
147 更新特徴点抽出手段
155 第1フレーム特徴点抽出手段
157 絵画予測特徴点抽出手段
165 絵画検出手段
167 絵画予測検出手段
170 額縁合成フレーム作成手段
174 フレーム特徴点取得手段
175 辞書特徴点取得手段
176 座標変換算出手段
178 合成手段
180 額縁シミュレーション表示手段
191 透視変換行列
191b 射影変換行列
193 額付き絵画画像
196 基準マーカ情報
300 データサーバ装置
310 額縁返信手段
320 額付き絵画画像登録手段
340 額付き絵画画像返信手段
391 額縁データベース
392 額縁データ
392c 額縁画像
393 額付き絵画画像データベース
395 透視変換行列
395b 射影変換行列
396 マーカ情報
397 座標変換行列
500 携帯端末装置
509 記憶部
509a 額付き絵画画像格納領域
509b マーカ格納部
509c 透視変換行列格納部
509d 座標変換行列格納部
510 フレーム取得手段
520 マーカ画像取出手段
530 ID復号手段
532 マーカ正規化手段
534 復号手段
540 額付き絵画画像受信手段
550 3次元マーカ作成手段
562 回転成分算出手段
564 平行移動成分算出手段
566 行列算出手段
568 合成手段
570 合成フレーム作成手段
580 室内シミュレーション表示手段
900 ネットワーク
Claims (28)
- 絵画の特徴点情報と、その特徴点の座標情報と、を含む絵画検出辞書を記憶する絵画検出辞書格納部と、
絵画の位置情報と、絵画の特徴点情報と、特徴点の位置情報とを含む絵画追跡辞書を記憶する絵画追跡辞書格納部と、
四頂点座標情報を含む基準マーカ情報を記憶する基準マーカ格納部と、
額縁画像を含む額縁データを記憶する額縁格納部と、
透視変換行列情報と射影変換行列情報とを記憶する透視変換行列格納部と、
を含む記憶部と、
フレームから構成される動画像を作成するカメラ部と、
カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレームを取得するフレーム取得手段と、
フレーム取得手段が取得したフレームが第1フレームであれば、第1フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第1フレームを正規化して、特徴点情報を抽出する第1フレーム特徴点抽出手段と、
第1フレーム特徴点抽出手段が抽出した特徴点情報を用いて、絵画検出辞書格納部の絵画検出辞書と照合して、第1フレームの絵画を検出する絵画検出手段と、
絵画検出手段が検出した絵画から、絵画の位置情報と特徴点情報と特徴点の位置情報とを算出し、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部に登録する追跡辞書登録手段と、
フレーム取得手段が取得したフレームが第2フレーム以降のフレームであれば、画追跡辞書格納部が記憶する絵画位置情報を用いて、このフレームにおける絵画位置を予測して、予測した絵画位置にあるフレームの特徴点情報を抽出する絵画予測特徴点抽出手段と、
絵画予測特徴点抽出手段が抽出した特徴点を用いて、画追跡辞書格納部が記憶する絵画追跡辞書の特徴点と照合して、フレーム取得手段が取得したフレームの絵画を検出する絵画予測検出手段と、
絵画予測検出手段が検出した絵画から、絵画の位置情報と特徴点情報と特徴点位置情報と、を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部の絵画追跡辞書を更新する追跡辞書更新手段と、
絵画追跡辞書の特徴点位置情報と、絵画検出辞書の特徴点の座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、これを額縁格納部の額縁画像に適用して、座標変換した額縁画像を作成して、この座標変換した額縁画像に透視変換行列格納部の射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームに合成する額縁合成フレーム作成手段と、
額縁合成フレーム手段が合成したフレームから構成される額縁シミュレーション動画像を作成して表示する額縁シミュレーション表示手段と、
を備えることを特徴とする額縁選択装置。 - 前記額縁合成フレーム作成手段は、
絵画追跡辞書に含まれる特徴点位置情報の中から、4箇所の特徴点の位置情報を取得するフレーム特徴点取得手段と、
絵画検出辞書格納部が記憶する絵画検出辞書を参照して、フレーム特徴点取得手段が取得した4箇所の特徴点に対応する4個の特徴点の座標情報を取得する辞書特徴点座標取得手段と、
フレーム特徴点取得手段が取得した4箇所の特徴点の位置情報に対して、透視変換行列格納部の透視変換行列情報を適用して、座標変換行列の回転成分を算出し、次に、算出した座標変換行列の回転成分と、フレーム特徴点取得手段が取得した4箇所の特徴点の位置情報と、辞書特徴点座標取得手段が取得した4個の特徴点の座標情報とを用いて、座標変換行列の平行移動成分を算出し、最後に、算出した回転成分と平行移動成分とを用いて、座標変換行列を算出する座標変換算出手段と、
座標変換算出手段が算出した座標変換行列を、額縁格納部の額縁データが有する額縁画像に適用して、座標変換した額縁画像を作成し、座標変換した額縁画像に射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームの絵画に合成する合成手段と、
から構成されることを特徴とする請求項1に記載の額縁選択装置。 - 前記第1フレーム特徴点抽出手段が、
フレーム取得手段が取得したフレームが第1フレームであれば、第1フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第1フレームの基準マーカ画像の形状が、基準マーカ格納部の四頂点座標情報により形成する基準マーカ形状と、相似形になるように、第1フレームを変形して、正規化した第1フレームを作成して、作成した正規化した第1フレームから特徴点情報を抽出する、
ことを特徴とする請求項1に記載の額縁選択装置。 - 絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、フレーム取得手段が取得したフレームから絵画の特徴点情報を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報を算出して、抽出された特徴点と算出された特徴点座標情報を含む絵画検出辞書を作成して、絵画検出辞書格納部に登録する絵画検出辞書登録手段、
を備えることを特徴とする請求項1に記載の額縁選択装置。 - 登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像を作成して、データサーバ装置に送信する額付き絵画画像送信手段と、
マーカ識別情報を符号化した画像を含むマーカを印刷するマーカ印刷手段と、
を備えることを特徴とする請求項1に記載の額縁選択装置。 - 寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額縁画像を含む額縁データを受信して、これを額縁格納部に記憶する額縁取得手段、
を備えることを特徴とする請求項1に記載の額縁選択装置。 - 寸法情報を含む額縁選択情報と額縁画像とを対応付けた額縁情報を記憶する額縁データベースと、
マーカ識別情報と額縁と絵画を合成した画像とを対応付けた額付き絵画画像を保持する額付き絵画画像データベースと、
を記憶する記憶部と、
額縁選択装置が送信する額縁選択情報を含むデータベース検索クエリを受信して、記憶部のデータベースを検索して、抽出した額縁画像を含む額縁データを返信する額縁返信手段と、
額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベースに登録する額付き絵画画像登録手段と、
携帯端末装置が送信するマーカ識別情報を含むデータベース検索クエリを受信して、額付き絵画画像データベースを検索して、該当する額付き絵画画像を取得して、これを携帯端末装置に返信する額付き絵画画像返信手段と、
を備えることを特徴とするデータサーバ装置。 - 額縁選択装置とデータサーバ装置がネットワーク接続されて構成される室内調度品購入支援システムにおいて、
前記額縁選択装置は、
絵画の特徴点情報と、その特徴点の座標情報と、を含む絵画検出辞書を記憶する絵画検出辞書格納部と、
絵画の位置情報と、絵画の特徴点情報と、この特徴点の座標情報とを含む絵画追跡辞書を記憶する絵画追跡辞書格納部と、
四頂点座標情報を含む基準マーカ情報を記憶する基準マーカ格納部と、
額縁画像を含む額縁データを記憶する額縁格納部と、
透視変換行列情報と射影変換行列情報とを記憶する透視変換行列格納部と、
を含む記憶部と、
フレームから構成される動画像を作成するカメラ部と、
寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額縁データを受信して、額縁データを額縁格納部に記憶する額縁取得手段と、
カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレームを取得するフレーム取得手段と、
フレーム取得手段が取得したフレームが第1フレームであれば、第1フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第1フレームを正規化して、正規化した第1フレームから特徴点情報を抽出する第1フレーム特徴点抽出手段と、
第1フレーム特徴点抽出手段が抽出した特徴点情報を用いて、絵画検出辞書格納部の絵画検出辞書と照合して、第1フレームの絵画を検出する絵画検出手段と、
絵画検出手段が検出した絵画の位置情報と特徴点情報と、この特徴点の位置情報と、を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部に登録する追跡辞書登録手段と、
フレーム取得手段が取得したフレームが第2フレーム以降のフレームであれば、画追跡辞書格納部が記憶する絵画位置情報を用いて、このフレームの絵画位置を予測して、予測した絵画位置にあるフレーム上の特徴点情報を抽出する絵画予測特徴点抽出手段と、
絵画予測特徴点抽出手段が抽出した特徴点を用いて、画追跡辞書格納部が記憶する絵画追跡辞書の特徴点と照合して、フレーム取得手段が取得したフレームの絵画を検出する絵画予測検出手段と、
絵画予測検出手段が検出した絵画の位置情報と特徴点情報と、この特徴点の位置情報を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部の絵画追跡辞書を更新する追跡辞書更新手段と、
絵画追跡辞書の特徴点の位置座標情報と、絵画検出辞書の特徴点の座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、これを額縁格納部の額縁画像に適用して、座標変換した額縁画像を作成して、この座標変換した額縁画像に射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームに合成する額縁合成フレーム作成手段と、
額縁合成フレーム手段が合成したフレームから構成される額縁シミュレーション動画像を作成して表示する額縁シミュレーション表示手段と、
を備える選択装置であって、
前記データサーバ装置は、
寸法情報を含む額縁選択情報と額縁画像とを対応付けた額縁情報を記憶する額縁データベースとを記憶する記憶部と、
額縁選択装置が送信する額縁選択情報を含むデータベース検索クエリを受信して、記憶部のデータベースを検索して、抽出した額縁画像を返信する額縁返信手段、
を備えるサーバ装置である、
ことを特徴とする室内調度品購入支援システム。 - 前記額縁選択装置において、
前記額縁合成フレーム作成手段は、
絵画追跡辞書に含まれる特徴点位置情報の中から、4箇所の特徴点の位置情報を取得するフレーム特徴点取得手段と、
絵画検出辞書格納部が記憶する絵画検出辞書を参照して、フレーム特徴点取得手段が取得した4箇所の特徴点に対応する4個の特徴点の座標情報を取得する辞書特徴点座標取得手段と、
フレーム特徴点取得手段が取得した4箇所の特徴点位置情報に対して、透視変換行列格納部の透視変換行列情報を適用して、額縁用座標変換行列の回転成分を算出し、次に、算出した額縁用座標変換行列の回転成分と、フレーム特徴点取得手段が取得した4箇の特徴点位置情報と、辞書特徴点座標取得手段が取得した4個の特徴点の座標情報とを用いて、額縁用座標変換行列の平行移動成分を算出し、最後に、算出した回転成分と平行移動成分とを用いて、額縁用座標変換行列を算出する座標変換算出手段と、
座標変換算出手段が算出した額縁用座標変換行列を、額縁格納部の額縁データが有する額縁画像に適用して、座標変換した額縁画像を作成し、座標変換した額縁画像に射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームの絵画に合成する合成手段と、
とから構成される手段である、
ことを特徴とする請求項8に記載の室内調度品購入支援システム。 - 前記額縁選択装置において、
前記第1フレーム特徴点抽出手段が、
フレーム取得手段が取得したフレームが第1フレームであれば、第1フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第1フレームの基準マーカ画像の形状と、基準マーカ格納部の四頂点座標情報により形成される基準マーカ形状と、を比較して両者が相似形になるように第1フレームを変形して、正規化した第1フレームを作成して、作成した正規化した第1フレームから特徴点情報を抽出する、
ことを特徴とする請求項8に記載の室内調度品購入支援システム。 - 前記額縁選択装置は、さらに、
絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、カメラで撮影した絵画のフレームから絵画の特徴点情報を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報を算出して、抽出した特徴点情報と、算出した特徴点の座標情報と、を含む絵画検出辞書を作成して、絵画検出辞書格納部に登録する絵画検出辞書登録手段、
を備えることを特徴とする請求項8に記載の室内調度品購入支援システム。 - 前記室内調度品購入支援システムは、さらにカメラを備える携帯端末装置とがネットワーク接続されて、
前記額縁選択装置は、
登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像を作成して、データサーバ装置に送信する額付き絵画画像送信手段と、
マーカ識別情報を符号化した画像を含むマーカを印刷するマーカ印刷手段と、
を備える選択装置であって、
前記データサーバ装置は、
前記記憶部は、さらに、マーカ識別情報と額縁と絵画を合成した画像とを対応付けた額付き絵画画像を保持する額付き絵画画像データベースを記憶して、
額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベースに登録する額付き絵画画像登録手段と、
携帯端末装置が送信するマーカ識別情報を含むデータベース検索クエリを受信して、額付き絵画画像データベースを検索して、該当する額付き絵画画像を取得して、これを携帯端末装置に返信する額付き絵画画像返信手段と、
を備えるサーバ装置であって、
前記携帯端末装置は、
額縁画像と絵画画像を合成した画像にマーカ識別情報を関連付けた額付き絵画画像を記憶する額付き絵画画像格納部と、
四頂点座標情報を含むマーカ情報を記憶するマーカ格納部と、
透視変換行列と射影変換行列とを記憶する透視変換行列格納部と、
座標変換行列を記憶する座標変換行列格納部と、
を有する記憶部と、
マーカを含む室内を撮影したフレームから構成される動画像を作成するカメラ部と
カメラ部が作成した動画像から順次にフレームを取得するフレーム取得手段と、
フレーム取得手段が取得したフレームからマーカ画像を取り出すマーカ画像取出手段と、
マーカ画像取出手段が取り出したマーカ画像の四頂点座標情報と、マーカ格納部が記憶する四頂点座標情報と、を用いて、マーカ画像を正規化して、正規化したマーカ画像からマーカ識別情報を復号するID復号手段と、
フレーム取得手段が取得したフレームが第1フレームであれば、復号したマーカ識別情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額付き絵画画像を受信して、額付き絵画画像格納部に格納する額付き絵画画像受信手段と、
マーカ格納部が記憶する四頂点座標情報と、マーカ画像取出手段が取り出したマーカ画像が有する四頂点の座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、これを額付き絵画画像格納部に格納された額付き絵画画像に適用して、座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像を、フレーム取得手段が取得したフレームに合成する合成フレーム作成手段と、
合成フレーム手段が合成したフレームから構成される室内シミュレーション動画像を作成して表示する室内シミュレーション表示手段と、
を備える端末装置である、
ことを特徴とする請求項8に記載の室内調度品購入支援システム。 - 前記携帯端末装置において、
前記ID復号手段は、
マーカ画像取出手段が取り出したマーカ画像の四頂点座標情報と、マーカ格納部の四頂点座標情報と、を用いて、第1フレームの基準マーカ画像の形状と、マーカ格納部の四頂点座標情報により形成される基準マーカ形状と、を比較して両者が相似形になるようにマーカ画像を変形して、正規化したマーカ画像を作成するマーカ正規化手段と、
マーカ正規化手段が正規化したマーカ画像からマーカ識別情報を復号する復号手段と、
から構成される手段である、
ことを特徴とする請求項12に記載の室内調度品購入支援システム。 - 前記携帯端末装置において、
前記合成フレーム作成手段は、
マーカ画像取出手段が取り出したマーカ画像に対して、透視変換行列格納部が記憶する透視変換行列を適用して、透視変換したマーカ画像を作成する3次元マーカ作成手段と、
マーカ画像取出手段が取り出したマーカ画像の4頂点座標情報を算出して、算出した4頂点座標情報に対して、透視変換行列格納部が記憶する透視変換行列情報を適用して、座標変換行列の回転成分を算出する回転成分算出手段と、
回転成分算出手段が算出した座標変換行列の回転成分と、マーカ画像取出手段が算出したマーカ画像の4頂点座標情報と、マーカ格納部が記憶するマーカの4頂点座標情報と、を用いて、座標変換行列の平行移動成分を算出する平行移動成分手段と、
回転成分算出手段が算出した回転成分と平行移動成分手段が算出した平行移動成分とを用いて、座標変換行列を作成する行列算出手段と、
額付き絵画画像格納部が記憶する額縁と絵画を合成した画像に対して、行列算出手段が算出した座標変換行列を適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像を、フレーム取得手段が取得したフレームに合成する合成手段と、
から構成される手段である、
ことを特徴とする請求項12に記載の室内調度品購入支援システム。 - 前記携帯端末装置において、
前記回転成分算出手段は、
マーカ画像取出手段が算出したマーカ画像の正方形枠の四頂点座標情報に対して、透視変換行列格納部が記憶する透視変換行列を適用して、マーカの正方形枠を底面としてカメラ部位置を頂点とする四角錘を作成して、この四角錘の向かい合う2枚の側面の法線ベクトルの組(U1、U2)と(U3、U4)とを算出して、それぞれの組の法線ベクトルの外積V1と外積V2とを算出して、さらに、この2つの外積V1とV2とから外積V3を算出して、最後に、3つの外積V1とV2とV3とから転置ベクトル[ V1 t V2 t V3 t ]を算出して、これを回転成分情報とする、
ことを特徴とする請求項14に記載の室内調度品購入支援システム。 - 四頂点座標情報を含む基準マーカ検出情報と、
額縁選択情報と、寸法情報と額縁画像を含む額縁情報と、対応付けて記憶する額縁データベースと、
絵画の特徴点と特徴点座標情報を含む絵画検出辞書と、
座標変換行列と射影変換行列と、
額縁画像と、
を用いる室内調度品購入支援方法であって、
(1)額縁選択装置が、絵画と基準マーカを撮影したフレームから構成される動画像を作成するカメラから動画像を受け取り、動画像から順次にフレームを取得するフレーム取得ステップと、
(2)額縁選択装置が取得したフレームが第1フレームであれば以下の処理を行なうステップと、
(3−1)第1フレームから基準マーカ画像を取り出して、基準マーカ画像の四頂点座標情報と、基準マーカ情報の四頂点座標情報と、を用いて、第1フレームを正規化して、正規化した第1フレームから特徴点情報を抽出する第1フレーム特徴点抽出する第1フレーム特徴点抽出ステップと、
(3−2)抽出した特徴点情報を用いて、登録した絵画検出辞書と照合して、第1フレームの絵画を検出する絵画検出ステップと、
(3−3)検出した絵画の位置情報と特徴点情報と、特徴点の位置情報と、を算出し、これらを含む絵画追跡辞書を作成する絵画追跡辞書作成ステップと、
(4)額縁選択装置が取得したフレームが第2フレーム以降のフレームであれば以下の処理を行なうステップと、
(5−1)絵画追跡辞書の絵画位置情報を用いて、このフレームにおける絵画位置を予測して、予測した絵画位置にあるフレームの特徴点情報を抽出する絵画予測特徴点抽出ステップと、
(5−2)抽出した特徴点を用いて、絵画追跡辞書の特徴点と照合して、取得したフレームの絵画を検出する絵画予測検出ステップと、
(5−3)検出した絵画から、絵画の位置情報と特徴点情報と、この特徴点の位置情報と、を算出し、これらを含む絵画追跡辞書を作成して、既存の絵画追跡辞書を更新する絵画追跡辞書更新ステップと、
(6)額縁選択装置が、絵画追跡辞書の特徴点位置情報と、絵画検出辞書の特徴点座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、この算出した座標変換行列を、額縁格納部の額縁画像に適用して、座標変換した額縁画像を作成して、座標変換した額縁画像に射影変換行列を適用して、射影変換した額縁画像を作成して、これを、取得したフレームに合成する額縁合成フレーム作成ステップと、
(7)額縁選択装置が、合成したフレームから構成される額縁シミュレーション動画像を作成して表示する額縁シミュレーション表示ステップと、
を含んだ手順でなされることを特徴とする室内調度品購入支援方法。 - 前記額縁合成フレーム作成ステップが、
(1)額縁選択装置が、算出した特徴点位置情報の中から、4箇所の特徴点の位置情報を取得するフレーム特徴点取得ステップと、
(2)絵画検出辞書を参照して、フレーム特徴点取得ステップにて取得した4箇所の特徴点に対応する4個の特徴点の座標情報を取得する辞書特徴点座標取得ステップと、
(3)取得した4箇所の特徴点位置情報に対して、透視変換行列格納部の透視変換行列情報を適用して、座標変換行列の回転成分を算出する回転成分算出ステップと、
(4)算出した座標変換行列の回転成分と、フレーム特徴点取得ステップにて取得した4箇所の特徴点位置情報と、辞書特徴点座標取得ステップにて取得した4個の特徴点の座標情報とを用いて、座標変換行列の平行移動成分を算出する平行成分算出ステップと、
(5)算出した回転成分と平行移動成分とを用いて、額縁用座標変換行列を算出する座標変換行列算出ステップと、
(6)算出した額縁用座標変換行列を、額縁データが有する額縁画像に適用して、座標変換した額縁画像を作成し、座標変換した額縁画像に射影変換行列を適用して、射影変換した額縁画像を作成して、これを、取得したフレームの絵画に合成する合成ステップと、
から構成されるステップ、
を含んだ手順でなされることを特徴とする請求項16に記載の室内調度品購入支援方法。 - 前記第1フレーム特徴点抽出ステップが、
第1フレームから取り出した基準マーカ画像の四頂点座標情報と、基準マーカ格納部の基準マーカ情報と、を用いて、第1フレームの基準マーカ画像の形状が、基準マーカ格納部の基準マーカ情報の四頂点座標情報が形成する形状とは、相似形になるように、第1フレームを変形して、正規化した第1フレームを作成して、作成した正規化した第1フレームから特徴点情報を抽出する、
ことを特徴とする請求項16に記載の室内調度品購入支援方法。 - 前記室内調度品購入支援方法は、さらに、
(1)額縁選択装置が、絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、カメラで撮影したフレームから絵画の特徴点情報を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報を算出して、抽出された特徴点と算出された特徴点座標情報を含む絵画検出辞書を作成して、登録する絵画検出辞書登録ステップと、
を含んだ手順でなされることを特徴とする請求項16に記載の室内調度品購入支援方法。 - 前記室内調度品購入支援方法は、さらに、
(1)額縁選択装置が、寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、額縁データベースを検索して、額縁データを取得する額縁取得ステップと、
を含んだ手順でなされることを特徴とする請求項16に記載の室内調度品購入支援方法。 - 前記室内調度品購入支援方法は、さらに、四頂点座標情報を含むマーカ情報を用いる購入支援方法であって、
(1)額縁選択装置が、登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像を作成して、データサーバ装置に送信する額付き絵画画像送信ステップと、
(2)データサーバ装置は、額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベースに登録する額付き絵画画像登録テップと、
(3)調度品選択装置がマーカ識別情報を符号化した画像を含むマーカを印刷するマーカ印刷ステップと、
(4)携帯端末装置が、印刷されたマーカを含む室内を撮影したフレームから構成される動画像を作成するカメラ部が作成した動画像から順次にフレームを取得して、以下の処理をするフレーム取得ステップと、
(5)携帯端末装置が、取得したフレームから取り出したマーカ画像の四頂点座標情報と、基準マーカ情報の四頂点座標情報と、を用いて、マーカ画像を正規化して、正規化したマーカ画像からマーカ識別情報を復号するID復号ステップと、
サブ
(5)携帯端末装置が、取得したフレームから取り出したマーカ画像の形状が、基準マーカ情報の四頂点座標情報により形成する基準マーカ形状と相似形になるように、マーカ画像を変形して、正規化するマーカ正規化作成ステップと、
(6)携帯端末装置が、正規化したマーカ画像からマーカ識別情報を復号する復号ステップと、
(7)携帯端末装置が取得したフレームが第1フレームであれば、以下の処理をするフレーム取得ステップと、
(7−1)復号したマーカ識別情報を含むデータベース検索クエリを構成して、額付き絵画画像データベースを検索して、額付き絵画画像を取得する額付き絵画画像検索ステップと、
(8)携帯端末装置が取得したフレームが第2フレーム以降であれば、以下の処理をするフレーム取得ステップと、
(8−1)マーカ識別情報が第1フレームのマーカ識別情報と等しいか否かを判定するステップと、
(8−2)マーカ識別情報が第1フレームのマーカ識別情報と等しくない場合には、当該フレームを第1フレームとして(7)に進む。
(8−3)マーカ識別情報が第1フレームのマーカ識別情報と等しい場合には、次のステップに進む。
(9)携帯端末装置がマーカ情報の四頂点座標情報と、フレームから取り出したマーカ画像が有する四頂点の座標情報と、透視変換行列情報と、を用いて、座標変換行列を算出して、これを取得された額付き絵画画像に適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像を、取得したフレームに合成する合成フレーム作成ステップと、
(10)携帯端末装置が、合成したフレームから構成される室内シミュレーション動画像を作成して表示する室内シミュレーション表示ステップと、
を含んだ手順でなされることを特徴とする請求項16に記載の室内調度品購入支援方法。 - 前記ID復号ステップは、
(1)携帯端末装置が、取り出したマーカ画像を、マーカ情報の形状と相似形になるように変形して正規化するマーカ正規化ステップと、
(2)正規化したマーカ画像からマーカ識別情報を復号する復号ステップと、
を含んだ手順でなされることを特徴とする請求項21に記載の室内調度品購入支援方法。 - 前記合成フレーム作成ステップは、
(1)携帯端末装置が、取り出したマーカ画像に対して、透視変換行列を適用して、透視変換したマーカ画像を作成する3次元マーカ作成ステップと、
(2)携帯端末装置が、マーカ画像の4頂点座標情報を算出して、算出した4頂点座標情報に対して、透視変換行列情報を適用して、座標変換行列の回転成分を算出する回転成分算出ステップと、
(3)携帯端末装置が、算出した座標変換行列の回転成分と、算出したマーカ画像の4頂点座標情報と、マーカの4頂点座標情報と、を用いて、座標変換行列の平行移動成分を算出する平行移動成分ステップと、
(4)携帯端末装置が、回転成分算出手段が算出した回転成分と平行移動成分手段が算出した平行移動成分とを用いて、座標変換行列を作成する行列算出ステップと、
(5)携帯端末装置が、額付き絵画画像格納部が記憶する額縁と絵画を合成した画像に対して、行列算出手段が算出した座標変換行列を適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像を、フレーム取得手段が取得したフレームに合成する合成ステップと、
を含んだ手順でなされることを特徴とする請求項21に記載の室内調度品購入支援方法。 - 前記回転成分算出ステップは、
携帯端末装置が、取り出したマーカ画像を用いて、マーカの正方形枠の辺を底辺としてカメラ部位置を頂点とする四角錘を作成して、この四角錘の向かい合う2枚の側面の法線ベクトルの組(U1、U2)と(U3、U4)とを算出して、それぞれの組の法線ベクトルの外積V1と外積V2とを算出して、さらに、この2つの外積V1とV2とから外積V3を算出して、3つの外積V1とV2とV3とを用いて転置ベクトル[ V1 t V2 t V3 t ]を算出して回転成分情報として、
前記平行移動成分算出ステップは、
携帯端末装置が、取得したフレームのマーカ画像に対して、透視変換行列を適用して、透視変換したマーカ画像を作成して、算出した回転成分情報を適用して、透視変換したマーカ画像を回転させて、回転させたマーカ画像の4頂点の座標情報と、マーカ情報の4頂点座標情報と、を対比させて、平行移動成分情報を算出する、
ことを特徴とする請求項23に記載の室内調度品購入支援方法。 - コンピュータに組込むことによって、コンピュータを請求項1から請求項6のいずれか1項に記載の額縁選択装置として動作させるコンピュータプログラム。
- コンピュータに組込むことによって、コンピュータを請求項7に記載のデータサーバ装置として動作させるコンピュータプログラム。
- コンピュータに組込むことによって、コンピュータを請求項8から請求項15のいずれか1項に記載の室内調度品購入支援システムとして動作させるコンピュータプログラム。
- 請求項25から請求項27のいずれか1項に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008123208A JP5040796B2 (ja) | 2008-05-09 | 2008-05-09 | 室内調度品購入支援システム、方法、プログラム、媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008123208A JP5040796B2 (ja) | 2008-05-09 | 2008-05-09 | 室内調度品購入支援システム、方法、プログラム、媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009271822A true JP2009271822A (ja) | 2009-11-19 |
JP2009271822A5 JP2009271822A5 (ja) | 2011-05-06 |
JP5040796B2 JP5040796B2 (ja) | 2012-10-03 |
Family
ID=41438295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008123208A Expired - Fee Related JP5040796B2 (ja) | 2008-05-09 | 2008-05-09 | 室内調度品購入支援システム、方法、プログラム、媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5040796B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010032890A1 (de) | 2009-07-31 | 2011-03-10 | Hitachi Automotive Systems, Ltd., Hitachinaka-shi | Stabilisatorvorrichtung |
JP2011134322A (ja) * | 2009-12-23 | 2011-07-07 | Intel Corp | モデル・ベースの競技場位置合わせ |
JP2012208571A (ja) * | 2011-03-29 | 2012-10-25 | Brother Ind Ltd | 仮想ラベル表示処理プログラム |
JP2012221259A (ja) * | 2011-04-08 | 2012-11-12 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
WO2013061504A1 (en) * | 2011-10-27 | 2013-05-02 | Sony Corporation | Image processing apparatus, image processing method, and program |
JP2013143725A (ja) * | 2012-01-12 | 2013-07-22 | Casio Comput Co Ltd | 画像表示装置、画像表示方法及びプログラム |
WO2015037576A1 (ja) * | 2013-09-10 | 2015-03-19 | 株式会社エポック社 | ジグソーパズルシミュレーション装置及びコンテンツサーバー |
JP2015061096A (ja) * | 2013-09-17 | 2015-03-30 | セイコーエプソン株式会社 | 印刷装置および画像処理プログラム |
JP2016051260A (ja) * | 2014-08-29 | 2016-04-11 | 富士フイルム株式会社 | 画像合成装置,画像合成方法,画像合成装置の制御プログラムおよびそのプログラムを格納した記録媒体 |
WO2018123022A1 (ja) * | 2016-12-28 | 2018-07-05 | 株式会社メガハウス | コンピュータプログラム、表示装置、頭部装着型表示装置、マーカ |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002109307A (ja) * | 2000-09-28 | 2002-04-12 | Ricoh Co Ltd | シミュレーションシステムとシミュレーション方法及びコンピュータ読み取り可能な記録媒体 |
JP2003256876A (ja) * | 2002-03-04 | 2003-09-12 | Sony Corp | 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム |
-
2008
- 2008-05-09 JP JP2008123208A patent/JP5040796B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002109307A (ja) * | 2000-09-28 | 2002-04-12 | Ricoh Co Ltd | シミュレーションシステムとシミュレーション方法及びコンピュータ読み取り可能な記録媒体 |
JP2003256876A (ja) * | 2002-03-04 | 2003-09-12 | Sony Corp | 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010032890A1 (de) | 2009-07-31 | 2011-03-10 | Hitachi Automotive Systems, Ltd., Hitachinaka-shi | Stabilisatorvorrichtung |
JP2011134322A (ja) * | 2009-12-23 | 2011-07-07 | Intel Corp | モデル・ベースの競技場位置合わせ |
JP2012208571A (ja) * | 2011-03-29 | 2012-10-25 | Brother Ind Ltd | 仮想ラベル表示処理プログラム |
JP2012221259A (ja) * | 2011-04-08 | 2012-11-12 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
US11941766B2 (en) | 2011-10-27 | 2024-03-26 | Sony Group Corporation | Image processing apparatus, image processing method, and program |
WO2013061504A1 (en) * | 2011-10-27 | 2013-05-02 | Sony Corporation | Image processing apparatus, image processing method, and program |
US10068382B2 (en) | 2011-10-27 | 2018-09-04 | Sony Corporation | Image processing apparatus, image processing method, and program |
US11468647B2 (en) | 2011-10-27 | 2022-10-11 | Sony Corporation | Image processing apparatus, image processing method, and program |
US9292974B2 (en) | 2011-10-27 | 2016-03-22 | Sony Corporation | Image processing apparatus, image processing method, and program |
US10902682B2 (en) | 2011-10-27 | 2021-01-26 | Sony Corporation | Image processing apparatus, image processing method, and program |
US9626806B2 (en) | 2011-10-27 | 2017-04-18 | Sony Corporation | Image processing apparatus, image processing method, and program |
US9704297B2 (en) | 2011-10-27 | 2017-07-11 | Sony Corporation | Image processing apparatus, image processing method, and program |
US10453266B2 (en) | 2011-10-27 | 2019-10-22 | Sony Corporation | Image processing apparatus, image processing method, and program |
JP2013143725A (ja) * | 2012-01-12 | 2013-07-22 | Casio Comput Co Ltd | 画像表示装置、画像表示方法及びプログラム |
WO2015037576A1 (ja) * | 2013-09-10 | 2015-03-19 | 株式会社エポック社 | ジグソーパズルシミュレーション装置及びコンテンツサーバー |
JP2015061096A (ja) * | 2013-09-17 | 2015-03-30 | セイコーエプソン株式会社 | 印刷装置および画像処理プログラム |
JP2016051260A (ja) * | 2014-08-29 | 2016-04-11 | 富士フイルム株式会社 | 画像合成装置,画像合成方法,画像合成装置の制御プログラムおよびそのプログラムを格納した記録媒体 |
WO2018123022A1 (ja) * | 2016-12-28 | 2018-07-05 | 株式会社メガハウス | コンピュータプログラム、表示装置、頭部装着型表示装置、マーカ |
JPWO2018123022A1 (ja) * | 2016-12-28 | 2019-11-14 | 株式会社メガハウス | コンピュータプログラム、表示装置、頭部装着型表示装置、マーカ |
EP3550524A4 (en) * | 2016-12-28 | 2019-11-20 | MegaHouse Corporation | COMPUTER PROGRAM, DISPLAY DEVICE, DISPLAY DEVICE ATTACHED TO HEAD AND MARKER |
Also Published As
Publication number | Publication date |
---|---|
JP5040796B2 (ja) | 2012-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5040796B2 (ja) | 室内調度品購入支援システム、方法、プログラム、媒体 | |
JP2009271822A5 (ja) | ||
JP4032776B2 (ja) | 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム | |
CN108537881B (zh) | 一种人脸模型处理方法及其设备、存储介质 | |
JP6360200B2 (ja) | アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法 | |
EP1008108B1 (en) | 2-d mesh geometry and motion vector compression | |
EP3176755A1 (en) | Information processing device, information processing method, and program | |
CN111638796A (zh) | 虚拟对象的展示方法、装置、计算机设备及存储介质 | |
EP3176757A1 (en) | Information processing device, information processing method, and program | |
WO2020029554A1 (zh) | 增强现实多平面模型动画交互方法、装置、设备及存储介质 | |
US20080071559A1 (en) | Augmented reality assisted shopping | |
CN112954292B (zh) | 一种基于增强现实的数字博物馆导览系统和方法 | |
JPH0877356A (ja) | 三次元多眼画像の処理方法及び処理装置 | |
JPH10228544A (ja) | 特徴検出と固有顔の符号化を用いた、モデルに基づく顔の符号化と復号化 | |
JP2016006627A (ja) | 画像処理装置と画像処理方法 | |
CN108153421B (zh) | 体感交互方法、装置及计算机可读存储介质 | |
CN110176197A (zh) | 一种全息化展示方法、系统、存储介质及设备 | |
CN111833457A (zh) | 图像处理方法、设备及存储介质 | |
CN112435338A (zh) | 电子地图的兴趣点的位置获取方法、装置及电子设备 | |
KR101197126B1 (ko) | 인쇄물과 동영상의 증강현실 시스템 및 방법 | |
JP3993423B2 (ja) | 電子出版物閲覧装置、電子出版物閲覧プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
Brownridge et al. | Body scanning for avatar production and animation | |
KR101740329B1 (ko) | 팝업 북 기반 영상 콘텐츠 표시 장치 및 방법 | |
CN111640190A (zh) | Ar效果的呈现方法、装置、电子设备及存储介质 | |
KR101910931B1 (ko) | 고유코드를 이용한 푸드 3d 증강현실 서비스 제공 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110316 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120313 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120508 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120612 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120625 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150720 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |