JP2023080688A - 画像作成方法、画像作成プログラム、画像作成装置及び画像作成システム - Google Patents

Abstract

【課題】共通の特徴点を設定する作業の負担をより軽減できる画像作成方法を提供すること。【解決手段】画像作成方法は、複数の３次元センサで基準物体を撮影し、前記３次元センサ毎の画像を１フレームの基準画像として取得する事前撮影ステップと、隣り合うフレームの基準画像同士が重なり合う領域において、基準物体に設けたマーカーの画像に基づいて共通の特徴点を設定する特徴点設定ステップと、隣り合うフレームの基準画像同士の互いの特徴点が一致するように座標変換を行い、変換行列を算出する変換行列算出ステップと、複数の前記３次元センサで対象物体を撮影し、前記３次元センサ毎の画像を１フレームの対象画像として取得する本撮影ステップと、取得された隣り合うフレームの対象画像同士を、変換行列算出ステップで算出された同じフレーム間の前記変換行列に基づいて座標変換を行い、対象物体の３次元モデル画像を作成する画像作成ステップとを含む。【選択図】図１

Description

本発明は、画像作成方法、画像作成プログラム、画像作成装置及び画像作成システムに関する。

従来、対象物体の周囲３６０度からの３次元画像を作成する方法として、例えば、３次元センサと対象物体との位置関係をあらかじめ計測しておき、計測した位置関係に基づいて画像間の位置合わせを行う方法や、固定した３次元センサに対して対象物体を回転させ、３次元センサと対象物体との位置関係を多方面から計測する方法が知られている。また、人物の周囲に設置した３次元センサで対象物体を撮影し、それぞれの画像を位置合わせすることにより、人物の周囲３６０度からの３次元画像を作成する方法も知られている（例えば、特許文献１、２参照）。

特開平１－１１３７４４号公報 特開２０１０－１２８７４２号公報

上記特許文献のように、人物の周囲に設置した３次元センサで対象物体を撮影し、それぞれの画像を座標変換して３次元画像を作成する方法では、例えば、以下のような手順で作業が行われる。
（ａ）人物の周囲に３次元センサを複数台設置する。
（ｂ）複数台の３次元センサで人物を撮影し、各フレーム（１つの３次元センサで撮影される画像の領域）の画像を取得する。
（ｃ）隣り合うフレームの画像同士が重なり合う領域において、共通する特徴点をオペレータが手作業により設定する。
（ｄ）隣り合うフレームの画像同士を互いの特徴点が一致するように座標変換を行い、対象物体の周囲３６０度からの３次元画像を作成する。

上記手順（ｃ）において、オペレータは、隣り合うフレームの撮影画像をモニタ画面に表示させて、画像同士が重なり合う領域を見比べながら、共通する特徴点を設定するという作業を、すべての隣り合うフレームの画像同士について行うことになる。対象物体が人物の場合、目、鼻、唇、耳等が特徴点として設定されることが多いが、頭部の画像は、頭髪が大半を占める。そのため、特徴点を見つけることが難しく、特徴点を設定する作業に手間と時間がかかるうえ、作業ミスの可能性が高くなるという課題がある。

本発明の目的は、共通の特徴点を設定する作業の負担をより軽減することができる画像作成方法、画像作成プログラム、画像作成装置及び画像作成システムを提供することにある。

本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、基準物体の周囲に設置された複数の３次元センサで前記基準物体を撮影し、前記３次元センサ毎の画像を１フレームの基準画像として取得する事前撮影ステップと、隣り合うフレームの基準画像同士が重なり合う領域において、前記基準物体に設けられたマーカーの画像に基づいて共通の特徴点を設定する特徴点設定ステップと、隣り合うフレームの前記基準画像同士を互いの前記特徴点が一致するように座標変換を行い、その座標変換に用いられた変換行列を算出する処理を、すべての隣り合うフレームの前記基準画像同士について実行する変換行列算出ステップと、対象物体を複数の前記３次元センサで撮影し、前記３次元センサ毎の画像を１フレームの対象画像として取得する本撮影ステップと、前記本撮影ステップで取得された隣り合うフレームの対象画像同士を、前記変換行列算出ステップで算出された同じフレーム間の前記変換行列に基づいて座標変換を行い、前記対象物体の３次元モデル画像を作成する画像作成ステップと、を含む画像作成方法に関する。
第２の発明は、第１の発明に係る画像作成方法において、前記基準物体を、前記対象物体を模して作製されたモデル体とする画像作成方法に関する。
第３の発明は、第１又は第２の発明に係る画像作成方法において、前記マーカーは、識別情報が付加された識別情報付きマーカーであり、前記特徴点設定ステップにおいて、前記識別情報付きマーカーに付加された前記識別情報に基づいて共通の前記特徴点を設定する画像作成方法に関する。
第４の発明は、基準物体の周囲に設置された複数の３次元センサで前記基準物体を撮影し、前記３次元センサ毎の画像を１フレームの基準画像として取得する事前撮影ステップと、隣り合うフレームの基準画像同士が重なり合う領域において、画像認識により共通の特徴点を設定する特徴点設定ステップと、隣り合うフレームの前記基準画像同士を互いの前記特徴点が一致するように座標変換を行い、その座標変換に用いられた変換行列を算出する処理を、すべての隣り合うフレームの前記基準画像同士について実行する変換行列算出ステップと、対象物体を複数の前記３次元センサで撮影し、前記３次元センサ毎の画像を１フレームの対象画像として取得する本撮影ステップと、前記本撮影ステップで取得された隣り合うフレームの対象画像同士を、前記変換行列算出ステップで算出された同じフレーム間の前記変換行列に基づいて座標変換を行い、前記対象物体の３次元モデル画像を作成する画像作成ステップと、を含む画像作成方法に関する。
第５の発明は、コンピュータにおいて実行される画像作成プログラムであって、前記コンピュータを、複数の３次元センサで撮影された基準物体の前記３次元センサ毎の画像を１フレームの基準画像として取得し、隣り合うフレームの基準画像同士が重なり合う領域において、前記基準物体に設けられたマーカーの画像に基づいて共通の特徴点を設定する特徴点設定部と、隣り合うフレームの前記基準画像同士を互いの前記特徴点が一致するように座標変換を行い、その座標変換に用いられた変換行列を算出する処理を、すべての隣り合うフレームの前記基準画像同士について実行する変換行列算出部と、複数の前記３次元センサで撮影された対象物体の前記３次元センサ毎の画像を１フレームの対象画像として取得し、隣り合うフレームの対象画像同士を、前記変換行列算出部で取得された同じフレーム間の前記変換行列に基づいて座標変換を行い、前記対象物体の３次元モデル画像を作成する画像作成部と、して機能させる画像作成プログラムに関する。
第６の発明は、第５の発明に係る画像作成プログラムにおいて、前記マーカーに付加された識別情報に基づいて共通の前記特徴点を設定する画像作成プログラムに関する。
第７の発明は、コンピュータにおいて実行される画像作成プログラムであって、前記コンピュータを、複数の３次元センサで撮影された基準物体の前記３次元センサ毎の画像を１フレームの基準画像として取得し、隣り合うフレームの基準画像同士が重なり合う領域において、画像認識により共通の特徴点を設定する特徴点設定部と、隣り合うフレームの前記基準画像同士を互いの前記特徴点が一致するように座標変換を行い、その座標変換に用いられた変換行列を算出する処理を、すべての隣り合うフレームの前記基準画像同士について実行する変換行列算出部と、複数の前記３次元センサで撮影された対象物体の前記３次元センサ毎の画像を１フレームの対象画像として取得し、隣り合うフレームの対象画像同士を、前記変換行列算出部で取得された同じフレーム間の前記変換行列に基づいて座標変換を行い、前記対象物体の３次元モデル画像を作成する画像作成部と、して機能させる画像作成プログラムに関する。
第８の発明は、基準物体の周囲に配置された複数の３次元センサで撮影された前記基準物体の前記３次元センサ毎の画像を１フレームの基準画像として取得し、隣り合うフレームの基準画像同士が重なり合う領域において、前記基準物体に設けられたマーカーの画像に基づいて共通の特徴点を設定する特徴点設定部と、隣り合うフレームの前記基準画像同士を互いの前記特徴点が一致するように座標変換を行い、その座標変換に用いられた変換行列を算出する処理を、すべての隣り合うフレームの前記基準画像同士について実行する変換行列算出部と、複数の前記３次元センサで撮影された対象物体の前記３次元センサ毎の画像を１フレームの対象画像として取得し、隣り合うフレームの対象画像同士を、前記変換行列算出部で取得された同じフレーム間の前記変換行列に基づいて座標変換を行い、前記対象物体の３次元モデル画像を作成する画像作成部と、を備える画像作成装置に関する。
第９の発明は、第８の発明に係る画像作成装置において、前記マーカーは、識別情報が付加された識別情報付きマーカーであり、前記特徴点設定部は、前記識別情報付きマーカーに付加された前記識別情報に基づいて共通の前記特徴点を設定する画像作成装置に関する。
第１０の発明は、基準物体の周囲に配置された複数の３次元センサで撮影された前記基準物体の前記３次元センサ毎の画像を１フレームの基準画像として取得し、隣り合うフレームの基準画像同士が重なり合う領域において、画像認識により共通の特徴点を設定する特徴点設定部と、隣り合うフレームの前記基準画像同士を互いの前記特徴点が一致するように座標変換を行い、その座標変換に用いられた変換行列を算出する処理を、すべての隣り合うフレームの前記基準画像同士について実行する変換行列算出部と、複数の前記３次元センサで撮影された対象物体の前記３次元センサ毎の画像を１フレームの対象画像として取得し、隣り合うフレームの対象画像同士を、前記変換行列算出部で取得された同じフレーム間の前記変換行列に基づいて座標変換を行い、前記対象物体の３次元モデル画像を作成する画像作成部と、を備える画像作成装置に関する。
第１１の発明は、第８から第１０までのいずれかの発明に係る画像作成装置と、前記基準物体を周囲から撮影して、それぞれ１フレームの前記基準画像を前記特徴点設定部に出力すると共に、前記対象物体を周囲から撮影して、それぞれ１フレームの前記対象画像を前記特徴点設定部に出力する複数の３次元センサと、を備える画像作成システムに関する。

本発明に係る画像作成方法、画像作成プログラム、画像作成装置及び画像作成システムによれば、共通の特徴点を設定する作業の負担をより軽減することができる。

第１実施形態の画像作成システム１００の全体構成を示す図である。 画像作成システム１００の機能ブロック図である。 被写体Ｐ１と識別情報付きマーカーの配置を説明する図である。 （Ａ）～（Ｃ）は、マーカーの種類を説明する図である。 （Ａ）及び（Ｂ）は、情報付きマーカーＭ２の撮影位置による違いを説明する図である。 （Ａ）～（Ｃ）は、隣り合うフレームの対象画像同士を変換行列に基づいて座標変換した例を説明する概念図である。 被写体Ｐ１の撮影画像（基準画像）から変換行列を算出する処理の手順を示すフローチャートである。 被写体Ｐ２の撮影画像（対象画像）から３Ｄモデル画像を作成する処理の手順を示すフローチャートである。 第２実施形態において、被写体Ｐ１の撮影画像（基準画像）から変換行列を算出する処理の手順を示すフローチャートである。

以下、本発明に係る画像作成方法、画像作成プログラム、画像作成装置及び画像作成システムの実施形態について説明する。
なお、本明細書に添付した図面は、いずれも模式図であり、理解しやすさ等を考慮して、各部の形状、縮尺、縦横の寸法比等を、実物から変更又は誇張している。

（第１実施形態）
図１は、第１実施形態の画像作成システム１００の全体構成を示す図である。図２は、画像作成システム１００の機能ブロック図である。図３は、被写体Ｐ１と識別情報付きマーカーの配置を説明する図である。図４（Ａ）～（Ｃ）は、マーカーの種類を説明する図である。図５（Ａ）及び（Ｂ）は、情報付きマーカーＭ２の撮影位置による違いを説明する図である。図６（Ａ）～（Ｃ）は、隣り合うフレームの対象画像同士を変換行列に基づいて座標変換した例を説明する概念図である。

図１に示す画像作成システム１００は、人物等の３次元画像を作成するシステムである。画像作成システム１００で作成された３次元画像は、例えば、商業施設で行われるゲームやイベントに活用する場合や、オフィスビルで本人認証に使用したりする場合等に用いることができる。

図１に示すように、第１実施形態の画像作成システム１００は、３Ｄセンサ（３次元センサ）１ａ～１ｆと、画像作成装置２とを備えている。以降の説明において、３Ｄセンサ１ａ～１ｆを区分しない場合には、単に「３Ｄセンサ」ともいう。なお、本実施形態では、図１に示すように、図中の左端に位置する３Ｄセンサ１ａを、被写体Ｐの正面に位置する３Ｄセンサとする。

３Ｄセンサ１ａ～１ｆは、被写体ＰのＲＧＢの画像情報と深度情報とを含む３Ｄ画像を撮影する機器である。３Ｄセンサとしては、例えば、被写体に赤外線を照射して深度を算出するＴＯＦ方式のカメラを用いることができる。図１に示すように、６台の３Ｄセンサ１ａ～１ｆは、被写体Ｐの周囲３６０度を囲むように等間隔（６０度）で設置されている。各３Ｄセンサは、それぞれカメラスタンド（不図示）に支持されているが、被写体Ｐの周囲を囲むように設置された枠形の架台に設置されていてもよい。３Ｄセンサ１ａ～１ｆは、隣り合う３Ｄセンサで撮影されたそれぞれの撮影画像の中に、互いに重なり合う領域が含まれるように設置される。これにより、隣り合う３Ｄセンサで撮影されたそれぞれの撮影画像には、互いに共通の特徴点（後述するマーカーＭの画像）が含まれることになる。

なお、本実施形態において、被写体Ｐは、人物を模して作製されたモデル体（基準物体）又は人物（対象物体）の総称である。モデル体は、例えば、マネキンの頭部である。以降の説明において、被写体Ｐがモデル体である場合には「被写体Ｐ１」、人物である場合には「被写体Ｐ２」という。モデル体及び人物を区別しない場合には、単に「被写体Ｐ」という。

各３Ｄセンサは、画像作成装置２に設けられた制御部１０（後述）の制御により被写体Ｐを撮影する。各３Ｄセンサにおいて、被写体Ｐの撮影は同時に行われ、撮影されたそれぞれの３Ｄ画像は、ケーブル等（不図示）を介して画像作成装置２に送信（出力）され、記憶部２０（後述）に記憶される。本明細書では、１つの３Ｄセンサで被写体Ｐが撮影される領域（画像範囲）を「１フレーム」又は「フレーム」という。１つの３Ｄセンサは、１フレームの３Ｄ画像として、後述する基準画像及び対象画像を撮影する。以降の説明においては、１つの３Ｄセンサで撮影された１フレームの３Ｄ画像を総称して「撮影画像」ともいう。

画像作成装置２は、３Ｄセンサで撮影された複数の３Ｄ画像が連続するように座標変換を行い、被写体Ｐの周囲３６０度からの３Ｄ画像（以下、「３Ｄモデル画像」ともいう）を作成する装置である。画像作成装置２は、例えば、パーソナルコンピュータ（ＰＣ）、タブレット端末等の情報処理装置である。図２に示すように、画像作成装置２は、制御部１０、記憶部２０、入力部３０及び表示部４０を備えている。

制御部１０は、画像作成装置２の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）や、各種のアプリケーションプログラムを適宜に読み出して実行することにより、各ハードウェアと協働して、各種機能を実行する。制御部１０は、画像作成プログラム、変換行列算出プログラム等により実行される機能ブロックとして、特徴点設定部１１、変換行列算出部１２及び画像作成部１３を備えている。

特徴点設定部１１は、各３Ｄセンサで撮影された被写体Ｐ１（モデル体）の３Ｄセンサ毎の画像を１フレームの基準画像として取得する。そして、取得した基準画像に対して画像認識を行い、隣り合うフレームの基準画像同士が重なり合う領域において、被写体Ｐ１に設けられたマーカーＭ（後述）の画像に基づいて、共通の特徴点を設定する。隣り合うフレームの基準画像同士とは、図１において、例えば、３Ｄセンサ１ａで撮影された１フレームの基準画像と３Ｄセンサ１ｆで撮影された１フレームの基準画像との組み合わせである。

図３に示すように、被写体Ｐ１には、複数のマーカーＭが設けられている。マーカーＭは、人物の目、鼻、唇、耳等に相当する位置に設けられる目印である。被写体Ｐ１に設けられるマーカーＭは、隣り合うフレームの基準画像同士が重なり合う領域において、共通の特徴点となる。マーカーＭは、隣り合うフレームの基準画像同士が重なり合う領域において、それぞれのフレームの撮影画像に同じマーカーＭの画像が３つ以上含まれるように配置される。例えば、図３において、破線の丸枠で示すマーカーＭは、例えば、３Ｄセンサ１ａと１ｆで撮影されるそれぞれの基準画像に写されるマーカーとなる。

マーカーＭは、１フレームの撮影画像に少なくとも３つ含まれる必要がある。特徴点となるマーカーＭの数を多くするほど、後述する座標変換の精度が向上する。なお、それぞれのマーカーＭは、近い位置に配置されていると座標変換の精度が低下するため、１フレーム内に撮影される被写体Ｐ１において、離れた位置に配置することが望ましい。また、マーカーＭは、被写体Ｐ１の表面のデータ量を損なわないようにするため、画像認識により識別が可能な範囲において、出来る限り小さくすることが望ましい。

図４（Ａ）に示す.マーカーＭ１（Ｍ）は、識別情報が付加されていないマーカーである。識別情報が付加されていないマーカーは、例えば、図４（Ａ）に示すような無地の丸形シールである。図４（Ｂ）及び（Ｃ）に示すマーカーＭ２（Ｍ）は、識別情報が付加されたマーカー（識別情報付きマーカー）である。識別情報とは、例えば、撮影画像に対して画像認識を行うことにより、該当するマーカーを識別可能とする情報である。図４（Ｂ）に示すマーカーＭ２は、一次元バーコードにより構成される。また、図４（Ｃ）に示すマーカーＭ２は、二次元バーコードにより構成される。いずれのマーカーＭ２も、撮影画像に対して画像認識を行うことにより、マーカーに記録された識別情報を読み取ることができる。以降の説明においては、識別情報のないマーカーを「マーカーＭ１」、識別情報付きマーカーを「マーカーＭ２」ともいう。また、マーカーＭ１とＭ２を区別しない場合には、単に「マーカー」ともいう。

図５（Ａ）及び（Ｂ）は、異なる位置の３Ｄセンサで撮影された画像に含まれる同一のマーカーＭ２ａ～Ｍ２ｃ（３箇所）を示している。マーカーＭ２ａ～Ｍ２ｃは、それぞれ異なる識別情報が付加されている。図５（Ａ）は、被写体Ｐの正面に位置する３Ｄセンサ１ａによる撮影画像であり、図５（Ｂ）は、３Ｄセンサ１ａを基準（０度）として左側に６０度回転した位置に設置された３Ｄセンサ１ｆによる撮影画像である。なお、「回転した位置」とは、図１において、被写体Ｐを中心軸として回転した位置を意味する。それぞれの撮影画像に対して画像認識を行うことにより、図５（Ａ）及び（Ｂ）に示された、それぞれの位置のマーカーＭ２が同一のマーカーであることを特定することができる。

特徴点設定部１１は、図５（Ａ）及び（Ｂ）に示すように、隣り合うフレームの基準画像同士が重なり合う領域Ａにおいて、マーカーの画像に基づいて共通の特徴点となるマーカーＭ２ａ～Ｍ２ｃを画像認識により抽出することができる。なお、図５（Ａ）及び（Ｂ）においては、基準画像同士が重なり合う領域Ａを概念的に表している。特徴点設定部１１は、抽出したマーカーＭ２ａ～Ｍ２ｃの位置情報を、マーカーＭ２ａ～Ｍ２ｃのそれぞれの識別情報と関連付けて記憶部２０に記憶する。特徴点設定部１１は、基準画像から抽出したすべてのマーカーＭ２ａ～Ｍ２ｃについて、そのマーカーＭ２ａ～Ｍ２ｃ（特徴点）の位置情報と識別情報とを関連付けて記憶する処理を実行する。

変換行列算出部１２は、隣り合うフレームの基準画像同士を互いの特徴点が一致するように座標変換を行い、その座標変換に用いられた変換行列を算出する処理を、すべての隣り合うフレームの基準画像同士について実行する。隣り合うフレームの基準画像同士の座標変換には、例えば、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズムに対応した変換行列算出プログラム（変換行列算出部１２）を用いることができる。具体的には、変換行列算出プログラムに対して、隣接するフレームのそれぞれの基準画像のデータと、その基準画像に関連付けられた特徴点の位置情報とを入力することにより、隣り合うフレームの基準画像同士の座標変換を行うことができる。

変換行列算出プログラムは、入力された基準画像のデータ及び共通特徴点の位置情報に基づいて、隣り合うフレームの基準画像同士が重なり合う領域において、共通の特徴点同士の距離が最小となるパラメータとしての変換行列を算出する。変換行列は、基準となる画像に対して、座標変換する画像のＸＹＺ方向の移動量と回転量とを行列式で表したものである（図６（Ｂ）参照）。変換行列算出部１２は、変換行列算出プログラムを用いて、すべての隣り合うフレームの基準画像同士について変換行列を算出する。変換行列は、３Ｄセンサの数と同数分が算出される。

画像作成部１３は、各３Ｄセンサで撮影された被写体Ｐ２（人物）の３Ｄセンサ毎の画像を１フレームの対象画像として取得し、隣り合うフレームの対象画像同士を、変換行列算出部１２で算出された同じフレーム間の変換行列に基づいて座標変換を行い、被写体Ｐ２の３Ｄモデル画像を作成する。

ここで、画像作成部１３により、隣り合うフレームの対象画像同士を変換行列に基づいて座標変換する例について説明する。図６（Ａ）は、図１において、被写体Ｐ２の正面に位置する３Ｄセンサ１ａで撮影された対象画像を説明する図である。図６（Ｂ）は、図１において、３Ｄセンサ１ａを基準（０度）として左側に６０度回転した位置に設置された３Ｄセンサ１ｆで撮影された対象画像を説明する図である。

３Ｄセンサ１ａで撮影された対象画像に対して、３Ｄセンサ１ｆで撮影された対象画像の座標変換を行う場合、図６（Ｂ）に示すように、３Ｄセンサ１ｆで撮影された対象画像のデータに変換行列を乗算する。そして、変換行列を乗算した、３Ｄセンサ１ｆで撮影された対象画像のデータと、３Ｄセンサ１ａで撮影された対象画像とを合成する。これにより、３Ｄセンサ１ａで撮影された対象画像に対して、３Ｄセンサ１ｆで撮影された対象画像の座標変換を行うことができる。

図６（Ｃ）は、３Ｄセンサ１ａで撮影された対象画像に対して、３Ｄセンサ１ｆで撮影された対象画像の座標変換を行うことにより得られた画像の一例を示している。すなわち、図６（Ｃ）は、被写体Ｐ２の周囲において、３Ｄセンサ１ａの位置から左側に６０度回転した３Ｄセンサ１ｆまでの間の連続する３Ｄモデル画像の一部の画像を示している。上述した３Ｄセンサ１ａで撮影された対象画像に対して、３Ｄセンサ１ｆで撮影された対象画像の座標変換を行う処理と同様の処理を、すべての隣り合うフレームの対象画像同士について実行することにより、被写体Ｐ２を周囲３６０度から見た３Ｄモデル画像を作成することができる。なお、図６（Ｂ）に示す変換行列は、実際に算出された変換行列の一例を示している。

図２に戻り、記憶部２０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ等の記憶媒体である。
記憶部２０は、プログラム記憶部２１、データ記憶部２２及び画像記憶部２３を備えている。プログラム記憶部２１は、プログラムを記憶する記憶領域である。プログラム記憶部２１は、制御部１０の各種機能を実行するための制御プログラム、制御部１０が画像作成処理を実行するための画像作成プログラム、制御部１０が変換行列を算出するための変換行列算出プログラム、画像作成処理において画像認識を実行するための画像認識プログラム等を記憶している。データ記憶部２２は、各種のデータを記憶する記憶領域である。データ記憶部２２は、例えば、マーカーの位置情報、変換行列に関するデータ等を記憶している。画像記憶部２３は、各種画像のデータを記憶するための記憶領域である。画像記憶部２３は、例えば、撮影画像のデータ、３Ｄモデル画像のデータ等を記憶している。

入力部３０は、オペレータが画像作成装置２に対して各種データ、指示等を入力するための装置である。入力部３０は、例えば、キーボード、マウス等により構成される。表示部４０は、画面上に撮影画像等を表示する装置である。表示部４０は、例えば、液晶ディスプレイ装置により構成される。

次に、第１実施形態の画像作成システム１００により被写体Ｐ２（人物）の３Ｄモデル画像を作成する処理を、図７及び図８のフローチャートを参照して説明する。
まず、被写体Ｐ１（モデル体）の撮影画像から変換行列を算出する処理について説明する。図７は、被写体Ｐ１の撮影画像（基準画像）から変換行列を算出する処理の手順を示すフローチャートである。第１実施形態の事前撮影ステップ（後述）において、撮影対象となる被写体Ｐ１は、マーカーＭ２（識別情報付きマーカー）が設けられたモデル体となる。なお、図７及び図８（後述）に示すフローチャートの処理は、制御部１０が記憶部２０に記憶されている画像作成プログラム、変換行列算出プログラム等を読み出して実行することにより進行する。

図７に示すステップＳ１において、制御部１０（特徴点設定部１１）は、被写体Ｐ１（モデル体）の周囲に設置された各３Ｄセンサを制御して被写体Ｐ１を撮影し、各３Ｄセンサで撮影された被写体Ｐ１の３Ｄセンサ毎の画像を１フレームの基準画像として取得する（事前撮影ステップ）。各３Ｄセンサから取得された基準画像のデータは、記憶部２０（画像記憶部２３）に記憶される。

ステップＳ２において、制御部１０（特徴点設定部１１）は、各３Ｄセンサから取得した基準画像に対して画像認識を行い、隣り合うフレームの基準画像同士が重なり合う領域において、マーカーの画像に基づいて共通の特徴点を設定する（特徴点設定ステップ）。具体的には、制御部１０は、被写体Ｐ１に設けられたマーカーＭ２の画像を画像認識により抽出し、共通の特徴点として設定する。制御部１０は、抽出した特徴点の位置情報と識別情報とを関連付けて記憶部２０（データ記憶部２２）に記憶する。これらの情報は、後述するステップＳ３の処理において、基準画像のデータと共に用いられる。

ステップＳ３において、制御部１０（変換行列算出部１２）は、隣り合うフレームの基準画像同士を互いの特徴点が一致するように座標変換を行い、その座標変換に用いられた変換行列を算出する処理を、すべての隣り合うフレームの基準画像同士について実行する（変換行列算出ステップ）。
ステップＳ４において、制御部１０（変換行列算出部１２）は、各フレーム間で算出された変換行列を記憶部２０（データ記憶部２２）に記憶する。

次に、被写体Ｐ１の撮影画像から算出した変換行列を用いて、被写体Ｐ２の撮影画像から３Ｄモデル画像を作成する処理について説明する。図８は、被写体Ｐ２の撮影画像（対象画像）から３Ｄモデル画像を作成する処理の手順を示すフローチャートである。画像作成処理では、人物の被写体Ｐ２が撮影対象となる。

図８に示すステップＳ１１において、制御部１０（画像作成部１３）は、被写体Ｐ２（人物）の周囲に設置された各３Ｄセンサを制御して被写体Ｐ２を撮影し、各３Ｄセンサで撮影された被写体Ｐ２の３Ｄセンサ毎の画像を１フレームの対象画像として取得する（本撮影ステップ）。

ステップＳ１２において、制御部１０（画像作成部１３）は、隣り合うフレームの対象画像同士を、変換行列算出部１２で算出された同じフレーム間の変換行列に基づいて座標変換を行い、被写体Ｐ２の３Ｄモデル画像を作成する（画像作成ステップ）。
ステップＳ１３において、制御部１０（画像作成部１３）は、作成した被写体Ｐ２の３Ｄモデル画像を記憶部２０（画像記憶部２３）に記憶する。
なお、被写体Ｐ２が別の人物に入れ替わっても、図８に示すフローチャートの手順に従って処理を実行することにより、３Ｄモデル画像を作成することができる。

上述した第１実施形態の画像作成装置２によれば、例えば、以下のような効果を奏する。
画像作成装置２の制御部１０（特徴点設定部１１）は、各３Ｄセンサで撮影された隣り合うフレームの基準画像同士が重なり合う領域において、被写体Ｐ１に設けられたマーカーの画像（識別情報付きマーカーの識別情報）に基づいて共通の特徴点を設定する。そのため、オペレータが隣り合うフレームの撮影画像をモニタ画面に表示させて、画像同士が重なり合う領域を見比べながら、共通する特徴点を設定するという従来の手法に比べて、共通の特徴点を設定する作業の負担をより軽減することができる。また、オペレータが手作業で共通の特徴点を設定する場合に比べて、より精度の高い３Ｄモデル画像を作成することができる。

第１実施形態の画像作成装置２を備えた画像作成システム１００は、例えば、商業施設で行われるゲームやイベントにおいて、次々に訪れる来場者の３Ｄモデル画像を撮影する場合において有用である。特に、イベント等において、撮影設備が一時的に設営されたものである場合、３Ｄカメラを設置する位置もその都度変わるため、本実施形態の画像作成システム１００を用いることにより、オペレータの作業の負担を軽減することができる。

第１実施形態の画像作成装置２は、被写体Ｐ１に識別情報のないマーカーを設けた場合であっても、オペレータは、各３Ｄセンサで撮影された隣り合うフレームの基準画像同士が重なり合う領域において、被写体Ｐ１に設けられたマーカーの画像に基づいて共通の特徴点を設定することができる。具体的には、オペレータが隣り合うフレームの撮影画像をモニタ画面に表示させて、画像同士が重なり合う領域において、対応する位置にあるマーカー同士を関連付ける操作を行うことにより、共通する特徴点を簡単に設定することができる。そのため、従来のように、オペレータが隣り合うフレームの撮影画像をモニタ画面に表示させて、画像同士が重なり合う領域を見比べながら、人物の目、鼻、唇、耳等の共通する特徴点を撮影画像から探し出して、それぞれの特徴点同士を関連付ける操作を行う場合に比べて、共通する特徴点を設定する作業の負担を軽減することができる。

第１実施形態においては、人物を模して作成されたモデル体を被写体Ｐ１としている（図３参照）。そのため、人物の頭部に識別情報のないマーカーを設けた場合に比べて、オペレータは、識別情報のないマーカーの位置を容易に特定することができる。また、人物の頭部に識別情報付きのマーカーを設けた場合と比べて、画像認識による識別情報の読み取りを、より速やかに且つ正確に行うことができる。

（第２実施形態）
第２実施形態の画像作成装置２は、特徴点設定部１１において、被写体Ｐ１の撮影画像から変換行列を算出する処理が第１実施形態と相違する。そのため、第２実施形態では、被写体Ｐ１の撮影画像から変換行列を算出する処理を示すフローチャートのみを図示し、装置全体の図示を省略する。また、第２実施形態の説明及び図面において、第１実施形態と同等の部材等には、第１実施形態と同一の符号を付し、重複する説明を省略する。

図９は、第２実施形態の特徴点設定部１１において、被写体Ｐ１の撮影画像（基準画像）から変換行列を算出する処理の手順を示すフローチャートである。第２実施形態の特徴点設定部１１では、隣り合うフレームの基準画像同士が重なり合う領域において、画像認識により共通の特徴点を設定する点が第１実施形態と相違する。第２実施形態の事前撮影ステップにおいて、撮影対象となる被写体Ｐ１は、マーカーＭが設けられていないモデル体となる。なお、図９に示すフローチャートの処理は、制御部１０が記憶部２０に記憶されている画像作成プログラム、変換行列算出プログラム、画像認識プログラム等を読み出して実行することにより進行する。

図９に示すステップＳ２１において、制御部１０（特徴点設定部１１）は、被写体Ｐ１の周囲に設置された各３Ｄセンサを制御して被写体Ｐ１を撮影し、各３Ｄセンサで撮影された被写体Ｐ１の３Ｄセンサ毎の画像を１フレームの基準画像として取得する（事前撮影ステップ）。各３Ｄセンサから取得された基準画像は、記憶部２０（画像記憶部２３）に記憶される。

ステップＳ２２において、制御部１０（特徴点設定部１１）は、各３Ｄセンサから取得した基準画像に対して画像認識を行い、隣り合うフレームの基準画像同士が重なり合う領域において、共通の特徴点を設定する（特徴点設定ステップ）。具体的には、制御部１０は、基準画像として撮影されたモデル体の特徴点（例えば、モデル体において人物の目、鼻、唇、耳等に相当する部分）の特徴点を画像認識により抽出して、共通の特徴点として設定する。制御部１０は、抽出した特徴点の位置情報と識別情報とを関連付けて記憶部２０（データ記憶部２２）に記憶する。

ステップＳ２３において、制御部１０（変換行列算出部１２）は、隣り合うフレームの基準画像同士を互いの特徴点が一致するように座標変換を行い、その座標変換に用いられた変換行列を算出する処理を、すべての隣り合うフレームの基準画像同士について実行する（変換行列算出ステップ）。

ステップＳ２４において、制御部１０（変換行列算出部１２）は、各フレーム間で算出した変換行列を記憶部２０（データ記憶部２２）に記憶する。
この後、被写体Ｐ１の撮影画像から算出した変換行列を用いて、被写体Ｐ２（人物）の撮影画像から３Ｄモデル画像を作成する処理は、第１実施形態（図８）と同じであるため、説明を省略する。

第２実施形態の画像作成装置２において、制御部１０（特徴点設定部１１）は、各３Ｄセンサで撮影された隣り合うフレームの基準画像同士が重なり合う領域において、画像認識により共通の特徴点を設定する。これによれば、撮影対象となる被写体Ｐ１に、あらかじめマーカー等を設ける必要がないため、共通する特徴点を設定する作業の負担を軽減できるだけでなく、３Ｄモデル画像を作成するための準備作業の負担をも軽減することができる。

第２実施形態において、被写体Ｐ１（モデル体）の代わりに被写体Ｐ２（人物）を用いてもよい。その場合は、事前撮影ステップで取得した人物の撮影画像に基づいて３Ｄモデル画像を作成することができるため、３Ｄモデル画像を作成する作業をより簡素化することができる。

以上、本発明の実施形態について説明したが、本発明は、前述した実施形態に限定されるものではなく、後述する変形形態のように種々の変形や変更が可能であって、それらも本発明の技術的範囲内に含まれる。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、実施形態に記載したものに限定されない。なお、上述の実施形態及び後述する変形形態は、適宜に組み合わせて用いることもできるが、詳細な説明は省略する。

（変形形態）
第１実施形態において、識別情報付きマーカーは、図４（Ｂ）、（Ｃ）に示す一次元バーコードや二次元バーコードに限らず、例えば、無地のマーカーに数字、文字、記号等を付けたり、絵柄や模様等を付けたりしたしてもよいし、それぞれ異なる形状としてもよい。すなわち、マーカーに付加される識別情報は、画像認識で判別可能であれば、どのようなものでもよい。

第１及び第２実施形態においては、被写体の周囲に６台の３Ｄセンサを設置する例について説明したが、設置する３Ｄセンサの数は、３Ｄセンサの仕様、被写体の形状、大きさ、撮影範囲等に応じて適宜に選択可能である。

第１及び第２実施形態において、被写体Ｐ１として、マネキンの頭部のようなモデル体を用いる代わりに、人体を模していない立方体を用いてもよい。被写体Ｐ１として、例えば、球体を用いた場合、基準画像同士の座標変換をより精度良く行うことができる。

１ａ～１ｆ ３Ｄセンサ
２ 画像作成装置
１０ 制御部
１１ 特徴点設定部
１２ 変換行列算出部
１３ 画像作成部
２０ 記憶部
２１ プログラム記憶部
２２ データ記憶部
２３ 画像記憶部
１００ 画像作成システム

Claims (11)

1. 基準物体の周囲に設置された複数の３次元センサで前記基準物体を撮影し、前記３次元センサ毎の画像を１フレームの基準画像として取得する事前撮影ステップと、
   隣り合うフレームの基準画像同士が重なり合う領域において、前記基準物体に設けられたマーカーの画像に基づいて共通の特徴点を設定する特徴点設定ステップと、
   隣り合うフレームの前記基準画像同士を互いの前記特徴点が一致するように座標変換を行い、その座標変換に用いられた変換行列を算出する処理を、すべての隣り合うフレームの前記基準画像同士について実行する変換行列算出ステップと、
   対象物体を複数の前記３次元センサで撮影し、前記３次元センサ毎の画像を１フレームの対象画像として取得する本撮影ステップと、
   前記本撮影ステップで取得された隣り合うフレームの対象画像同士を、前記変換行列算出ステップで算出された同じフレーム間の前記変換行列に基づいて座標変換を行い、前記対象物体の３次元モデル画像を作成する画像作成ステップと、
   を含む画像作成方法。
2. 前記基準物体は、前記対象物体を模して作製されたモデル体である請求項１に記載の画像作成方法。
3. 前記マーカーは、識別情報が付加された識別情報付きマーカーであり、
   前記特徴点設定ステップにおいて、前記識別情報付きマーカーに付加された前記識別情報に基づいて共通の前記特徴点を設定する請求項１又は２に記載の画像作成方法。
4. 基準物体の周囲に設置された複数の３次元センサで前記基準物体を撮影し、前記３次元センサ毎の画像を１フレームの基準画像として取得する事前撮影ステップと、
   隣り合うフレームの基準画像同士が重なり合う領域において、画像認識により共通の特徴点を設定する特徴点設定ステップと、
   隣り合うフレームの前記基準画像同士を互いの前記特徴点が一致するように座標変換を行い、その座標変換に用いられた変換行列を算出する処理を、すべての隣り合うフレームの前記基準画像同士について実行する変換行列算出ステップと、
   対象物体を複数の前記３次元センサで撮影し、前記３次元センサ毎の画像を１フレームの対象画像として取得する本撮影ステップと、
   前記本撮影ステップで取得された隣り合うフレームの対象画像同士を、前記変換行列算出ステップで算出された同じフレーム間の前記変換行列に基づいて座標変換を行い、前記対象物体の３次元モデル画像を作成する画像作成ステップと、
   を含む画像作成方法。
5. コンピュータにおいて実行される画像作成プログラムであって、
   前記コンピュータを、
   複数の３次元センサで撮影された基準物体の前記３次元センサ毎の画像を１フレームの基準画像として取得し、隣り合うフレームの基準画像同士が重なり合う領域において、前記基準物体に設けられたマーカーの画像に基づいて共通の特徴点を設定する特徴点設定部と、
   隣り合うフレームの前記基準画像同士を互いの前記特徴点が一致するように座標変換を行い、その座標変換に用いられた変換行列を算出する処理を、すべての隣り合うフレームの前記基準画像同士について実行する変換行列算出部と、
   複数の前記３次元センサで撮影された対象物体の前記３次元センサ毎の画像を１フレームの対象画像として取得し、隣り合うフレームの対象画像同士を、前記変換行列算出部で取得された同じフレーム間の前記変換行列に基づいて座標変換を行い、前記対象物体の３次元モデル画像を作成する画像作成部と、して機能させる画像作成プログラム。
6. 前記マーカーに付加された識別情報に基づいて共通の前記特徴点を設定する請求項５に記載の画像作成プログラム。
7. コンピュータにおいて実行される画像作成プログラムであって、
   前記コンピュータを、
   複数の３次元センサで撮影された基準物体の前記３次元センサ毎の画像を１フレームの基準画像として取得し、隣り合うフレームの基準画像同士が重なり合う領域において、画像認識により共通の特徴点を設定する特徴点設定部と、
   隣り合うフレームの前記基準画像同士を互いの前記特徴点が一致するように座標変換を行い、その座標変換に用いられた変換行列を算出する処理を、すべての隣り合うフレームの前記基準画像同士について実行する変換行列算出部と、
   複数の前記３次元センサで撮影された対象物体の前記３次元センサ毎の画像を１フレームの対象画像として取得し、隣り合うフレームの対象画像同士を、前記変換行列算出部で取得された同じフレーム間の前記変換行列に基づいて座標変換を行い、前記対象物体の３次元モデル画像を作成する画像作成部と、して機能させる画像作成プログラム。
8. 基準物体の周囲に配置された複数の３次元センサで撮影された前記基準物体の前記３次元センサ毎の画像を１フレームの基準画像として取得し、隣り合うフレームの基準画像同士が重なり合う領域において、前記基準物体に設けられたマーカーの画像に基づいて共通の特徴点を設定する特徴点設定部と、
   隣り合うフレームの前記基準画像同士を互いの前記特徴点が一致するように座標変換を行い、その座標変換に用いられた変換行列を算出する処理を、すべての隣り合うフレームの前記基準画像同士について実行する変換行列算出部と、
   複数の前記３次元センサで撮影された対象物体の前記３次元センサ毎の画像を１フレームの対象画像として取得し、隣り合うフレームの対象画像同士を、前記変換行列算出部で取得された同じフレーム間の前記変換行列に基づいて座標変換を行い、前記対象物体の３次元モデル画像を作成する画像作成部と、
   を備える画像作成装置。
9. 前記マーカーは、識別情報が付加された識別情報付きマーカーであり、
   前記特徴点設定部は、前記識別情報付きマーカーに付加された前記識別情報に基づいて共通の前記特徴点を設定する請求項８に記載の画像作成装置。
10. 基準物体の周囲に配置された複数の３次元センサで撮影された前記基準物体の前記３次元センサ毎の画像を１フレームの基準画像として取得し、隣り合うフレームの基準画像同士が重なり合う領域において、画像認識により共通の特徴点を設定する特徴点設定部と、
    隣り合うフレームの前記基準画像同士を互いの前記特徴点が一致するように座標変換を行い、その座標変換に用いられた変換行列を算出する処理を、すべての隣り合うフレームの前記基準画像同士について実行する変換行列算出部と、
    複数の前記３次元センサで撮影された対象物体の前記３次元センサ毎の画像を１フレームの対象画像として取得し、隣り合うフレームの対象画像同士を、前記変換行列算出部で取得された同じフレーム間の前記変換行列に基づいて座標変換を行い、前記対象物体の３次元モデル画像を作成する画像作成部と、
    を備える画像作成装置。
11. 請求項８から１０までのいずれかに記載の画像作成装置と、
    前記基準物体を周囲から撮影して、それぞれ１フレームの前記基準画像を前記特徴点設定部に出力すると共に、前記対象物体を周囲から撮影して、それぞれ１フレームの前記対象画像を前記特徴点設定部に出力する複数の３次元センサと、
    を備える画像作成システム。

Images