JP2017049052A - 対象物の３次元画像データを生成するためのシステム、方法、プログラム - Google Patents

対象物の３次元画像データを生成するためのシステム、方法、プログラム Download PDF

Info

Publication number
JP2017049052A
JP2017049052A JP2015170982A JP2015170982A JP2017049052A JP 2017049052 A JP2017049052 A JP 2017049052A JP 2015170982 A JP2015170982 A JP 2015170982A JP 2015170982 A JP2015170982 A JP 2015170982A JP 2017049052 A JP2017049052 A JP 2017049052A
Authority
JP
Japan
Prior art keywords
information
moving image
image data
unit
event information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015170982A
Other languages
English (en)
Inventor
健治 名雪
Kenji Nayuki
健治 名雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nihon Unisys Ltd
Original Assignee
Nihon Unisys Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nihon Unisys Ltd filed Critical Nihon Unisys Ltd
Priority to JP2015170982A priority Critical patent/JP2017049052A/ja
Priority to PCT/JP2016/074972 priority patent/WO2017038680A1/ja
Publication of JP2017049052A publication Critical patent/JP2017049052A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Abstract

【課題】３次元画像データを生成するために用いる複数フレームの選択の処理負荷を小さくした３次元形状復元システム及び方法を提供する。【解決手段】対象物の周囲を移動して所定のフレームレートで撮像する動画撮像部と、動画像データを記憶する動画像データ記憶部と、動画撮像部の姿勢を検出する姿勢センサ部と、撮像開始と開始時刻情報を取得し、姿勢センサ情報を所定のタイミングで、その時刻情報と共に取得し、動画撮像装置の対象物に対する合焦を、その時刻情報と共に取得するイベント情報取得部と、撮像開始と撮像開始時刻を対応付けたイベント情報と、イベント情報を記憶するイベント情報記憶部と、所定の条件を満たすイベント情報を選択するイベント情報選択部と、選択されたイベント情報に対応する時刻のフレームを選択するフレーム選択部と、選択されたフレームに基づいて、３次元画像データを生成する３次元画像データ生成部と、を含むシステム。【選択図】図１

Description

本発明は、対象物を撮像した動画像データに基づいて、対象物の３次元画像データを生成するためのシステム、方法、プログラムに関する。
対象物を撮像した動画像データを構成するフレーム（２次元の静止画像）から複数のフレームを選択し、選択された複数のフレームに基づいて、対象物の３次元画像データを生成する３次元復元方法が知られている（例えば、特許文献１参照）。
特開２００２−７７９４１号公報
しかしながら、上記特許文献１に記載されている３次元形状復元方法においては、対象物の３次元画像データを生成するために用いる複数のフレームを適切に選択するために、各フレームを撮像したときのビデオカメラの位置間の距離又はビデオカメラの向きの間の角度を計算する等の計算処理を要するため、フレーム選択の処理負荷が大きかった。
そこで、本発明は、対象物の３次元画像データを生成するために用いる複数のフレームの選択の処理負荷を小さくした３次元形状復元システム及び方法を提供することを目的の１つとする。
本発明の１つの態様は、対象物の３次元画像データを生成するシステムであって、前記対象物の周囲の全部又は一部を移動させられて前記対象物を所定のフレームレートで撮像する動画撮像部と、撮像された動画像データを記憶する動画像データ記憶部と、前記動画撮像部の姿勢を検出し、姿勢センサ情報を出力する姿勢センサ部と、撮像開始を検出すると共に撮像を開始した時刻情報を取得し、更に、前記姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像装置の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得するイベント情報取得部と、撮像開始情報と前記撮像を開始した時刻情報を対応付けたイベント情報と、前記姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記合焦した時刻情報を対応付けたイベント情報を記憶するイベント情報記憶部と、所定の条件を満たす複数の前記イベント情報を選択するイベント情報選択部と、前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するフレーム選択部と、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成する３次元画像データ生成部と、を含むシステムを提供するものである。
前記システムは、生成された前記対象物の３次元画像データに基づいて前記対象物の３次元画像を表示する３次元画像表示部を更に含むことができる。
前記システムは、表示された前記対象物の３次元画像の所定の位置に対応する前記フレームを表示する詳細画像表示部を更に含むことができる。
前記所定の条件は、（１）前記イベント情報の前記姿勢センサ情報が、所定の軸に対する第１の所定の複数の回転角度のいずれかに対応すること、（２）前記イベント情報が合焦検出情報を含むこと、及び（３）前記イベント情報の前記時刻情報が、所定の複数の時刻のいずれかに対応すること、の少なくとも１つとすることができる。
前記（１）の条件は、前記イベント情報の前記姿勢センサ情報が、前記所定の軸に対する第１の所定の複数の回転角度のいずれか、又は前記対象物から前記所定の軸の方向に離れた位置に対応することとすることができる。
前記システムは、前記所定の条件を設定する条件設定部を更に含むことができる。
前記所定の軸の方向は、前記姿勢センサ部の検出軸の１つの方向と同じとすることができる。
前記所定の軸の方向は、重力方向とすることができる。
前記所定の複数の時刻は、選択されるべき前記複数のフレームに基づいて決定されるものとすることができる。
前記システムは、前記所定の軸に対する第２の所定の複数の回転角度のうち、撮像が終了した回転角度を示す情報を表示する撮像終了方向表示部を更に含むことができる。
前記システムは、前記所定の軸に対する第２の所定の複数の回転角度のうち、撮像が未了の回転角度を示す情報を表示する撮像未了方向表示部を更に含むことができる。
前記動画撮像部、前記動画像データ記憶部、前記イベント情報取得部、及び前記イベント情報記憶部が動画撮像装置に備えられ、前記イベント情報選択部、前記フレーム選択部、前記３次元画像データ生成部がサーバに備えられ、前記動画撮像装置は、３次元画像データ生成処理要求、前記動画像データ、及び前記イベント情報を前記サーバへ送信する第１の送受信部を含むものとすることができる。
前記サーバは、前記３次元画像データ生成処理要求、前記動画像データ、及び前記イベント情報を前記動画撮像装置から受信し、生成された前記対象物の３次元画像データを前記動画撮像装置へ送信する第２の送受信部を含むことができる。
本発明の１つの態様は、対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物が所定のフレームレートで撮像された動画像データと、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記動画撮像部が前記対象物に対して合焦した時刻情報を対応付けたイベント情報に基づいて、対象物の３次元画像データを生成するサーバであって、所定の条件を満たす複数の前記イベント情報を選択するイベント情報選択部と、前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するフレーム選択部と、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成する３次元画像データ生成部と、を含むサーバを提供するものである。
本発明の１つの態様は、対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物が所定のフレームレートで撮像された動画像データと、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記動画撮像部が前記対象物に対して合焦した時刻情報を対応付けたイベント情報から選択された所定の条件を満たす複数のイベント情報に基づいて、対象物の３次元画像データを生成するサーバであって、前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するフレーム選択部と、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成する３次元画像データ生成部と、を含むサーバを提供するものである。
本発明の１つの態様は、所定の条件を満たす複数のイベント情報を選択し、対象物の動画像データを構成するフレームから、選択された複数の前記イベント情報の時刻情報に対応する時刻のフレームをそれぞれ選択し、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するために用いられる前記動画像データ及び前記イベント情報を生成する装置であって、前記対象物の周囲の全部又は一部を移動させられて前記対象物を所定のフレームレートで撮像する動画撮像部と、撮像された動画像データを記憶する動画像データ記憶部と、前記動画撮像部の姿勢を検出し、姿勢センサ情報を出力する姿勢センサ部と、撮像開始を検出すると共に撮像を開始した時刻情報を取得し、更に、前記姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像装置の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得するイベント情報取得部と、撮像開始情報と前記撮像を開始した時刻情報を対応付けたイベント情報と、前記姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記合焦した時刻情報を対応付けたイベント情報を記憶するイベント情報記憶部と、
を含む装置を提供するものである。
本発明の１つの態様は、対象物の動画像データを構成するフレームから、選択された複数のイベント情報の時刻情報に対応する時刻のフレームをそれぞれ選択し、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するために用いられる前記動画像データを生成し、前記イベント情報を選択する装置であって、
前記対象物の周囲の全部又は一部を移動させられて前記対象物を所定のフレームレートで撮像する動画撮像部と、撮像された動画像データを記憶する動画像データ記憶部と、前記動画撮像部の姿勢を検出し、姿勢センサ情報を出力する姿勢センサ部と、撮像開始を検出すると共に撮像を開始した時刻情報を取得し、更に、前記姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像装置の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得するイベント情報取得部と、撮像開始情報と前記撮像を開始した時刻情報を対応付けたイベント情報と、前記姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記合焦した時刻情報を対応付けたイベント情報を記憶するイベント情報記憶部と、所定の条件を満たす複数の前記イベント情報を選択するイベント情報選択部と、を含む装置提供するものである。
本発明の１つの態様は、対象物の動画像データを構成するフレームから選択された複数のフレームに基づいて、前記対象物の３次元画像データを生成するために用いられる前記動画像データを生成し、前記複数のフレームを選択する装置であって、前記対象物の周囲の全部又は一部を移動させられて前記対象物を所定のフレームレートで撮像する動画撮像部と、撮像された動画像データを記憶する動画像データ記憶部と、前記動画撮像部の姿勢を検出し、姿勢センサ情報を出力する姿勢センサ部と、撮像開始を検出すると共に撮像を開始した時刻情報を取得し、更に、前記姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像装置の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得するイベント情報取得部と、撮像開始情報と前記撮像を開始した時刻情報を対応付けたイベント情報と、前記姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記合焦した時刻情報を対応付けたイベント情報を記憶するイベント情報記憶部と、所定の条件を満たす複数の前記イベント情報を選択するイベント情報選択部と、前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するフレーム選択部と、を含む装置を提供するものである。
本発明の１つの態様は、対象物の３次元画像データを生成する方法であって、前記対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物を所定のフレームレートで撮像し、撮像された動画像データを動画像データ記憶部に記憶するステップと、撮像開始を検出すると共に撮像を開始した時刻情報を取得し、撮像開始情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像部の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得し、前記姿勢センサ情報及び／又は合焦検出情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、所定の条件を満たす複数の前記イベント情報を選択するステップと、前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するステップと、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するステップと、を含む方法を提供するものである。
前記方法は、生成された前記対象物の３次元画像データに基づいて前記対象物の３次元画像を表示するステップを更に含むことができる。
前記方法は、表示された前記対象物の３次元画像上の指定された点に対して、該指定された点に対応する前記フレームを表示するステップを更に含むことができる。
前記所定の条件は、（１）前記イベント情報の前記姿勢センサ情報が、所定の軸に対する第１の所定の複数の回転角度のいずれかに対応すること、（２）前記イベント情報が合焦検出情報を含むこと、及び（３）前記イベント情報の前記時刻情報が、所定の複数の時刻のいずれかに対応すること、の少なくとも１つとすることができる。
前記（１）の条件は、前記イベント情報の前記姿勢センサ情報が、前記所定の軸に対する第１の所定の複数の回転角度のいずれか、又は前記対象物から前記所定の軸の方向に離れた位置に対応することとすることができる。
前記（１）の条件は、前記イベント情報の前記姿勢センサ情報が、前記所定の軸に対する第１の所定の複数の回転角度のいずれか、又は前記対象物から前記所定の軸の方向に離れた位置に対応することとすることができる。
前記方法は、前記所定の条件を設定するステップを更に含むことができる。
前記所定の軸は、前記姿勢センサ部の検出軸の１つの方向と同じとすることができる。
前記所定の軸の方向は、重力方向とすることができる。
前記所定の複数の時刻は、選択されるべき前記複数のフレームに基づいて決定されるものとすることができる。
前記方法は、前記所定の軸に対する第２の所定の複数の回転角度のうち、撮像が終了した回転角度を示す情報を表示するステップを更に含むことができる。
前記方法は、前記所定の軸に対する第２の所定の複数の回転角度のうち、撮像が未了の回転角度を示す情報を表示するステップを更に含むことができる。
３次元画像データ生成処理要求、前記動画像データ、及び前記イベント情報が前記動画撮像装置から前記サーバに送信され、該動画像データと該イベント情報に基づいて、前記サーバにより前記対象物の３次元画像データが生成されることができる。
生成された前記対象物の３次元画像データが前記サーバから前記動画撮像装置へ送信されることができる。
本発明の１つの態様は、対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物が所定のフレームレートで撮像された動画像データと、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記動画撮像部が前記対象物に対して合焦した時刻情報を対応付けたイベント情報に基づいて、対象物の３次元画像データを生成する方法であって、所定の条件を満たす複数の前記イベント情報を選択するステップと、前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するステップと、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するステップと、を含む方法を提供するものである。
本発明の１つの態様は、対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物が所定のフレームレートで撮像された動画像データと、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記動画撮像部が前記対象物に対して合焦した時刻情報を対応付けたイベント情報から選択された所定の条件を満たす複数のイベント情報に基づいて、対象物の３次元画像データを生成する方法であって、前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するステップと、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するステップと、を含む方法を提供するものである。
本発明の１つの態様は、前記方法をコンピュータに実行させるためのプログラムを提供するものである。
本発明の１つの態様は、前記プログラムを記録したコンピュータ読み取り可能な記録媒体を提供するものである。
本発明の１つの態様は、所定の条件を満たす複数のイベント情報を選択し、対象物の動画像データを構成するフレームから、選択された複数の前記イベント情報の時刻情報に対応する時刻のフレームをそれぞれ選択し、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するために用いられる前記動画像データ及び前記イベント情報を生成する方法であって、前記対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物を所定のフレームレートで撮像し、撮像された動画像データを動画像データ記憶部に記憶するステップと、撮像開始を検出すると共に撮像を開始した時刻情報を取得し、撮像開始情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像部の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得し、前記姿勢センサ情報及び／又は合焦検出情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、
を含む方法を提供するものである。
本発明の１つの態様は、対象物の動画像データを構成するフレームから、選択された複数のイベント情報の時刻情報に対応する時刻のフレームをそれぞれ選択し、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するために用いられる前記動画像データを生成し、前記イベント情報を選択する方法であって、前記対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物を所定のフレームレートで撮像し、撮像された動画像データを動画像データ記憶部に記憶するステップと、撮像開始を検出すると共に撮像を開始した時刻情報を取得し、撮像開始情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像部の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得し、前記姿勢センサ情報及び／又は合焦検出情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、所定の条件を満たす複数の前記イベント情報を選択するステップと、を含む方法を提供するものである。
本発明の１つの態様は、対象物の動画像データを構成するフレームから選択された複数のフレームに基づいて、前記対象物の３次元画像データを生成するために用いられる前記動画像データを生成し、前記複数のフレームを選択する方法であって、前記対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物を所定のフレームレートで撮像し、撮像された動画像データを動画像データ記憶部に記憶するステップと、撮像開始を検出すると共に撮像を開始した時刻情報を取得し、撮像開始情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像部の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得し、前記姿勢センサ情報及び／又は合焦検出情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、所定の条件を満たす複数の前記イベント情報を選択するステップと、前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するステップと、を含む方法を提供するものである。
本発明の１つの態様は、前記方法をコンピュータに実行させるためのプログラムを提供するものである。
本発明の１つの態様は、前記プログラムを記録したコンピュータ読み取り可能な記録媒体を提供するものである。
本明細書及び特許請求の範囲において、「サーバ」は、１つ又はそれ以上のサーバを意味し、複数のサーバにより構成されるものも含む。
上記構成を有する本発明によれば、対象物の３次元画像データを生成するために用いる複数のフレームの選択の処理負荷を小さくすることができる。
本発明の１つの実施形態に係る３次元画像データシステムの構成図である。 本発明の１つの実施形態に係る３次元画像データシステムの３次元画像データ生成処理のフローチャートである。 イベント情報の一例を示す図である。 選択されたフレームの一部の一例を示す図である。 生成された対象物の３次元画像データによる３次元画像の一例を示す図である。 表示された３次元画像の所定の位置に関する詳細画像の表示の一例を示す図である。 所定の軸に対する第２の所定の複数の回転角度のうち、撮像が終了した回転角度を示す情報の表示の一例を示す図である。 所定の軸に対する第２の所定の複数の回転角度のうち、撮像が未了の回転角度を示す情報の表示の一例を示す図である。 撮像未了方向があること、及び追加の撮像を行うか否かの確認メッセージの表示を示す図である。
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の１つの実施形態に係る生成システムの全体構成を示す図である。３次元画像データ生成システム１は、動画撮像装置１０とサーバ２０を含む。
動画撮像装置１０は、例えばスマートフォン、タブレット型コンピュータ、デジタルビデオカメラであり、ＣＰＵ、通信機能、ストレージ機能（内部記録媒体並びに外部記録媒体に対するドライブユニット及び／又は入出力インタフェース）、入力機能（キーボード、マウス等）、表示機能（ディスプレイ）を備えたコンピュータ装置と、所定のコンピュータプログラムとで構成される。このコンピュータプログラムは、コンピュータ装置を、動画撮像部１０１、動画像データ記憶部１０３、姿勢センサ部１０４、イベント情報取得部１０５、イベント情報記憶部１０７、３次元画像表示部１０９、詳細画像表示部１１１、条件設定部１１３、撮像終了方向表示部１１５、撮像未了方向表示部１１７、第１の送受信部１１９、操作入力／表示部１２１、音声出力部１２３、時計部１２５として機能させる。
動画撮像部１０１は、撮像素子（図示しない）、被写体像を撮像素子に結像するためのレンズ部１０１ａ、それらを制御する制御部（図示しない）等を含み、被写体を所定のフレームレートで動画撮像するものであり、対象物３の周囲の全部又は一部を移動させられることにより対象物３を所定のフレームレートで撮像することができる。また、動画撮像部１０１は、オートフォーカス機能を有し、対象物３に対して合焦すると、オートフォーカス完了信号を出力する。
動画像データ記憶部１０３は、撮像された動画像データを記憶する。動画像データ記憶部１０３は、ハードディスクや半導体メモリ等の任意の数の記憶部品から構成されるが、これらに限定されるものではない。
姿勢センサ部１０４は、動画撮像部１０１の姿勢を検出し、姿勢センサ情報を出力する。姿勢センサ部１０４は、例えば、ジャイロセンサ、加速度センサ、それらの組み合わせ等であり、動画撮像部１０１の各軸回りの角速度や加速度といった動画撮像部１０１の姿勢に関する情報を出力する。姿勢センサ部は、動画撮像装置１０に内蔵されていてもよいし、取り付けられていてもよい。本実施形態においては、姿勢センサ部１０４は、Ｘ軸、Ｙ軸、Ｚ軸の３軸のジャイロセンサであり、Ｙ軸の方向は重力方向（鉛直方向）であるが、このＹ軸の方向は他の方向とすることもできる。
イベント情報取得部１０５は、撮像開始を検出すると共に撮像を開始した時刻情報を取得する。また、イベント情報取得部１０５は、姿勢センサ部１０４から出力された動画撮像部１０１の姿勢センサ情報を、例えば１ミリ秒から１０ミリ秒間隔といった複数の所定のタイミングで取得すると共に姿勢センサ情報を取得した時刻情報を取得し、また動画撮像装置１０の対象物３に対する合焦を検出すると共に合焦した時刻情報を取得する。
イベント情報記憶部１０７は、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報と、姿勢センサ情報及び／又は合焦検出情報と姿勢センサ情報を取得した時刻情報及び／又は合焦した時刻情報を対応付けたイベント情報を記憶する。イベント情報記憶部１０７は、ハードディスクや半導体メモリ等の任意の数の記憶部品から構成されるが、これらに限定されるものではない。
３次元画像表示部１０９は、生成された対象物３の３次元画像データに基づいて対象物３の３次元画像を後述の操作入力／表示部１２１に表示する。
詳細画像表示部１１１は、操作入力／表示部１２１に表示された対象物３の３次元画像の所定の位置に対応するフレームを操作入力／表示部１２１に表示する。
条件設定部１１３は、イベント情報選択のための後述の所定の条件を設定する。
撮像終了方向表示部１１５は、所定の軸に対する第２の所定の複数の回転角度のうち、撮像が終了した回転角度を示す情報を、操作入力／表示部１２１に表示する。
撮像未了方向表示部１１７は、所定の軸に対する第２の所定の複数の回転角度のうち、撮像が未了の回転角度を示す情報を、操作入力／表示部１２１に表示する。
第１の送受信部１１９は、データを外部の装置と送受信するものであり、３次元画像データ生成処理要求、動画像データ、イベント情報をサーバ２０に送信し、生成された３次元画像データを受信することができる。
操作入力／表示部１２１は、例えばタッチパネル、キーボードやマウス等から構成されるが、これらに限定されるものではない。
音声出力部１９は、スピーカ等から構成されるが、これに限定されるものではない。
時計部１２５は、時刻情報を生成し、出力する。
サーバ２０は、ＣＰＵ、通信機能、ストレージ機能（内部記録媒体並びに外部記録媒体に対するドライブユニット及び／又は入出力インタフェース）、入力機能（キーボード、マウス等）、表示機能（ディスプレイ）を備えたコンピュータ装置と、所定のコンピュータプログラムとで構成される。このコンピュータプログラムは、コンピュータ装置を、イベント情報選択部２０１、フレーム選択部２０３、３次元画像データ生成部２０５、第２の送受信部２０７、記憶部２０９として機能させる。サーバ２０は、複数のサーバにより構成されるものであってもよい。
イベント情報選択部２０１は、後述の所定の条件を満たす複数の前記イベント情報を選択する。
フレーム選択部２０３は、動画像データを構成するフレームから、選択された複数のイベント情報の時刻情報に対応する時刻のフレームをそれぞれ選択する。
３次元画像データ生成部２０５は、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成する。
第２の送受信部２０７は、データを外部の装置と送受信するものであり、３次元画像データ生成処理要求、動画像データ、イベント情報を受信し、生成された３次元画像データを送信することができる。
記憶部２０９は、受信した動画像データ、イベント情報を記憶する。記憶部２０９は、ハードディスクや半導体メモリ等の任意の数の記憶部品から構成されるが、これらに限定されるものではない
以上の装置構成を前提に、本発明の１つの実施形態に係る３次元画像データ生成システムの３次元画像データ生成処理の例を、図２〜９等を参照して、以下に説明する。
＜動画撮像処理＞
まず、操作入力／表示部１２１であるタッチパネル上に表示された録画開始ボタンが、ユーザによってタッチされることによって、対象物３である落とし物の動画撮像が開始される（Ｓ１）。ここで、動画の撮像は所定のフレームレート、本実施形態においては３０ｐｆｓで行われる。このとき、イベント情報取得部１０５は、動画撮像部１０１からの撮像開始信号を受信することにより、撮像開始を検出すると共に時計部１２５から撮像を開始した時刻情報を取得し、撮像開始を表す撮像開始情報と撮像を開始した時刻情報を、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報として、イベント情報記憶部１０７に記憶させる（Ｓ２）。図３は、イベント情報の一例であり、１行目の「3418.660」は、撮像を開始した時刻情報である「３４分１８秒６６０ミリ秒」を表し、撮像開始時に時計部１２５から取得した時刻の「１時３４分１８秒６６０ミリ秒」を分以下の時刻情報としたものである。また同じ１行目の「RECORDER START」が撮像開始を表す撮像開始情報である。
対象物３の撮像開始後、ユーザは対象物３の周り一周と対象物３の正面方向から対象物３の上部が撮像されるように、動画撮像装置１０を移動させ、所定のフレームレート、（本実施形態においては３０ｐｆｓ）で対象物３を撮像し、撮像された動画像データを動画像データ記憶部１０３に記憶させる（Ｓ３）。このとき、イベント情報取得部１０５は、動画撮像部１０１の姿勢を検出し、姿勢センサ情報を出力する姿勢センサ部１０４であるジャイロセンサから、例えば１ミリ秒から１０ミリ秒間隔といった所定のタイミングで動画撮像部１０１の姿勢センサ情報を取得すると共に、姿勢センサ部１０４からの姿勢センサ情報を取得した時刻情報を時計部１２５から取得し、姿勢センサ部１０４からの姿勢センサ情報とそれを取得した時刻情報を、それらが対応付けられたイベント情報として、イベント情報記憶部１０７に記憶させる（Ｓ４）。
図３を再び参照すると、４行目のイベント情報の「3418.681」は、「３４分１８秒６８１ミリ秒」を表す。また、同じ４行目の「GYROSCOPE,X(-0.061201),Y(0.177304),Z(0.299057)」は、姿勢センサ部１０４からの出力情報であり、図４に示されるようなローカル座標におけるＸ軸、Ｙ軸、Ｚ軸それぞれの軸回りの角速度（ｒａｄ／ｓ）を表す。
また、イベント情報取得部１０５は、動画撮像部１０１からのオートフォーカス完了信号を受信することにより、動画撮像部１０１の対象物３に対する合焦を検出すると共に、動画撮像部１０１の対象物３に対する合焦を検出した時刻情報を時計部１２５から取得し、合焦検出を表す合焦検出情報と合焦を検出を受信した時刻情報を、それらが対応付けられたイベント情報として、イベント情報記憶部１０７に記憶させる（Ｓ５）。
図３を再び参照すると、２行目のイベント情報の「3418.662」は、「３４分１８秒６６２ミリ秒」を表す。また、同じ２行目の「ON_AUTO_FOCUS」は、合焦検出を表す合焦検出情報である。
操作入力／表示部１２１であるタッチパネル上に表示されている録画終了ボタンが、ユーザによってタッチされると、対象物３の動画撮像が終了する（Ｓ６）。
＜３次元画像データ生成処理＞
その後、動画撮像装置１０の操作入力／表示部１２１であるタッチパネルに表示されたメニューから、ユーザによって、「３Ｄデータ生成実行」がタッチされると、３次元画像データ生成処理が開始される（Ｓ７）。
まず、３次元画像データ生成処理要求、動画像データ記憶部に記憶された動画像データ、及びイベント情報記憶部１０７に記憶されたイベント情報が、第１の送受信部１１９から、サーバ２０に送信される（Ｓ８）。
送信された３次元画像データ生成処理要求、動画像データ、及びイベント情報は、サーバ２０の第２の送受信部２０７によって受信され、動画像データとイベント情報は、サーバ２０の記憶部２０９に記憶される（Ｓ９）。また、受信された３次元画像データ生成処理要求にしたがって、サーバ２０側で３次元画像データ生成処理が開始される（Ｓ１０）。
まず、３次元画像データ生成処理に使用する２次元静止画像であるフレームをどのような条件で選択するかが、ユーザの入力により指定され、条件設定部１１３が条件を設定する（Ｓ１１）。条件はユーザの入力によらず、条件設定部１１３が設定することもできる。その条件としては、（１）「角度」、（２）「合焦」、（３）「時間」、（４）「枚数」の４つが用意されている。これらの条件のうちの１つ、又はこれらの条件を組み合わせて指定することができる。
（１）の条件は、所定の軸に対する第１の所定の複数の回転角度と、対象物３の上部又は下部のフレーム、すなわち対象物３から所定の軸の方向に離れた位置のフレームを選択するか否かを指定するものである。対象物３から所定の軸の方向に離れた位置のフレームを選択するか否かは、フレームが、例えば、所定の軸に直交する軸回りの回転角度が９０°又は２７０°を中心に所定の角度範囲内にあるか否かで判断することができる。すなわち、例えば、対象物３の上部から撮像したフレームである、Ｘ軸回りの回転角度であるピッチ角が例えば７５°以上といった所定の値以上であるフレームと、ピッチ角が７５°未満であり、重力方向（鉛直方向）の軸であるＹ軸（ヨー軸）回りの回転方向に、例えば１０°といった所定の一定の角度間隔のフレームと、を選択するものである。なお、所定の角度間隔としては、一定でない角度間隔とすることもできる。本実施形態においては、（１）の条件の指定においては、ヨー軸回りの回転角度間隔と、対象物３の上部のフレームに加えて下部のフレームも選択するか否かを指定する。本実施形態においては、所定の軸の方向は、重力方向で、姿勢センサ部１０４であるジャイロセンサの検出軸の１つであるＹ軸の方向と一致しているが、他の任意の方向とすることもできる。
ここで、取得された姿勢センサ情報又は姿勢センサ情報から算出された回転角度が、指定された回転角度と完全に一致しない場合があるため、本実施形態においては、まず所定の角度間隔の回転角度に対応する姿勢センサ情報を含むイベント情報を選択し、次いで後述のように選択されたイベント情報に対応するフレームを選択する。イベント情報の選択基準としては、所定の角度間隔に替えて、直接指定された複数の回転角度等、イベント情報の姿勢センサ情報が、所定の軸に対する第１の所定の複数の回転角度のいずれかに対応するものであれば、他の適切な基準を用いることができる。また、所定の角度間隔の回転角度に対応する姿勢センサ情報としては、本実施形態においては、所定の角度間隔の回転角度に最も近い回転角度に相当する姿勢センサ情報を用いるが、所定の角度間隔の回転角度よりも小さな回転角度のうちで最も近い回転角度に相当する姿勢センサ情報等、所定の角度間隔の回転角度と一定の関係にある他の適切な姿勢センサ情報を用いることもできる。
（２）の条件は、ピントのあったフレームから３次元画像データを生成するものである。すなわち、フレーム選択に際して選択されるイベント情報が合焦検出情報を含むことである。
（３）の条件は、所定の複数の時刻を指定するものである。例えば、所定の一定の時間間隔のフレームを選択するものである。本実施形態においては、（３）の条件の指定においては、時間間隔を指定する。ここで、取得された時刻情報が指定された時間間隔の時刻と完全に一致しない場合があるため、本実施形態においては、まず所定の時間間隔に対応する時刻情報を含むイベント情報を選択し、次いで後述のように選択されたイベント情報に対応するフレームを選択する。所定の時間間隔としては、一定でない時間間隔とすることもできる。イベント情報の選択基準としては、所定の時間間隔に替えて、直接指定された複数の撮像開始時刻からの経過時間等、イベント情報の時刻情報が、所定の複数の時刻のいずれかに対応するものであれば、他の適切な基準を用いることができる。
（４）の条件は、（３）の条件の一形態であるが、所定の時間間隔を指定のフレーム枚数に基づいて決定するものである。すなわち、動画の撮像開始時刻から終了時刻までの時間を、指定のフレーム枚数で除した時間間隔でフレームを選択するものである。（４）の条件の指定においては、フレーム枚数を指定する。
本実施形態においては、（１）の条件について、角度間隔が１０°、対象物の上部と下部のうち上部のフレームのみが指定され、かつ（２）の条件が指定されたもの、すなわち、角度間隔が１０°に対応するフレーム、対象物の上部のフレーム、及び合焦したフレームを選択するものとして説明する。
サーバ２０において、指定された所定の条件を満たす複数のイベント情報が選択される（Ｓ１２）。具体的には、動画撮像装置１０から送信されたイベント情報に含まれる姿勢センサ情報は、ローカル座標におけるＸ軸、Ｙ軸、Ｚ軸それぞれの軸回りの角速度であるので、平滑化等のノイズ除去処理を行い、撮像開始時の姿勢を基準として、Ｘ軸、Ｙ軸、Ｚ軸それぞれの軸回りの回転角度であるピッチ角、ヨー角、ロール角を算出する。ここで、図４も参照すると、対象物３の周りを一周撮像すると、動画撮像装置１０のレンズ部１０１ａは対象物３に常に向けられているので、動画撮像装置１０は、Ｙ軸の周りに３６０°回転することになり、ヨー角が０〜３６０°まで変化する。また、動画撮像装置１０のレンズ部１０１ａは対象物３に常に向けられているので、例えば動画撮像装置１０を対象物３の真上まで移動させると、Ｘ軸回りに回転することになり、ピッチ角が０〜９０°まで変化する。算出されたピッチ各、ヨー角、ロール角は、記憶部２０９に時刻情報と対応付けて記憶される。そして、対象物３の上部でないとみなせるピッチ角が７５°未満で、Ｙ軸の周りの回転方向に１０°の角度間隔の回転角度、すなわちヨー角が、０°、１０°、２０°、・・・、３５０°のそれぞれに最も近い回転角度に相当する姿勢センサ情報を含むイベント情報と、対象物３の上部とみなせるピッチ角が７５°以上である姿勢センサ情報を含むイベント情報を選択する。また、（２）の条件に対応して、合焦検出情報を含むイベント情報を選択する。以上の選択された複数のイベント情報の時刻情報を読み出し、それぞれのイベント情報について、撮像開始時刻からの経過時間を算出する。
次いで、動画像データを構成するフレームから、選択された複数の前記イベント情報の時刻情報に対応する時刻のフレームをそれぞれ選択する（Ｓ１３）。具体的には、以下のようにして選択する。動画像は、所定のフレームレートで撮影されているので、各フレームについて、撮像開始時刻からの経過時間を求めることができる。すなわち、ｎ枚目のフレームの撮像開始時刻からの経過時間をｔｎ（秒）、フレームレートをｆｒ（ｆｐｓ）とすると、ｔｎ＝（１／ｆｒ）×（ｎ−１）となる。この式を変形すると、ｎ＝ｔｎ×ｆｒ＋１となる。そこで、本実施形態においては、フレーム選択部２０３が、選択されたイベント情報の各々について、撮像開始時刻からの経過時間にフレームレートを乗じた値に１を加えた値を小数点以下を四捨五入することによって、選択されたイベント情報の撮像開始時刻からの経過時間に最も近い撮像開始時刻からの経過時間のフレームを選択する。ここで、本実施形態においては、選択されたイベント情報の時刻情報に対応する時刻のフレームとして、選択されたイベント情報の撮像開始時刻からの経過時間に最も近い撮像開始時刻からの経過時間のフレームを選択したが、その他の適切な手法によって選択することができることは言うまでもない。
ここで、（２）の条件以外の条件のみが指定された場合、選択されたフレームがぼけているか否かを判定して、ぼけていると判定されたフレームを、該フレームに時間的に近いフレームで置き換えてもよい。
図４は、選択されたフレームの一部の例を示す。Ｆ１は、撮像開始時刻のフレームであり、ヨー角が０°、ピッチ角が１０°に対応する。Ｆ２は、ヨー角が３０°、ピッチ角が３０°に対応する。Ｆ３は、ヨー角が１５０°、ピッチ角が４０°に対応する。Ｆ４は、ヨー角が２４０°、ピッチ角が４０°に対応する。Ｆ５は、ヨー角が３２０°、ピッチ角が２０°に対応する。Ｆ６は、ヨー角が０°、ピッチ角が８０°に対応し、対象物３の正面方向における対象物３の上部のフレームに対応する。
続いて、３次元画像データ生成部２０５は、フレーム選択部２０３によって選択された複数のフレームに基づいて、対象物３の３次元復元画像の３次元画像データを生成する（Ｓ１４）。対象物の異なる複数の静止画像から３次元復元を行う技術は公知であり（例えば、八木康史他、コンピュータビジョン最先端ガイド５、アドコム・メディア社、２０１２年１２月５日、ｐｐ．３３−７０、特開２０１４−１８５９４７号等参照）、説明は省略する。生成された３次元画像データによる３次元画像の例を図５に示す。
生成された３次元画像データは、記憶部２０９に記憶される。動画撮像装置１０は、記憶部２０９に記憶された３次元画像データをダウンロードすることができる。そして、動画撮像装置１０にインストールされた専用ビューアやブラウザによって、３次元画像データによる３次元画像を閲覧することができる。また、記憶部２０９に記憶された３次元画像データは、動画撮像装置１０に限らず、他のコンピュータ装置でもダウンロードし、インストールされた専用ビューアやブラウザによって、３次元画像データによる３次元画像を閲覧することができる。
以上のような本実施形態の構成によれば、対象物の３次元画像データを生成するために用いる複数のフレームの選択の処理負荷を小さくすることができる。
＜詳細画像表示機能＞
生成された３次元画像データは精度が低い場合がある。そこで、本実施形態においては、表示された３次元画像の所定の位置に対応するフレームを表示することができる。具体的には、以下のとおりである。
上述の３次元画像データのダウンロードの際に、３次元画像データに加えて、３次元画像データ生成処理に用いられた選択されたフレームもダウンロードされる。
動画撮像装置１０の３次元画像表示部１０９は、ダウンロードした３次元画像データに基づいて３次元画像を操作入力／表示部１２１であるタッチパネルに表示することができる。表示された３次元画像は、ユーザの操作により、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれの軸の周りに回転させることができる。表示された３次元画像がユーザの操作により回転させられると、３次元画像表示部１０９は、それぞれの軸回りの回転角度を検出する。
ユーザが、表示された３次元画像上でダブルタップすると、３次元画像表示部１０９は、検出された３次元画像の回転角度に最も近い回転角度のフレームを選択し、図６に示すように、操作入力／表示部１２１であるタッチパネル上に表示する。これにより、本実施形態においては、対象物３である落とし物の詳細画像を閲覧することができ、落とし物が自分のものか否かの判断に資することができる。
このような構成によって、生成された３次元画像データは精度が低い場合でも、表示された３次元画像の詳細を確認することができ、処理負荷が高い高精度の３次元画像データを生成せずとも、対象物の詳細を確認することができる。
＜撮像完了方向表示機能及び撮像未了方向表示機能＞
例えば車といった対象物が大きい場合等においては、動画を撮像中にどの方向について撮像済みであるかが分からなくなってしまう場合がある。そこで、本実施形態においては、動画の撮像中に、前記所定の軸に対する所定の複数の回転角度のうち、撮像が終了した回転角度を示す情報が表示される。また、動画の撮像終了後に、前記所定の軸に対する所定の複数の回転角度のうち、撮像が未了の回転角度を示す情報が表示される。以下、それぞれについて説明する。
まず、上述の条件（１）と同様の、３次元画像データの生成に最低限使用したいと考えるフレームの条件が、撮像開始前に、ユーザからの入力によって指定される。本実施形態においては、対象物３はテーブルに載置されており、底面を撮像することは困難で、また角度間隔を１０°と指定して、これにより選択されたフレームにより３次元画像データが生成されるので、３次元画像データの生成に最低限使用したいと考えるフレームの条件は、角度間隔が１０°以下、かつ対象物の上部／下部については、上部のみということになる。
上述のイベント選択処理と同様にして、撮像終了方向表示部１１５は、イベント情報記憶部１０７に記憶されたイベント情報に含まれる姿勢センサ情報から、ロール角、ピッチ角、ヨー角を算出する。そして、算出されたピッチ角が７５°未満であり、かつ算出されたヨー角が、指定された回転角度間隔の整数倍の角度を超える毎に、またピッチ角が７５°以上となった場合に、撮像方向に対応した表示を行う。本実施形態においては、図７に示すように、対象物を表す正二十面体に対して、撮像済みの方向が、該当するロール角、ピッチ角、ヨー角の方向に直交する、所定の色で塗りつぶされた正方形の平面としてそれぞれ表示される。また、動画の撮影終了後に、撮像未了方向表示部１１７は、撮像終了方向表示部１１５によって撮像済みとされなかった方向に対応した表示を行う。本実施形態においては、図８に示すように、対象物を表す正二十面体に対して、撮像未了の方向が、該当するロール角、ピッチ角、ヨー角の方向に直交する、撮像済みを表す正方形とは異なる色の正方形の平面としてそれぞれ表示される。撮像が終了した回転角度を示す情報の表示は動画の撮像中ではなく動画の撮像後に行ってもよい。また、撮像が未了の回転角度を示す情報の表示は、動画の撮像後ではなく動画の撮像中に行ってもよい。これに替えて又はこれに加えて、図９に示すように撮像未了方向があること、及び追加の撮像を行うか否かの確認メッセージを表示してもよい。
このような構成によって、３次元画像データの生成に必要なフレームを確実に撮像することができる。
上記実施形態においては、動画撮像装置１０が、動画撮像部１０１、動画像データ記憶部１０３、姿勢センサ部１０４、イベント情報取得部１０５、イベント情報記憶部１０７、３次元画像表示部１０９、詳細画像表示部１１１、条件設定部１１３、撮像終了方向表示部１１５、撮像未了方向表示部１１７、第１の送受信部１１９、操作入力／表示部１２１、音声出力部１２３、時計部１２５を含み、サーバ２０が、イベント情報選択部２０１、フレーム選択部２０３、３次元画像データ生成部２０５、第２の送受信部２０７、記憶部２０９を含むものであったが、例えば、動画撮像装置１０が、動画撮像部１０１、動画像データ記憶部１０３、姿勢センサ部１０４、イベント情報取得部１０５、イベント情報記憶部１０７、イベント情報選択部２０１、３次元画像表示部１０９、詳細画像表示部１１１、条件設定部１１３、撮像終了方向表示部１１５、撮像未了方向表示部１１７、第１の送受信部１１９、操作入力／表示部１２１、音声出力部１２３、時計部１２５を含み、サーバ２０が、フレーム選択部２０３、３次元画像データ生成部２０５、第２の送受信部２０７、記憶部２０９を含む構成、動画撮像装置１０が、動画撮像部１０１、動画像データ記憶部１０３、姿勢センサ部１０４、イベント情報取得部１０５、イベント情報記憶部１０７、イベント情報選択部２０１、フレーム選択部２０３、３次元画像表示部１０９、詳細画像表示部１１１、条件設定部１１３、撮像終了方向表示部１１５、撮像未了方向表示部１１７、第１の送受信部１１９、操作入力／表示部１２１、音声出力部１２３、時計部１２５を含み、サーバ２０が、フレーム選択部２０３、３次元画像データ生成部２０５、第２の送受信部２０７、記憶部２０９を含む構成といったように、動画撮像装置１０とサーバ２０は、それぞれ、３次元画像データ生成システム１の各機能の任意の機能を含む構成とすることができる。また、３次元画像データ生成システムをスタンドアローンの１つの装置として構成することもできる。
以上、本発明について、例示のためにいくつかの実施形態に関して説明してきたが、本発明はこれに限定されるものでなく、本発明の範囲及び精神から逸脱することなく、形態及び詳細について、様々な変形及び修正を行うことができることは、当業者に明らかであろう。
１ ３次元画像データ生成システム
１０ 動画撮像装置
１０１ 動画撮像部
１０１ａ レンズ部
１０３ 動画像データ記憶部
１０４ 姿勢センサ部
１０５ イベント情報取得部
１０７ イベント情報記憶部
１０９ ３次元画像表示部
１１１ 詳細画像表示部
１１３ 条件設定部
１１５ 撮像終了方向表示部
１１７ 撮像未了方向表示部
１１９ 第１の送受信部
１２１ 操作入力／表示部
１２３ 音声出力部
１２５ 時計部
２０ サーバ
２０１ イベント情報選択部
２０３ フレーム選択部
２０５ ３次元画像データ生成部
２０７ 第２の送受信部
２０９ 記憶部
３ 対象物

Claims (15)

  1. 対象物の３次元画像データを生成するシステムであって、
    前記対象物の周囲の全部又は一部を移動させられて前記対象物を所定のフレームレートで撮像する動画撮像部と、
    撮像された動画像データを記憶する動画像データ記憶部と、
    前記動画撮像部の姿勢を検出し、姿勢センサ情報を出力する姿勢センサ部と、
    撮像開始を検出すると共に撮像を開始した時刻情報を取得し、更に、前記姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像装置の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得するイベント情報取得部と、
    撮像開始情報と前記撮像を開始した時刻情報を対応付けたイベント情報と、前記姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記合焦した時刻情報を対応付けたイベント情報を記憶するイベント情報記憶部と、
    所定の条件を満たす複数の前記イベント情報を選択するイベント情報選択部と、
    前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するフレーム選択部と、
    選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成する３次元画像データ生成部と、
    を含むシステム。
  2. 生成された前記対象物の３次元画像データに基づいて前記対象物の３次元画像を表示する３次元画像表示部を更に含む請求項１に記載のシステム。
  3. 表示された前記対象物の３次元画像の所定の位置に対応する前記フレームを表示する詳細画像表示部を更に含む請求項２に記載の方法。
  4. 前記所定の条件は、（１）前記イベント情報の前記姿勢センサ情報が、所定の軸に対する第１の所定の複数の回転角度のいずれかに対応すること、（２）前記イベント情報が合焦検出情報を含むこと、及び（３）前記イベント情報の前記時刻情報が、所定の複数の時刻のいずれかに対応すること、の少なくとも１つである請求項１〜３のいずれか１項に記載のシステム。
  5. 前記（１）の条件は、前記イベント情報の前記姿勢センサ情報が、前記所定の軸に対する第１の所定の複数の回転角度のいずれか、又は前記対象物から前記所定の軸の方向に離れた位置に対応することである請求項４に記載のシステム。
  6. 前記所定の軸に対する第２の所定の複数の回転角度のうち、撮像が終了した回転角度を示す情報を表示する撮像終了方向表示部及び／又は前記所定の軸に対する第２の所定の複数の回転角度のうち、撮像が未了の回転角度を示す情報を表示する撮像未了方向表示部を更に含む請求項１〜５のいずれか１項に記載のシステム。
  7. 対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物が所定のフレームレートで撮像された動画像データと、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記動画撮像部が前記対象物に対して合焦した時刻情報を対応付けたイベント情報に基づいて、対象物の３次元画像データを生成するサーバであって、
    所定の条件を満たす複数の前記イベント情報を選択するイベント情報選択部と、
    前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するフレーム選択部と、
    選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成する３次元画像データ生成部と、
    を含むサーバ。
  8. 対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物が所定のフレームレートで撮像された動画像データと、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記動画撮像部が前記対象物に対して合焦した時刻情報を対応付けたイベント情報から選択された所定の条件を満たす複数のイベント情報に基づいて、対象物の３次元画像データを生成するサーバであって、
    前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するフレーム選択部と、
    選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成する３次元画像データ生成部と、
    を含むサーバ。
  9. 対象物の３次元画像データを生成する方法であって、
    前記対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物を所定のフレームレートで撮像し、撮像された動画像データを動画像データ記憶部に記憶するステップと、
    撮像開始を検出すると共に撮像を開始した時刻情報を取得し、撮像開始情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、
    前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像部の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得し、前記姿勢センサ情報及び／又は合焦検出情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、
    所定の条件を満たす複数の前記イベント情報を選択するステップと、
    前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するステップと、
    選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するステップと、
    を含む方法。
  10. 請求項９に記載の方法をコンピュータに実行させるためのプログラム。
  11. 対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物が所定のフレームレートで撮像された動画像データと、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記動画撮像部が前記対象物に対して合焦した時刻情報を対応付けたイベント情報に基づいて、対象物の３次元画像データを生成するためのプログラムであって、
    所定の条件を満たす複数の前記イベント情報を選択するステップと、
    前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するステップと、
    選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するステップと、
    をコンピュータに実行させるためのプログラム。
  12. 対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物が所定のフレームレートで撮像された動画像データと、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記動画撮像部が前記対象物に対して合焦した時刻情報を対応付けたイベント情報から選択された所定の条件を満たす複数のイベント情報に基づいて、対象物の３次元画像データを生成するためのプログラムであって、
    前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するステップと、
    選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するステップと、
    をコンピュータに実行させるためのプログラム。
  13. 所定の条件を満たす複数のイベント情報を選択し、対象物の動画像データを構成するフレームから、選択された複数の前記イベント情報の時刻情報に対応する時刻のフレームをそれぞれ選択し、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するために用いられる前記動画像データ及び前記イベント情報を生成するためのプログラムであって、
    前記対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物を所定のフレームレートで撮像し、撮像された動画像データを動画像データ記憶部に記憶するステップと、
    撮像開始を検出すると共に撮像を開始した時刻情報を取得し、撮像開始情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、
    前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像部の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得し、前記姿勢センサ情報及び／又は合焦検出情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、
    をコンピュータに実行させるためのプログラム。
  14. 対象物の動画像データを構成するフレームから、選択された複数のイベント情報の時刻情報に対応する時刻のフレームをそれぞれ選択し、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するために用いられる前記動画像データを生成し、前記イベント情報を選択するためのプログラムであって、
    前記対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物を所定のフレームレートで撮像し、撮像された動画像データを動画像データ記憶部に記憶するステップと、
    撮像開始を検出すると共に撮像を開始した時刻情報を取得し、撮像開始情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、
    前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像部の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得し、前記姿勢センサ情報及び／又は合焦検出情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、
    所定の条件を満たす複数の前記イベント情報を選択するステップと、
    をコンピュータに実行させるためのプログラム。
  15. 対象物の動画像データを構成するフレームから選択された複数のフレームに基づいて、前記対象物の３次元画像データを生成するために用いられる前記動画像データを生成し、前記複数のフレームを選択するためのプログラムであって、
    前記対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物を所定のフレームレートで撮像し、撮像された動画像データを動画像データ記憶部に記憶するステップと、
    撮像開始を検出すると共に撮像を開始した時刻情報を取得し、撮像開始情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、
    前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像部の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得し、前記姿勢センサ情報及び／又は合焦検出情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、
    所定の条件を満たす複数の前記イベント情報を選択するステップと、
    前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するステップと、
    をコンピュータに実行させるためのプログラム。
JP2015170982A 2015-08-31 2015-08-31 対象物の３次元画像データを生成するためのシステム、方法、プログラム Pending JP2017049052A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015170982A JP2017049052A (ja) 2015-08-31 2015-08-31 対象物の３次元画像データを生成するためのシステム、方法、プログラム
PCT/JP2016/074972 WO2017038680A1 (ja) 2015-08-31 2016-08-26 対象物の３次元画像データを生成するためのシステム、方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015170982A JP2017049052A (ja) 2015-08-31 2015-08-31 対象物の３次元画像データを生成するためのシステム、方法、プログラム

Publications (1)

Publication Number Publication Date
JP2017049052A true JP2017049052A (ja) 2017-03-09

Family

ID=58188249

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015170982A Pending JP2017049052A (ja) 2015-08-31 2015-08-31 対象物の３次元画像データを生成するためのシステム、方法、プログラム

Country Status (2)

Country Link
JP (1) JP2017049052A (ja)
WO (1) WO2017038680A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018211781A1 (ja) * 2017-05-18 2018-11-22 ソニー株式会社 撮像装置、撮像方法
WO2019087467A1 (ja) * 2017-10-30 2019-05-09 株式会社日立ソリューションズ 計測システム、計測装置、及び計測方法
JP2021029470A (ja) * 2019-08-21 2021-03-01 ビネット＆クラリティ合同会社 型形成システム及び型形成方法
WO2021171763A1 (ja) * 2020-02-26 2021-09-02 日本電気株式会社 画像処理装置、撮影装置、画像処理システム、画像処理方法、及び非一時的なコンピュータ可読媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6840645B2 (ja) * 2017-09-08 2021-03-10 株式会社小松製作所 施工管理装置および施工管理方法
CN113225489B (zh) * 2021-04-30 2022-08-26 北京达佳互联信息技术有限公司 图像特效展示方法、装置、电子设备和存储介质
US11558542B1 (en) * 2022-01-03 2023-01-17 Omnivision Technologies, Inc. Event-assisted autofocus methods and apparatus implementing the same

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11118438A (ja) * 1997-10-15 1999-04-30 Matsushita Electric Ind Co Ltd ３次元形状測定方法および装置
JP4578653B2 (ja) * 2000-08-24 2010-11-10 三菱電機株式会社 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4670010B2 (ja) * 2005-10-17 2011-04-13 株式会社国際電気通信基礎技術研究所 移動体分布推定装置、移動体分布推定方法及び移動体分布推定プログラム
JP2008275542A (ja) * 2007-05-02 2008-11-13 Univ Of Fukui ３次元形状復元処理装置及び方法並びにそのプログラム
JP2009002789A (ja) * 2007-06-21 2009-01-08 Konica Minolta Sensing Inc 携帯型計測器及びこれを用いた計測方法
JP5093053B2 (ja) * 2008-10-31 2012-12-05 カシオ計算機株式会社 電子カメラ
JP5812599B2 (ja) * 2010-02-25 2015-11-17 キヤノン株式会社 情報処理方法及びその装置
JP5965638B2 (ja) * 2011-12-27 2016-08-10 オリンパス株式会社 画像処理システムを備えた顕微鏡システム
JP6102648B2 (ja) * 2013-09-13 2017-03-29 ソニー株式会社 情報処理装置及び情報処理方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018211781A1 (ja) * 2017-05-18 2018-11-22 ソニー株式会社 撮像装置、撮像方法
JPWO2018211781A1 (ja) * 2017-05-18 2020-03-19 ソニー株式会社 撮像装置、撮像方法
US11245843B2 (en) 2017-05-18 2022-02-08 Sony Corporation Imaging apparatus and imaging method for improvement of reproduction image quality
JP7163912B2 (ja) 2017-05-18 2022-11-01 ソニーグループ株式会社 撮像装置、撮像方法
WO2019087467A1 (ja) * 2017-10-30 2019-05-09 株式会社日立ソリューションズ 計測システム、計測装置、及び計測方法
JP2019082400A (ja) * 2017-10-30 2019-05-30 株式会社日立ソリューションズ 計測システム、計測装置、及び計測方法
JP2021029470A (ja) * 2019-08-21 2021-03-01 ビネット＆クラリティ合同会社 型形成システム及び型形成方法
WO2021171763A1 (ja) * 2020-02-26 2021-09-02 日本電気株式会社 画像処理装置、撮影装置、画像処理システム、画像処理方法、及び非一時的なコンピュータ可読媒体
JP7452620B2 (ja) 2020-02-26 2024-03-19 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
WO2017038680A1 (ja) 2017-03-09

Similar Documents

Publication Publication Date Title
WO2017038680A1 (ja) 対象物の３次元画像データを生成するためのシステム、方法、プログラム
JP5659304B2 (ja) 画像生成装置および画像生成方法
JP5659305B2 (ja) 画像生成装置および画像生成方法
JP5769813B2 (ja) 画像生成装置および画像生成方法
JP5865388B2 (ja) 画像生成装置および画像生成方法
JP6398472B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
EP3097689B1 (en) Multi-view display control for channel selection
CN107404615B (zh) 图像录制方法及电子设备
CN106303230B (zh) 一种视频处理方法及装置
WO2019104569A1 (zh) 一种对焦方法、设备及可读存储介质
CN106357966A (zh) 全景图像拍摄装置及全景图像获取方法
JP2017017689A (ja) 全天球動画の撮影システム、及びプログラム
CN110049246A (zh) 电子设备的视频防抖方法、装置和电子设备
JP2017173252A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2019110434A (ja) 画像処理装置、画像処理システムおよびプログラム
JP2008015815A (ja) 画像処理装置、および画像処理プログラム
TWI502271B (zh) 控制方法及電子裝置
WO2015141185A1 (ja) 撮像制御装置、撮像制御方法および記録媒体
US8619119B2 (en) Digital photographing apparatus
JP2015126402A (ja) ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム
JP2015212782A (ja) 画像撮影装置、情報処理装置、および画像撮影方法、並びにプログラム
JP6405539B2 (ja) 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法
JP2011239178A (ja) 撮像装置
JP2012141753A5 (ja)
TWI626603B (zh) 圖像獲取方法及圖像獲取裝置