JP2018048942A

JP2018048942A - 三次元計測装置及び三次元計測プログラム

Info

Publication number: JP2018048942A
Application number: JP2016185342A
Authority: JP
Inventors: 翔磯部; Sho Isobe; 増田　誠; Makoto Masuda; 誠増田
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2016-09-23
Filing date: 2016-09-23
Publication date: 2018-03-29

Abstract

【課題】設置コストを抑えつつ、三次元計測を行うことが可能な、三次元計測装置を提供する。【解決手段】回転可能な撮影装置１０が撮影した被写体Ｐの画像を取得する画像取得部と、撮影装置が第１の位置にあるときの被写体の撮影画像である第１の画像と、撮影装置が第２の位置にあるときの被写体の撮影画像である第２の画像とに基づいて、被写体の位置を計測する計測部と、を備える三次元計測装置３０。【選択図】図１

Description

本発明は、三次元計測装置及び三次元計測プログラムに関する。

近年では、撮影装置により撮影された二次元画像を解析し、画像に含まれる人物を検出したりする画像処理技術が広く普及している。このような画像処理技術によれば、例えば、コンビニエンスストア等の店舗内に撮影装置を設置することにより、店舗内の各人物の位置を把握したり、当該人物の追跡を行ったりすることが可能である。このように、店舗内に存在する人物を検出し、人物の詳細な位置を把握等するためには、画像処理に供される画像は、二次元画像ではなく三次元画像であることがより好ましい。例えば、複数の人物が重なっている場合や、人物と棚等が重なっている場合であっても、三次元画像から人物を検出することが可能であるからである。

そこで、撮影装置により撮影された二次元画像から三次元画像を取得する方法としては、被写体に対して２台以上の撮影装置で撮影した画像の視差を利用して、被写体までの距離を計測し、三次元画像を生成する方法が広く利用されている。しかしながら、この方法では、複数の撮影装置を設置する必要があることから、設置コストを抑えることが難しく、例えば、コンビニエンスストアやスーパーマーケット等の店舗で利用する場合には、現実的ではない。

そこで、上述のような状況を鑑みて、１台の撮影装置を利用して三次元画像を生成する方法が提案されている。例えば、下記特許文献１では、高速撮影が可能な単眼カメラ（撮影装置）を被写体に対して水平方向へ移動させながら一定間隔で撮影することにより２つの画像を取得し、三次元画像を生成する方法が提案されている。また、下記特許文献２では、単眼カメラのズーム機能を利用して、焦点距離を変えた複数の視差画像を取得し、これら取得画像を用いて三次元画像を生成する方法が提案されている。

特許第３６５０２２１号公報特許第４０４４４５４号公報

しかしながら、上記特許文献１において提案されている方法では、被写体に対して単眼カメラを水平方向に移動させ、且つ、被写体の動きに合わせて当該単眼カメラの移動速度及びシャッタースピードを変化させるように、単眼カメラの動きを制御することが求められる。従って、上記特許文献１において提案されている方法では、大掛かりな機構を設けることが求められることから、設置コストや設置面積等を勘案すると、コンビニエンスストア等の店舗での使用は現実的ではない。

また、上記特許文献２において提案されている方法では、単眼カメラは被写体にズームする必要があるため、撮影範囲が狭くなる。従って、上記特許文献２において提案されている方法を採用しようとする場合には、コンビニエンスストア等の店舗内の全域を撮影するために、店舗内の単眼カメラの設置台数を増やすことが求められる。すなわち、上記特許文献２において提案されている方法では、設置コストを勘案すると、コンビニエンスストア等の店舗での使用は現実的ではない。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、設置コストを抑えつつ、三次元計測を行うことが可能な、新規かつ改良された三次元計測装置及び三次元計測プログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、回転可能な撮影装置が撮影した被写体の画像を取得する画像取得部と、前記撮影装置が第１の位置にあるときの前記被写体の撮影画像である第１の画像と、前記撮影装置が第２の位置にあるときの前記被写体の撮影画像である第２の画像とに基づいて、前記被写体の位置を計測する計測部と、を備える三次元計測装置が提供される。

前記撮影装置は、回転部を有し、前記回転部は、回転軸に対して所定の距離だけ離れた円周上で前記撮影装置の撮像面が移動するように回転してもよい。

前記計測部は、前記第１及び第２の位置に係る位置情報を用いて、取得した前記第１の画像及び第２の画像の少なくとも一方に対して、前記第１及び第２の画像に係る光軸が互いに平行になるように処理を行い、当該処理により得られた処理画像を用いて前記被写体の位置を計測してもよい。

前記三次元計測装置は、前記撮影装置の位置を制御し、前記撮影装置に対して前記第１及び第２の画像を撮影するように制御する制御部をさらに備えてもよい。

前記計測部は、前記撮影装置により撮影された、撮影対象である空間内に設置されたパターンの画像を用いて、前記位置情報を取得してもよい。

前記計測部は、前記制御部により出力された前記撮影装置に対する位置制御情報を参照して、前記撮影装置の位置情報を取得してもよい。

前記三次元計測装置は、前記撮影装置をさらに備えてもよい。

前記計測装置は、前記被写体の移動を検出し、検出結果に基づいて、推定画像を推定する推定部をさらに備え、前記画像取得部は、第１の時刻において撮影された前記第１の画像と、第２の時刻において撮影された前記第２の画像と、前記撮影装置が前記第２の位置にあるときの、第３の時刻における前記被写体の撮影画像である第３の画像と、を取得し、前記推定部は、前記第２の画像と前記第３の画像とに基づいて前記被写体の移動情報を検出し、検出した前記移動情報に基づいて、前記撮影装置が前記第２の位置にあるときに、前記第１の時刻において撮影されたであろう前記被写体の撮影画像を推定して、推定画像を生成し、前記計測部は、前記第１の画像と前記推定画像とに基づいて、前記被写体の位置を計測してもよい。

前記推定部は、前記第２の画像と前記第３の画像とに基づいて前記被写体の移動ベクトルを算出し、算出した前記移動ベクトルを前記第１の時刻から前記第２の時刻までの間の前記被写体の移動ベクトルとして用いて、前記推定画像を生成してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、回転可能な撮影装置が撮影した被写体の画像を取得する画像取得部と、前記撮影装置が第１の位置にあるときの前記被写体の撮影画像である第１の画像と、前記撮影装置が第２の位置にあるときの前記被写体の撮影画像である第２の画像とに基づいて、前記被写体の位置を計測する計測部と、として機能させる、三次元計測プログラムが提供される。

以上説明したように本発明によれば、設置コストを抑えつつ、三次元計測を行うことが可能である。

本発明の第１の実施形態に係る三次元計測システム１の構成例を説明する説明図である。第１の実施形態に係る撮影装置１０の動作を説明する説明図である。第１の実施形態に係る三次元計測装置３０の機能構成を説明する説明図である。第１の実施形態に係る三次元計測部３１０における処理を説明する説明図（その１）である。第１の実施形態に係る三次元計測部３１０における処理を説明する説明図（その２）である。第１の実施形態に係る三次元計測部３１０における処理を説明する説明図（その３）である。第１の実施形態に係る三次元計測のシーケンス図である。本発明の第２の実施形態に係る三次元計測の基本的考え方を説明する説明図である。第２の実施形態に係る三次元計測装置３０ａの機能構成を説明する説明図である。第２の実施形態に係る三次元計測のシーケンス図である。本発明の実施形態に係る三次元計測装置３０のハードウェア構成を示したブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成または論理的意義を有する複数の構成を、必要に応じて三次元計測装置３０及び三次元計測装置３０ａのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、三次元計測装置３０及び三次元計測装置３０ａを特に区別する必要が無い場合には、単に三次元計測装置３０と称する。

以下の説明においては、本発明の実施形態を、コンビニエンスストアやスーパーマーケット等の店舗内を撮影し、撮影画像を処理することにより様々な情報を取得する画像処理システムに適用した場合を例に説明する。より具体的には、当該画像処理システムは、上述のような店舗内を撮影して、撮影画像を処理することにより、店舗内に存在する人物の詳細な位置や、当該人物の動きを追跡するシステムである。本発明の実施形態は、１台の撮影装置を含む簡単なシステム構成を用いて、人物の詳細な位置を把握したり、動きを追跡したりすることを可能にすることから、店舗等の防犯等のために人物監視を行うことに利用されたり、人物の店舗内での滞在状況に基づくマーケティング分析に活用することができる。

まずは、本発明の実施形態の説明に先立ち、本発明者らが本発明の実施形態をなすに至った経緯について説明する。

先に説明したように、近年、撮影装置により撮影された二次元画像を解析し、画像に含まれる人物を検出し、検出結果を、上述のような人物監視やマーケティングに活用する画像処理技術が広く普及している。このような二次元画像上での人物の検出は、一般的に、人物の二次元でのシルエットに近似する形状の被写体を、二次元画像から検出することにより行われる。しかしながら、このような検出方法では、人物を検出することができなかったり、人物以外の被写体が人物として誤って検出してしまったりすることがある。例えば、二次元画像上で複数の人物が重なっている場合には、これら人物のシルエットは、人物の二次元でのシルエットに近似する形状とは異なるため、人物として検出することができないことがある。また、一方、上述の検出方法では、二次元画像に人物像が含まれるポスターが存在する場合には、当該ポスター上の人物を誤って撮影対象である空間内に存在する人物として検出してしまうことがある。

そこで、このような誤った人物検出を避けるためには、画像処理に供される画像は、二次元画像ではなく三次元画像であることがより好ましい。すなわち、三次元画像から人物の検出を行う際には、人物の三次元での立体的なシルエットに近似する形状の被写体を検出すればよいことから、上述のように複数の人物が重なっていても人物を検出することができる。また、三次元画像を用いることにより、上述のようなポスター上の人物は、立体的なシルエットを有していないことから、このようなポスター上の人物を誤って撮影対象である空間内に存在する人物として検出してしまうことを避けることができる。

そこで、二次元画像から三次元画像を取得する方法として、１つの被写体に対して２台以上の撮影装置で撮影した画像の視差を利用して、被写体までの距離を計測し、三次元画像生成する方法が広く利用されている。しかしながら、この方法では、撮影に利用する全ての撮影装置の内部パラメータ（焦点距離等）が同一であることが望ましいが、同一機種の撮影装置でも個体差があるため、すべての撮影装置の内部パラメータを同一にするために、キャリブレーション等を行う必要がある。従って、設置コストや管理コストの上昇を招くこととなる。また、先に説明したように、この方法では、複数の撮影装置を設置する必要があることから、設置コストを抑えることが難しく、例えば、コンビニエンスストアやスーパーマーケット等の店舗で利用する場合には、現実的ではない。

そこで、上述のような状況を鑑みて、撮影装置の内部パラメータの個体差を考慮する必要がなく、さらに、撮影装置の設置コストを抑えることができる、１台の撮影装置を利用した方法が、上記特許文献１及び上記特許文献２により提案されている。しかしながら、先に説明したように、上記特許文献１において提案されている方法では、大掛かりな機構を設けることが求められ、また、上記特許文献２において提案されている方法では、コンビニエンスストア等の店舗内の全域を撮影するために、店舗内の撮影装置の設置台数を増やすことが求められる。すなわち、上記特許文献１及び上記特許文献２に提案の方法であっても、設置コストを抑えることが難しく、例えば、コンビニエンスストアやスーパーマーケット等の店舗で利用する場合には、現実的ではない。

そこで、本発明者らは、上記事情を一着眼点にして本発明の実施形態を創作するに至った。詳細には、本発明者らは、撮影装置１０が１台であっても例えばコンビニエンスストア等の店舗２の全体を撮影することができ、撮影によって得られた２つ以上の画像を用いて三次元計測を行うことが可能な、すなわち、設置コストを抑えつつ、三次元計測を行うことが可能な本発明の実施形態を創作した。以下、このような本発明の実施形態を順次説明する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１第１の実施形態に係る三次元計測システム１の構成
１．２第１の実施形態に係る三次元計測装置３０の構成
１．３第１の実施形態に係る三次元計測部３１０における処理方法
１．４第１の実施形態に係る三次元計測システム１の動作
１．５第１の実施形態の変形例
２．第２の実施形態
２．１第２の実施形態に三次元計測の基本的考え方
２．２第２の実施形態に係る三次元計測装置３０ａの構成
２．３第２の実施形態に係る推定部３１６における推定方法
２．４第２の実施形態に係る三次元計測システム１の動作
３．本実施形態に係る三次元計測装置３０のハードウェア構成
４．補足

＜＜１．第１の実施形態＞＞
＜１．１第１の実施形態に係る三次元計測システム１の構成＞
本発明の第１の実施形態に係る三次元計測システム１は、先に説明したように、コンビニエンスストアやスーパーマーケット等の店舗内を撮影し、撮影画像を処理することにより様々な情報を取得する画像処理システムの一例である。詳細には、本実施形態に係る三次元計測システム１においては、店舗２内に１台の撮影装置１０を設置し、当該撮影装置１０を円状に外向きの状態で回転させ、店舗２内を撮影させる。さらに、当該三次元計測システム１は、上記撮影により取得された互いに視差を有する複数の画像を用いて、被写体に対する三次元計測を行い、当該被写体を含む三次元画像を生成する。このような本実施形態に係る三次元計測システム１は、１台の撮影装置１０を含む簡単なシステム構成でありながら、店舗２内等の撮影対象である空間内に存在する人物Ｐについての画像解析の検出精度および追跡精度を向上させることが可能である。

まずは、図１及び図２を参照して、本実施形態に係る三次元計測システム１の構成を説明する。図１は、本実施形態に係る三次元計測システム１の構成例を説明する説明図である。また、図２は、本実施形態に係る撮影装置１０の動作を説明する説明図である。

図１に示すように、本実施形態に係る三次元計測システム１は、コンビニエンスストアやスーパーマーケット等の店舗２内に設置された１台の撮影装置１０と、三次元画像の生成、処理等を行う三次元計測装置３０とを主に有する。また、例えば、当該店舗２内には、複数の人物Ｐが存在し、これら人物Ｐは、上記撮影装置１０の被写体となる。以下に、三次元計測システム１に含まれる各装置について説明する。

（撮影装置１０）
撮影装置１０は、撮影対象である空間（例えば、店舗２内）内の画像を撮影する。撮影装置１０は、回転部２０を有し、当該回転部２０の回動により、回転することができ、従って、１台の撮影装置であっても、回転により上記空間を広域に撮影することができる。詳細には、撮影装置１０は、店舗２内の被写体としての人物Ｐの画像を撮影する。より具体的には、撮影装置１０は、対象空間から発せられる光を集光して撮像面に光像を形成し、撮像面に形成された光像を電気的な画像信号に変換することにより画像を取得する。撮影装置１０は、例えば、被写体から発せられる光を集光する撮影レンズおよびズームレンズなどの撮像光学系、および、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）またはＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を有してもよい。

また、撮影装置１０は、撮影した画像データを送信したり、後述する三次元計測装置３０からの制御指示を受信したりするために、通信部（図示省略）を有していてもよい。なお、以下においては、図１に示すように、撮影装置１０は店舗２内に１台設置されるものとして説明するが、本実施形態においては、これに限定されるものではなく、撮影対象の空間となる店舗２内の面積や形状に応じて、複数の撮影装置１０を店舗２内に設けてもよい。しかしながら、店舗２等への設置コストを勘案し、設置される撮影装置１０の台数は１台、又は少ない方が好ましい。

撮影装置１０の有する回転部２０は、例えば、図２に示すように、当該撮影装置１０を回転軸Ｃに対して所定の距離（図２では距離Ｒ）だけ離れた円周上に撮像面が移動するように、所定の平面（店舗２の床面に対して水平な面）上で撮影装置１０を回転させる。例えば、図１に示されるように、撮影装置１０が、店舗２内の隅に設置されている場合には、回転部２０は回動して、撮影装置１０の回転角度を０度から９０度の範囲内で回転させることにより、撮影装置１０は店舗２の全域を撮影することができる。すなわち、回転部２０は、撮影装置１０を振り子のように９０度の角度の範囲で往復させればよい。

より具体的には、回転部２０は、例えば、モータ（図示省略）と、モータに連結する回転軸（図示省略）と、当該回転軸と撮影を行う撮影装置１０の撮影部とを連結する連結部材（図示省略）とを有していてもよい。しかしながら、回転部２０は、上述のような構成に限定されるものではなく、撮影装置１０を上述のように回転させることができれば、他の構成であってもよく、例えば、撮影装置１０を載置する回転ステージとして構成されていてもよい。また、上述の説明では、回転部２０は撮影装置１０に設けられるものして説明したが、回転部２０は、撮影装置１０と別体の回転装置として構成されていてもよく、その場合には、例えば連結部材等を用いて撮影装置１０と回転装置とが連結されることとなる。

なお、以下においては、図１及び図２に示すように、回転部２０は、撮影装置１０を回転移動させるものとして説明するが、本実施形態においては、これに限定されるものではない。例えば、回転部２０は、撮影対象の空間である店舗２内の広さや形状に応じて、店舗２内を様々な経路（例えば、直線状、曲線状）で撮影装置１０を移動させる装置であってもよい。ただし、撮影装置１０が移動する経路はその座標等が既知であることが求められる。しかしながら、店舗２等への設置コストを抑えるために少ない台数の撮影装置１０により店舗２内全体を撮影できるようにすることが好ましいことを勘案すると、回転部２０は、撮影装置１０を回転移動させる装置であることが好ましい。

（三次元計測装置３０）
三次元計測装置３０は、撮影装置１０により撮影された画像に基づいて、三次元画像を生成したり、生成した三次元画像を用いて人物Ｐ（被写体）の検出等の処理を行ったりする。さらに、三次元計測装置３０は、上述の撮影装置１０の撮影タイミングを制御したり、上述の回転部２０の回転を制御したりすることができる。なお、三次元計測装置３０は、店舗２内に設置されていてもよく、もしくは、店舗２のバックヤード等に設置されていてもよい。さらに、三次元計測装置３０は、店舗２から離れた位置にある場所（例えば、店舗２がコンビニエンスストアである場合には、コンビニエンスストアを統括するフランチャイザー側の事務所等に設けられていてもよい。また、店舗２のセキュリティ管理を行うセキュリティ会社側の監視室に設けられていてもよい。）に設置されていてもよい。なお、三次元計測装置３０は、上述の撮影装置１０を有する一体の装置として構成されていてもよい。

＜１．２第１の実施形態に係る三次元計測装置３０の構成＞
次に、図３を参照して、上述の三次元計測装置３０の機能構成を説明する。図３は、本実施形態に係る三次元計測装置３０の機能構成を説明する説明図である。図３に示すように、本実施形態に係る三次元計測装置３０は、通信部３００と、画像取得部（制御部）３０２と、回転制御部（制御部）３０４と、画像記憶部３０６と、パラメータ記憶部３０８と、三次元計測部３１０と、画像処理部３１２と、出力部３１４とを主に有する。以下に、三次元計測装置３０の各機能ブロックの詳細を説明する。

（通信部３００）
通信部３００は、撮影装置１０とのインターフェースであって、これら装置との間で、無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）等の無線回線や、有線回線を介して通信を行う。

（画像取得部３０２）
画像取得部３０２は、上述の通信部３００を介して、上述の撮影装置１０に対して撮影（画像取得）を行うように画像取得タイミング（日時）（フレームレートともいう）等の制御情報を出力することにより、撮影装置１０を制御する。この際、画像取得部３０２により指示される画像取得タイミング等の制御情報は、画像取得部３０２により後述するパラメータ記憶部３０８に出力され、パラメータ記憶部３０８が記憶する。さらに、画像取得部３０２は、撮影装置１０により撮影された画像のデータを、通信部３００を介して取得する。この際、画像取得部３０２は上記画像データを取得すると後述の画像記憶部３０６に出力し、当該画像記憶部３０６は当該画像データを記憶する。なお、画像取得部３０２は、画像の撮影に係る撮影パラメータ（ズーム等）を撮影装置１０に対して出力し、撮影装置１０による撮影を制御してもよい。この際、出力される上記撮影パラメータも、上述と同様に、画像取得部３０２によりパラメータ記憶部３０８に出力され、パラメータ記憶部３０８が記憶してもよい。

（回転制御部３０４）
回転制御部３０４は、上述の通信部３００を介して、撮影装置１０の有する回転部２０の回転を制御する。すなわち、回転制御部３０４は、撮影装置１０の位置を制御する。詳細には、回転制御部３０４は、回転部２０に対して、回転角度、回転速度等の位置パラメータを位置制御情報として出力することにより、回転部２０を制御する。この際、回連制御部３０４から出力される位置パラメータは、回転制御部３０４により後述するパラメータ記憶部３０８に出力され、パラメータ記憶部３０８が記憶する。

（画像記憶部３０６）
画像記憶部３０６は、画像取得部３０２から出力された画像のデータを記憶する。また、画像記憶部３０６は、後述する三次元計測部３１０からのリクエストに応じて記憶した画像のデータを、当該三次元計測部３１０へ出力する。

（パラメータ記憶部３０８）
パラメーラ記憶部３０８は、画像取得部３０２から出力された画像取得タイミングや撮影パラメータ、回転制御部３０４から出力された位置パラメータ等を記憶する。さらに、パラメータ記憶部３０８は、撮影装置１０に係るレンズひずみ補正パラメータ、焦点距離等の内部パラメータ、さらに撮影装置１０の設置位置等の外部パラメータをあらかじめ記憶していてもよい。この際には、三次元計測装置３０の入力部（図示省略）を用いて、ユーザにより入力される。さらに、パラメータ記憶部３０８は、後述する三次元計測部３１０からのリクエストに応じて記憶した各種パラメータを、当該三次元計測部３１０へ出力する。

（三次元計測部３１０）
三次元計測部３１０は、上述の画像記憶部３０６から、互いに視差のある２つ以上の画像データを取得し、これら取得した画像データに基づき、画像に含まれる人物Ｐ（被写体）の位置を計測する。この際、三次元計測部３１０は、上述のパラメータ記憶部３０８から上記画像データに係る位置パラメータを参照して、上記画像を撮影した撮影装置１０の位置情報を取得する。三次元計測部３１０は、取得した位置情報を用いて、上記画像データを処理することにより、画像に含まれる人物Ｐの位置の三次元計測を行う。さらに、三次元計測部３１０は、上記計測結果を用いて三次元画像を生成する。そして、三次元計測部３１０は、得られた計測結果や三次元画像を後述する画像処理部３１２及び出力部３１４に出力する。なお、三次元計測部３１０で行われる処理の詳細については、後述する。

（画像処理部３１２）
画像処理部３１２は、上述の三次元計測部３１０が生成した三次元画像に対して画像処理を行うことにより、当該画像に含まれる人物Ｐ（被写体）の検出や、当該人物Ｐの追跡等を行う。また、画像処理部３１２は、上述の処理の結果を後述する出力部３１４に出力する。

なお、画像処理部３１２は、あらかじめ人物Ｐが全く存在しない状態での店舗２内の画像データを取得しておくことにより、あらかじめ取得した人物Ｐの存在しない状態での画像と、人物Ｐを含む三次元画像との比較を行うことができ、このようにすることで精度よく人物Ｐの検出を行うことができる。また、例えば、画像処理部３１２は、人物Ｐが通過する前の棚の陳列状態を示す三次元画像と、当該人物Ｐが通過した後の上記棚の陳列状態を示す三次元画像とを比較することにより、上記棚における商品の陳列状態の詳細（人物Ｐが商品を手に取り、当該商品を再び棚に戻したことにより、当該商品が斜めに陳列されている等）を把握することも可能である。

（出力部３１４）
出力部３１４は、画像処理部３１２等が出力した結果を例えば外部デバイス（例えば、ディスプレイ、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ））に出力する。例えば、出力部３１４は、三次元計測部３１０により生成された三次元画像に、画像処理部３１２が検出した人物Ｐを囲う矩形を重畳した画像をディスプレイに出力する。

＜１．３第１の実施形態に係る三次元計測部３１０における処理方法＞
次に、本実施形態に係る三次元計測部３１０において行われる処理、すなわち、互いに視差のある２つ以上の二次元画像から人物Ｐ（被写体）の位置の三次元計測を行う方法の一例について、図４から図６を参照して説明する。図４から図６は、本実施形態に係る三次元計測部３１０における処理を説明する説明図である。

まず、本実施形態に係る三次元計測部３１０において行われる処理における基本となる考え方を説明する。この考え方は、三角測量法に基づくものであり、既知の位置関係において撮影した画像間の対応する点を探索し、いわゆる三角測量の原理で対応の取れた点までの距離を算出するというものである。

具体的には、図４に示すように、距離がｂだけ離れた位置であって、互いに光軸７０６_ｌ、７０６_ｒが平行となるような２つの位置７００_ｌ、７００_ｒに設置した撮影装置１０により、同一物点Ｑ（Ｘ、Ｙ、Ｚ）を撮影画像に捉えた場合を考える（すなわち、光学中心が７００_ｌ、７００_ｒに位置するように撮影装置１０を設置する）。なお、上述の２つの位置は同一のＹ平面にあるものとする（すなわち、撮影装置１０の光学中心のＹ座標における位置は同じになる）。このような場合、それぞれの位置７００_ｌ、７００_ｒにおける撮影装置１０の画像面７０２_ｌ、７０２_ｒ上の物点Ｑ像の位置Ｑ_ｌ（Ｘ_ｌ、Ｙ_ｌ）、Ｑ_ｒ（Ｘ_ｒ、Ｙ_ｒ）（各位置７００_ｌ、７００_ｒから焦点距離ｆだけ移動した点を原点としたＸ-Ｙ座標における座標）と、位置７００_ｌ、７００_ｒにおける撮影装置１０の光学中心点を結ぶ延長線上の交点に物点Ｑ（Ｘ、Ｙ、Ｚ）が存在する。従って、それぞれの位置７００_ｌ、７００_ｒにおける画像面７０２_ｌ、７０２_ｒ上の物点Ｑ像の位置Ｑ_ｌ（Ｘ_ｌ、Ｙ_ｌ）、Ｑｒ（Ｘ_ｒ、Ｙ_ｒ）と、上述の距離ｂと、撮影装置１０の焦点距離ｆ（光学中心から画像面７０２_ｌ、７０２_ｒまでの距離）とが既知であれば、三角測量の原理で以下の数式１により物点Ｑ（Ｘ、Ｙ、Ｚ）の位置を算出することができる。なお、以下の数式１において、Ｘ_ｌ-Ｘ_ｒは視差と呼ばれる。

従って、三角測量の原理により、視差のある２つの画像、すなわち、互いの位置関係が既知である異なる２つの位置からの２つの画像を取得することができれば、物点Ｑの位置（距離）を算出することができる。

そこで、本実施形態における撮影装置１０の位置（詳細には、撮影装置１０の光学中心の位置）について図５を参照して説明する。図５に示すように、撮影装置１０が、時刻ｔから時刻ｔ＋１までの間に、Ｙ平面上で角度θだけ回転したとする（すなわち、撮影装置１０のＹ座標における位置は同じに維持される）。このような場合、時刻ｔにおける撮影装置１０の位置を基準とした場合、時刻ｔ＋１での撮影装置１０の位置は、時刻ｔにおける撮影装置１０の位置からＸ方向にｄｘ、Ｚ方向にｄｚだけ移動したと捉えることができる。従って、撮影装置１０の回転した角度θと、撮像面の移動する円周の半径Ｒとが既知であれば、以下の数式２により、上記ｄｘ、ｄｚ、及び、上述の２つの位置の間の距離ｄを算出することができる。

従って、本実施形態においては、撮影装置１０の２つの位置関係を求めることができる。しかしながら、本実施形態においては、先に説明したように、撮影装置１０は、図２に示すように、回転軸Ｃに対して所定の距離Ｒだけ離れた円周上に撮像面が移動するように回転するのであって、上述の三角測量法の説明のように、光軸が平行となるように移動するものではない。すなわち、２つの位置において撮影された画像に係る撮影の光軸は、互いに平行な関係ではない。そこで、本実施形態においては、取得した画像に対して、互いに光軸が平行になるように、以下のような平行化処理を行う。

本実施形態に係る三次元計測部３１０が行う平行化処理の一例として、エピポーラ線を用いた平行化処理について、図６を参照して説明する。以下に説明する平行化処理は、２つの撮影装置１０により二次元画像を取得し、取得した二次元画像から三次元画像を生成するシステムにおいて一般的に用いられる方法であり、詳細には、２つの撮影装置１０が、互いに光軸が平行になるように設置されていない場合に、補正処理の１つとして行われる。

エピポーラ線とは、２つの位置に撮影装置１０があった場合に、図６に示す物点Ｑと、２つの位置における撮影装置１０の光学中心７００_ｌ、７００_ｒの３点によって構成される平面（エピポーラ平面と呼ばれる）７０４と、それぞれの位置における撮影装置１０の画像面７０２_ｌ、７０２_ｒとが交わる線である。エピポーラ線は、図６においては符号７０８_ｌ、７０８_ｒにより示されている。

このエピポーラ線７０６_ｌ、７０６_ｒは、撮影装置１０が互いに光軸が平行になるように位置していた場合には、同じ高さの水平な直線となる。しかし、本実施形態のように、光軸が平行になるように位置していない場合には、図６に示すように、エピポーラ線７０６_ｌ、７０６_ｒは、水平にならず、同一直線上にならない。そこで、エピポーラ線７０６_ｌ、７０６_ｒが水平の同一直線上になるように、物点Ｑの撮影画面を補正する処理、すなわち、平行化する処理を行う。

この平行化処理は、撮影装置１０に係るレンズひずみ補正パラメータ、焦点距離等の内部パラメータ、回転制御部３０４から出力された位置パラメータ等を用いて行われる。本実施形態に係る三次元計測部３１０は、上述の各種パラメータを使用して、取得した画像に対して、エピポーラ線７０６_ｌ、７０６_ｒが水平の同一直線上になるように幾何学変換（例えば、画像上の点の座標変換）を行い、光軸を平行化した処理画像を取得する。この際、三次元計測部３１０は、画像記憶部３０６から２つの画像を取得した場合には、両方の画像に対して上述の平行化処理を行ってもよいし、いずれかの一方の画像を基準として（すなわち、いずれかの画像を撮影した際の撮影装置１０の位置を基準として）、他方の画像のみに上述の平行化処理を行ってもよい。

そして、当該三次元計測部３１０は、このようにして得られた画像を用いて、上述した三次元計測を行うこととなる。詳細には、三次元計測の際には、三次元計測部３１０は、平行化処理によって得られた処理画像を用いて、上述の視差の算出を行うこととなる。ここで、視差の算出の一例について説明する。視差を算出する方法としては、ステレオマッチングと呼ばれる手法が一般的に知られている。上述の平行化処理により得られた２つの画像においては、エピポーラ線７０６_ｌ、７０６_ｒは水平の同一直線上にあることから、それぞれの画像における同一の物点Ｑに対応する点は、水平方向に同一ライン上にあることとなる。そこで、三次元計測部３１０は、例えば、各画像のエッジやコーナ点などの特徴点を抽出し、各画像の特徴点同士が同一ライン上にあるとして探索する。探索により各画像上の対応点（特徴点）の座標が取得できれば、その座標を用いることにより視差を算出することができる。さらに、三次元計測部３１０は、算出された視差を利用して、平行化処理された画像から全ての人物Ｐ（被写体）の距離（座標）を計測する。

なお、本実施形態においては、上述のような特徴点を抽出し、探索することに限定されるものではなく、例えば、画像上の人物Ｐ（被写体）全体を抽出して、抽出した全体形状を利用して探索してもよい。また、本実施形態における画像を用いた抽出等は、例えば画像上の画素を１つの単位として行ってもよい。

さらに、本実施形態に係る三次元計測部３１０における処理は、上述した処理に限定されるものではなく、視差のある２つ以上の画像を処理することにより、人物Ｐ（被写体）の三次元計測を行うことができるものであれば、特に限定されるものではない。

＜１．４第１の実施形態に係る三次元計測システム１の動作＞
以上、本発明の第１の実施形態に係る三次元計測システム１及び三次元計測装置３０の構成、さらに、本実施形態に係る三次元計測部３１０における処理について説明した。次に、本発明の第１の実施形態に係る三次元計測システム１の動作としての三次元計測について、図７を参照して説明する。図７は、本実施形態に係る三次元計測のシーケンス図である。

図７に示すように、本実施形態に係る三次元計測のシーケンス図には、ステップＳ１０１からステップＳ１１７までの複数のステップが含まれている。すなわち、本実施形態に係る三次元計測の大まかな流れを説明すると、撮影装置が第１の位置にあるときに、撮影装置１０は店舗２内の第１に画像を撮影する。次に、撮影装置１０が第２の位置にあるときに、撮影装置１０は店舗２内の第２の画像を撮影する。さらに、このように得られた第１の画像と第２の画像とに基づいて、画像上の人物Ｐ（被写体）の距離を計測し、計測結果に基づいて三次元画像を生成する。そして、生成した三次元画像に対して画像処理を行い、得られた処理結果を出力する。以下に、本実施形態に係る三次元計測の詳細を説明する。

（ステップＳ１０１）
三次元計測装置３０は、撮影装置１０に対して撮影を指示する。また、三次元計測装置３０は、上述の撮影の指示の際に、撮影装置１０の回転部２０に対して回転の指示を行った場合には、回転指示として出力された位置パラメータを記憶する。なお、記憶した位置パラメータは、後述するステップＳ１０５で取得した画像と紐づけられることができるように、指示に係る時系列情報（例えば、指示した時刻情報）と紐づけられている。

なお、回転部２０が常に一定の速度で回転している場合には、三次元計測装置３０は、所定の角度に到達したごとに撮影するように撮影装置１０に指示してもよく、三次元計測装置３０による撮影装置１０に対する指示は、本実施形態においては適宜変更することができる。

（ステップＳ１０３）
三次元計測装置３０からの制御に従って、撮影装置１０は店舗２内の第１の画像を撮影し、当該画像のデータを三次元計測装置３０に出力する。なお、ステップＳ１０１において三次元計測装置３０が回転の指示を行った場合には、回転部２０は当該指示に従って第１の位置にまで回転し、その後に撮影装置１０は店舗２内の第１の画像を撮影する。

（ステップＳ１０５）
三次元計測装置３０は、撮影装置１０から取得した第１の画像のデータを時系列情報（例えば、取得した時刻情報）とともに記憶する。この際、第１の画像の撮影に係る位置パラメータも第１の画像のデータに紐づけられて記憶されることが好ましい。

（ステップＳ１０７）
三次元計測装置３０は、回転部２０に対して回転の指示を行い、指示として出力された位置パラメータを記憶する。さらに、三次元計測装置３０は、ステップＳ１０１と同様に、回転後に撮影を行うように撮影装置１０に対して指示する。

（ステップＳ１０９）
三次元計測装置３０からの制御に従って、回転部２０は回転し、第２の位置に到達する。そして、撮影装置１０は、三次元計測装置３０からの制御に従って、店舗２内の第２の画像を撮影し、三次元計測装置３０に出力する。

（ステップＳ１１１）
三次元計測装置３０は、ステップＳ１０５と同様に、撮影装置１０から取得した第２の画像のデータを時系列情報とともに記憶する。

なお、本実施形態においては、上述のように撮影が２回行われることに限定されるものではなく、例えば、ステップＳ１０７からステップＳ１１１を複数回繰り返して、３回以上の撮影が行われてもよい。このような場合、三次元計測装置３０は、上述と同様に、取得した複数の画像のデータを時系列情報とともに記憶し、さらに、画像の撮影に係る位置パラメータも記憶した画像データに紐づけて記憶する。

（ステップＳ１１３）
三次元計測装置３０は、ステップＳ１０５及びステップＳ１１１において取得した２つの第１及び第２の画像のデータを用いて、ステップＳ１０１及びステップＳ１０７で記憶した上記画像データに係る位置パラメータ等を参照して、上述したような平行化処理を行う。さらに、処理により得られた処理画像等を用いて、画像に含まれる人物Ｐ（被写体）の位置を三次元計測する。さらに、三次元計測装置３０は、計測結果を用いて、人物Ｐが含まれる三次元画像を生成する。

（ステップＳ１１５）
三次元計測装置３０は、上述のステップＳ１１３で生成した三次元画像に対して画像処理を行う。例えば、三次元計測装置３０は、当該三次元画像から人物Ｐの検出を行うことができる。先に説明したように、三次元画像から人物Ｐの検出を行うことにより、複数の人物Ｐが重なっていても人物を検出することができ、さらに、画像に含まれるポスター上の人物を誤って撮影対象である空間内に存在する人物Ｐとして検出してしまうことを避けることができる。さらに、三次元画像からは人物Ｐの詳細な位置も把握することができることから、例えば、店舗２内の棚に対してどのような位置に人物Ｐが存在するのか等を把握することができる。

（ステップＳ１１７）
三次元計測装置３０は、上述のステップＳ１１５における処理結果を例えば外部デバイスに出力する。例えば、三次元計測装置３０は、ステップＳ１１３において生成された三次元画像に、ステップＳ１１５において検出した人物Ｐの移動の軌跡を示す線を重畳した画像を外部デバイスであるディスプレイ（図示省略）に出力する。

以上のように、本実施形態においては、撮影装置１０が１台であっても、撮影装置１０を回転させることにより、例えばコンビニエンスストア等の店舗２の全体を撮影することができる。さらに、本実施形態においては、１台の撮影装置が回転することにより得られた互いに視差のある２つの画像を、上述のように処理することにより、画像に含まれる人物Ｐ（被写体）の位置を三次元計測することができることから、三次元画像を得るために複数の撮影装置１０を設置する場合に比べて、設置コストを抑えることができる。さらには、複数の撮影装置１０を設置しないことから、個体差のある複数の撮影装置１０の内部パラメータが一致するようにキャリブレーションを行うこともなく、撮影装置１０の設置及び管理等の負担を軽減することもできる。すなわち、本実施形態によれば、設置コストや管理コストを抑えつつ、三次元計測を行うことができる。さらには、従来から防犯用にコンビニエンスストア等の店舗２内に設けられている撮影装置１０は、回転可能な構成を持つものがあることから、このような撮影装置１０を用いる場合には、装置構成等を大幅に改変することなく、本実施形態に係る三次元計測システム１を容易に導入することができる。

なお、本実施形態においては、互いに視差のある２つの画像が得られるように撮影装置１０を移動させればよいことから、回転部２０は、撮影装置１０を回転させるものであることに限定されるものではなく、対象空間となる店舗２内の面積や形状に応じて、店舗２内を様々な経路で撮影装置１０を移動させる装置であってもよい。しかしながら、店舗２等への設置コストを抑えるために少ない台数の撮影装置１０により店舗２内全体を撮影することが好ましいことを勘案すると、本実施形態においては、回転部２０は、撮影装置１０を回転移動させる装置であることが好ましい。

＜１．５第１の実施形態の変形例＞
上述の実施形態においては、回転部２０が三次元計測装置３０からの制御に従って精度よく回転することができると仮定して、撮影装置１０による撮影の際の撮影装置１０の位置情報として、三次元計測装置３０による制御指示の際に撮影装置１０の回転部２０に出力される位置パラメータを用いていた。しかしながら、回転部２０等の不具合により、回転部２０が三次元計測装置３０からの制御に従って精度よく回転しないことがある。また、回転部２０の回転の精度にも機械的な限界があるために、回転部２０は、厳密には三次元計測装置３０からの制御に従って回転していないこともある。そこで、以下に説明する変形例においては、位置パラメータを上述とは別の方法によって取得する。詳細には、本変形例においては、撮影装置１０により撮影された、撮影対象である店舗２内に設置されたパターン（図示省略）の画像を用いて、撮影装置１０の位置情報としての位置パラメータを取得する。

具体的には、本変形例においては、店舗２内の壁等の各所にパターン（図示省略）を設置する。例えば、当該パターンは、格子模様や等間隔ドット等の特徴的な形状のパターンで構成され、その形状、設置位置、大きさ等については、あらかじめ三次元計測装置３０に記憶されている。撮影装置１０は、店舗２内の人物Ｐを被写体として撮影すると同時に、店舗２内に設置された上記パターンを撮影し、撮影した画像を三次元計測装置３０へ出力する。三次元計測装置３０は、取得した画像を処理して、当該画像の特徴を抽出し、あらかじめ記憶されたパターンに関する情報を参照して、当該画像に含まれるパターンが店舗２内のどの位置に設置されたパターンであるかを推定する。さらに、三次元計測装置３０は、画像上での当該パターンの位置や大きさ等に基づいて、当該パターンと撮影装置１０との位置関係を推定することができることから、撮影装置１０の位置パラメータを取得することができる。

以上のように、本変形例によれば、店舗２内の各所に設けられたパターンの画像に基づいて、撮影装置１０の位置パラメータ（位置情報）を取得することができることから、回転部２０が、三次元計測装置３０の制御に従って回転しない場合であっても、上述の第１の実施形態のような三次元計測を行うことができる。さらに、本変形例によれば、回転部２０が三次元計測装置３０の制御に従って精度よく回転しなくてもよいため、回転部２０を高精度に回転する複雑な装置にすることが求められないことから、回転部２０に係る製造コストを抑えることができる。

＜＜２．第２の実施形態＞＞
次に、画像上の被写体（例えば人物Ｐ）が移動した場合であっても、上述の第１の実施形態と同様に、簡単な構成の三次元計測システム１を用いつつ当該被写体の三次元計測を行うことができる本発明の第２の実施形態を説明する。

コンビニエンスストアやスーパーマーケット等の店舗２内においては、被写体となる人物Ｐは店舗２内を移動する。従って、店舗２内を移動する人物Ｐの追跡を行うためには、移動する人物Ｐに対しても三次元計測を行うことができるものであることが求められる。しかしながら、先に説明した上記特許文献１において提案されている方法では、被写体に対して単眼カメラを水平方向に移動させることから、動きの異なる人物Ｐ（被写体）が複数存在する上述のような店舗２にて使用することは難しい。また、同様に先に説明した上記特許文献２において提案されている方法では、単眼カメラで被写体に対して異なるズームを行い２つの異なる画像を取得することが前提であるため、被写体（人物Ｐ）が移動する場合に当該方法を適用することが難しい。すなわち、従来技術においては、設置コストを抑えるために簡単な構成の三次元計測システムを採用しつつ、移動する被写体（人物Ｐ）の三次元計測を行うことは難しいものであった。

そこで、本発明者らは、上記事情を一着眼点にして本発明の第２の実施形態を創作するに至った。詳細には、第２の実施形態においては、撮影装置１０により被写体である人物Ｐの２つの画像を取得し、取得した画像から人物Ｐの動きに関する移動情報（例えば移動ベクトル）を算出する。次に、当該人物Ｐの動きを等速直線運動であると仮定して、算出した動きに関する移動情報を用いて、特定の時刻における当該人物Ｐの画像を推定する。そして、推定した推定画像と、既に取得した特定の時刻における画像とを用いて、上述の第１の実施形態と同様に、当該人物Ｐの三次元計測を行う。本実施形態によれば、人物Ｐの動きを等速直線運動であると仮定し、その仮定に基づいて推定した当該人物Ｐの推定画像を用いることにより、撮影装置１０を多数設置することのない簡単な構成の三次元計測システム１を用いつつ、移動する人物Ｐの三次元計測を行うことができる。

なお、実際の店舗２内での人物Ｐの動きは等速直線運動とは限らないため、上述の特定の時刻において当該人物Ｐの画像を実際に取得した場合には、上記推定画像と異なる場合がある。従って、本実施形態においては、厳密には実際と異なる三次元測定を行うこともあるため、高い精度を持った三次元計測とはいえない。しかしながら、コンビニエンスストアやスーパーマーケット等の店舗２内における人物Ｐの追跡等の用途の場合には、高い精度の三次元計測が求められないことがある。そこで、簡単な構成の三次元計測システム１を採用しつつ、移動する人物Ｐの三次元計測を行うことができる本実施形態は、上述のような用途の場合、有効な手段であるといえる。以下、このような本発明の第２の実施形態を説明する。

＜２．１第２の実施形態に三次元計測の基本的考え方＞
まず、本実施形態の三次元計測の基本的考え方について、図８を用いて説明する。図８は、本実施形態に係る三次元計測の基本的考え方を説明する説明図である。

まず、第１の実施形態と同様に、撮影装置１０は、時刻ｔ（第１の時刻）に、位置７１２ａにおいて（撮影装置１０の光学中心が７１２ａの位置にある状態）（第１の位置）、店舗２内の第１の画像を撮影する。この際、第１の画像には、被写体として人物Ｐが含まれている。なお、以下の説明において、当該人物Ｐは、図８上を、時刻ｔではＰ_１の位置に、時刻ｔ＋１（第２の時刻）ではＰ_２の位置に、時刻ｔ＋２（第３の時刻）ではＰ_３の位置に存在するように等速直線運動で移動するものとする。従って、第１の画像には、Ｐ_１の位置に存在する人物Ｐの画像が含まれていることとなる。

次に、第１の実施形態と同様に、撮影装置１０を回転させ、撮影装置１０は、時刻ｔ＋１（第２の時刻）に、位置７１２ｂにおいて（撮影装置１０の光学中心が７１２ｂの位置にある状態）（第２の位置）、店舗内２内の第２の画像を撮影する。この際、第２の画像には、Ｐ_２の位置の人物Ｐの画像が含まれていることとなる。このように、人物Ｐは、時刻ｔから時刻ｔ＋１の間に移動しており、その位置が異なるため、上述のように取得された第１及び第２の画像に基づいて、上述の第１の実施形態の方法により人物Ｐの三次元計測を行うことはできない。

第１の実施形態においては、先に説明したように、人物Ｐが同じ位置に存在する際の、互いに異なる位置から撮影された人物Ｐの２つの画像を取得することができれば、当該人物Ｐの三次元計測を行うことができる。すなわち、移動している人物Ｐであっても、当該人物Ｐが同じ位置に存在する際、すなわち、同じ時刻においての、異なる位置から撮影された当該人物Ｐの２つの画像を取得することができれば、第１の実施形態を用いて当該人物Ｐの三次元計測を行うことができる。そこで、本実施形態においては、上述の第１の画像と同じ時刻ｔに、撮影装置１０が位置７１２ｂ（第２の位置）において撮影できたであろう画像を推定し、推定画像を得る。そして、本実施形態においては、この推定画像と、第１の画像とを用いることにより、第１の実施形態を用いて人物Ｐの三次元計測を行うことができる。

そこで、本実施形態においては、先に説明したように、当該人物Ｐの動きを等速直線運動であると仮定することにより、時刻ｔに、撮影装置１０が位置７１２ｂにおいて撮影できたであろう画像を推定し、推定画像を得る。詳細には、本実施形態においては、人物Ｐは、時刻ｔから時刻ｔ＋１の間（図中のＰ_１からＰ_２への移動）においても、時刻ｔ＋１から時刻ｔ＋２の間（図中のＰ_２からＰ_３への移動）と同じ速度、同じ方向に直線移動していると仮定する。そして、本実施形態においては、上述の仮定に基づき、人物Ｐの時刻ｔ＋１から時刻ｔ＋２の間（図中のＰ_２からＰ_３への移動）の動きの情報（例えば、移動ベクトルＶ_２）を算出し、算出した移動ベクトルＶ_２を用いて、時刻ｔに、撮影装置１０が位置７１２ｂにおいて撮影できたであろう画像を推定する。例えば、時刻ｔから時刻ｔ＋１の間（図中のＰ_１からＰ_２への移動）と、時刻ｔ＋１から時刻ｔ＋２の間（図中のＰ_２からＰ_３への移動）とが同じ時間間隔にあれば、図中の移動ベクトルＶ_２とＶ_１は同じとなる。

そこで、本実施形態においては、撮影装置１０を上述の第２の位置７１２ｂに留まらせておき、撮影装置１０は、時刻ｔ＋２（第３の時刻）において、店舗内２内の第３の画像を撮影する。この際、第３の画像には、Ｐ_３の位置の人物Ｐの画像が含まれていることとなる。なお、時刻ｔ＋１から時刻ｔ＋２の間は、人物Ｐの移動が検出できる程度の時間間隔であることが好ましい。

そして、本実施形態においては、上述の第２の画像及び第３の画像を解析することにより、これら画像に含まれる人物Ｐの動きに関する移動情報（例えば、移動ベクトルＶ_２）を得ることができる。なお、本実施形態においては、上記移動情報を求める方法は特に限定されるものではないが、例えば後述するオプティカルフローを用いて移動ベクトルとして算出することができる。そして、本実施形態においては、取得した移動情報を用いて第２の画像に対して処理を行うことにより、時刻ｔに、撮影装置１０が位置７１２ｂにおいて撮影できたであろう人物Ｐの画像を推定することができる。

なお、本実施形態においては、三次元計測システム１の構成は、三次元計測装置３０の機能構成以外は第１の実施形態と共通であり、第１の実施形態の三次元計測システム１の構成説明及び図１及び図２を参照し得る。したがって、ここでは、三次元計測装置３０の機能構成以外の三次元計測システム１の構成についての説明を省略する。

さらに、本実施形態においては、回転部２０の回転速度は、店舗２内における人物Ｐの一般的な移動速度が等速直線運動であると仮定することができるよう、人物Ｐの移動速度に対して最適化された相対速度を持つように制御されていることが好ましい。

＜２．２第２の実施形態に係る三次元計測装置３０ａの構成＞
次に、第２の実施形態に係る三次元計測装置３０ａの機能構成について、図９を参照して説明する。図９は、本実施形態に係る三次元計測装置３０ａの機能構成を説明する説明図である。本実施形態に係る三次元計測装置３０ａは、第１の実施形態に係る三次元計測装置３０と共通の機能ブロックを有するが、さらに、以下に説明する推定部３１６を有する。すなわち、図９に示すように、本実施形態に係る三次元計測装置３０ａは、通信部３００と、画像取得部３０２と、回転制御部３０４と、画像記憶部３０６と、パラメータ記憶部３０８と、三次元計測部３１０と、画像処理部３１２と、出力部３１４と、さらに推定部３１６を主に有する。したがって、ここでは、推定部３１６以外の三次元計測装置３０ａ機能ブロックについての説明を省略し、推定部３１６のみを説明する。

（推定部３１６）
推定部３１６は、上述の画像記憶部３０６から２つ以上の画像データを取得し、これらの画像から、当該画像に含まれる同じ人物Ｐ（被写体）の動きに関する移動情報を取得し、さらに取得した情報に基づいて、特定の時刻における当該人物Ｐの画像を推定する。以下に、推定部３１６のおける推定方法について説明する。

＜２．３第２の実施形態に係る推定部３１６における推定方法＞
以下に、本実施形態に係る推定部３１６において行われる処理、すなわち、２つ以上の画像から、被写体である人物Ｐの動きに関する移動情報を取得し、取得した情報に基づいて、特定の時刻における当該人物Ｐの画像を推定する方法の一例について説明する。

まず、先に説明したように、推定部３１６は、画像記憶部３０６から、時刻ｔ＋１（第２の時刻）に、位置７１２ｂ（第２の位置）において撮影された第２の画像と、事項ｔ＋２（第３の時刻）に、位置７１２ｂ（第２の位置）において撮影された第３の画像と、を取得する（図８参照）。さらに、推定部３１６は、取得した２つの画像を用いて、人物Ｐの移動情報として移動ベクトルＶ_２（図８参照）を算出する。なお、本実施形態においては、上記移動情報の取得方法は特に限定されるものではないが、例えばオプティカルフローを用いて移動ベクトルを算出することができる。オプティカルフローとは、画像中の物体の動きを「ベクトル」で表したものであり、例えば、画像上の点の移動前後における変化の情報（見かけの速度ベクトル）である。このオプティカルフローは、一般的に、画像から移動物体の検出や、移動物体の運動解析の際に用いられている。例えば、推定部３１６は、２つの画像に含まれる人物Ｐ（被写体）については、移動しても画像上での明るさが同じであり、その移動量は小さく、且つ滑らかに移動するものと仮定して、２つの画像上での人物Ｐのマッチングを行う。さらに、推定部３１６は、人物Ｐの特徴点等を抽出し、その移動方向、移動距離を（例えば、画像上のどの画素からどの画素へ移動したか）算出して、移動ベクトルＶ_２を算出する。

そして、先に説明したように、本実施形態においては、人物Ｐは、時刻ｔから時刻ｔ＋１の間（図８中のＰ_１からＰ_２への移動）においても、時刻ｔ＋１から時刻ｔ＋２の間（図８中のＰ_２からＰ_３への移動）と同じ速度、同じ方向に直線移動していると仮定する。この仮定に基づいて、推定部３１６は、算出した移動ベクトルを用いて、上記第２の画像に対して幾何学変換（例えば、画像上の点の座標変換）を行うことにより、時刻ｔに、撮影装置１０が位置７１２ｂにおいて撮影できたであろう人物Ｐの画像を推定し、推定画像を得ることができる。

＜２．４第２の実施形態に係る三次元計測システム１の動作＞
以上、本発明の第２の実施形態に係る三次元計測システム１の構成について説明した。次に、本発明の第２の実施形態に係る三次元計測システム１の動作としての三次元計測について、図１０を参照して説明する。図１０は、本実施形態に係る三次元計測のシーケンス図である。

図１０に示すように、本実施形態に係る三次元計測のシーケンス図には、ステップＳ２０１からステップＳ２２５までの複数のステップが含まれている。すなわち、本実施形態に係る三次元計測の大まかな流れを説明すると、撮影装置１０は、第１の時刻に、第１の位置において、店舗２内の第１の画像を撮影し、次に、撮影装置１０を回転させ、撮影装置１０は、第２の時刻に、第２の位置において、店舗内２内の第２の画像を撮影する。さらに、撮影装置１０を上述の第２の位置に留まらせておき、撮影装置１０は、第３の時刻に、店舗内２内の第３の画像を撮影する。そして、上記第２の画像と上記第３の画像とに基づいて、画像上の人物Ｐ（被写体）の移動を検出し、検出結果に基づいて、撮影装置１０が上記第２の位置にあるときの、上記第１の時刻において撮影されたであろう人物Ｐの撮影画像を推定し、推定画像を生成する。さらに、上記第１の撮影画像と上記推定画像とに基づいて、上記人物Ｐの位置を計測し、計測結果に基づいて三次元画像を生成する。その後、第１の実施形態と同様に、生成した三次元画像に対して処理を行うことにより得られた処理結果を出力する。以下に、本実施形態に係る三次元計測処理の詳細を説明する。

（ステップＳ２０１からステップＳ２１１まで）
ステップＳ２０１からステップＳ２１１までについては、上述の図７の第１の実施形態のステップＳ１０１からステップＳ１１１と同様であり、三次元計測装置３０ａは、撮影装置１０が第１の位置において時刻ｔで撮影した第１の画像、及び、撮影装置１０が第２の位置において時刻ｔ＋１で撮影した第２の画像を取得する。従って、ここでは、ステップＳ２０１からステップＳ２１１についての詳細な説明を省略する。

（ステップＳ２１３）
三次元計測装置３０ａは、撮影装置１０に対して撮影を指示する。本実施形態においては、この際、三次元計測装置３０ａは、撮影装置１０の回転部２０に対して回転の指示を行うことはない。

（ステップＳ２１５）
三次元計測装置３０ａからの制御に従って、時刻ｔ＋２において、撮影装置１０は店舗２内の第３の画像を撮影し、当該画像のデータを三次元計測装置３０ａに出力する。なお、第３の画像を撮影する際には、撮影装置１０は、ステップＳ２０９で第２の画像を撮影した際と同じ第２の位置にある。

（ステップＳ２１７）
三次元計測装置３０ａは、撮影装置１０から取得した第３の画像のデータを時系列情報（例えば、取得した時刻情報）とともに記憶する。この際、第１の実施形態と同様に、第３の画像の撮影に係る位置パラメータも第３の画像のデータに紐づけられて記憶されることが好ましい。なお、本実施形態においては、上述のステップＳ２０１からステップＳ２１７を複数回繰り返してもよい。

（ステップＳ２１９）
三次元計測装置３０ａは、先に説明したように、第２の画像と第３の画像とを用いて、移動ベクトルを算出し、第２の画像と算出した移動ベクトルとを用いて、撮影装置１０が第２の位置にある際、時刻ｔにおいて当該人物Ｐを撮影した場合に得られたであろう人物Ｐの画像を推定し、推定画像を生成する。

（ステップＳ２２１）
三次元計測装置３０ａは、ステップＳ２１９で取得した推定画像と、ステップＳ２０５で取得した第１の画像とを用いて、第１の実施形態と同様に、画像に含まれる人物Ｐの位置を三次元計測する。さらに、三次元計測装置３０ａは、計測結果を用いて、三次元画像を生成する。

（ステップＳ２２３及びステップＳ２２５）
ステップＳ２２３及びステップＳ２２５は、図７に示される第１の実施形態のステップＳ１１５及びステップＳ１１７と同様であるため、ここでは、詳細な説明を省略する。

以上のように、第２の実施形態によれば、人物Ｐ（被写体）の動きを等速直線運動であると仮定し、その仮定に基づいて推定した当該人物Ｐの推定画像を用いることにより、撮影装置１０を多数設置することのない簡単な構成の三次元計測システム１を用いつつ、移動する人物Ｐの三次元計測を行うことができる。

＜＜３．本実施形態に係る三次元計測装置３０のハードウェア構成＞＞
以上、本発明の実施形態について説明した。次に、本実施形態に係る三次元計測装置３０（３０ａ）のハードウェア構成について、図１１を参照して説明する。図１１は、本発明の実施形態に係る三次元計測装置３０のハードウェア構成を示したブロック図である。

図１１に示すように、三次元計測装置３０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）９５０、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）９５２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）９５４、内部バス９５６、入出力インターフェース９５８、入力装置９６０、出力装置９６２、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）９６４、ネットワークインターフェース９６６、ドライブ９７０及び接続ポート９７４を有する。

（ＣＰＵ９５０）
ＣＰＵ９５０は、マイクロプロセッサなどのプロセッサにより構成され、演算処理装置および制御装置として、各種プログラムに従って三次元計測装置３０内の動作全般を制御する。ＣＰＵ９５０は、例えば、上述の画像取得部３０２、回転制御部３０４、三次元計測部３１０、画像処理部３１２等としての機能を実現する。

（ＲＯＭ９５２、ＲＡＭ９５４）
ＲＯＭ９５２は、ＣＰＵ９５０が使用するプログラムや演算パラメータ等を記憶する。また、ＲＡＭ９５４は、ＣＰＵ９５０の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＲＯＭ９５２及びＲＡＭ９５４は、上述の画像記憶部３０６及びパラメータ記憶部３０８等としての機能を実現する。

（内部バス９５６）
内部バス９５６は、ＣＰＵバスなどから構成される。この内部バス９５６は、ＣＰＵ９５０、ＲＯＭ９５２、およびＲＡＭ９５４を相互に接続する。

（入出力インターフェース９５８）
入出力インターフェース９５８は、ＨＤＤ９６４、及びネットワークインターフェース９６６を、内部バス９５６と接続する。例えばＨＤＤ９６４は、この入出力インターフェース９５８および内部バス９５６を介して、ＲＡＭ９５４などとの間でデータをやり取りする。

（入力装置９６０）
入力装置９６０は、三次元計測装置３０に各種パラメータ（例えば、撮影装置１０の焦点距離等の内部パラメータ）等をあらかじめ入力するための入力部の一例として構成される。入力装置９６０は、例えばユーザが三次元計測装置３０へパラメータをあらかじめ入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９５０に出力する入力制御回路などから構成されている。

（出力装置９６２）
出力装置９６２は、三次元計測装置３０の表示部の一例として構成される。出力装置９６２は、表示部として、液晶ディスプレイ装置、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）装置などの表示装置を含む。この表示装置は、ＣＰＵ９５０により生成された画像等を表示する。

（ＨＤＤ９６４）
ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）９６４は、上述の画像記憶部３０６及びパラメータ記憶部３０８等としての機能を実現する、データ格納用の装置である。このＨＤＤ９６４は、ＣＰＵ９５０が実行するプログラムや各種データを格納することもできる。

（ネットワークインターフェース９６６）
ネットワークインターフェース９６６は、撮影装置１０と間で通信を行うための通信デバイス等で構成された通信インターフェースである。このネットワークインターフェース９６６は、上述の通信部３００として機能する。

（ドライブ９７０）
ドライブ９７０は、磁気ディスク、光ディスク、又は半導体メモリなどのリムーバブル記録媒体９７２のためのリーダライタであり、三次元計測装置３０に内蔵、あるいは外付けされる。ドライブ９７０は、装着されているリムーバブル記録媒体９７２に情報を書き込むことができる。また、ドライブ９７０は、装着されているリムーバブル記録媒体９７２に記録されている情報を読み出して、ＲＡＭ９５４に出力することもできる。

（接続ポート９７４）
接続ポート９７４は、外部装置（図示省略）を三次元計測装置３０に直接接続するためのポートである。接続ポート９７４は、例えば、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（ＳｍａｌｌＣｏｍｐｕｔｅｒＳｙｓｔｅｍＩｎｔｅｒｆａｃｅ）ポート等である。接続ポート９７４は、接続ポート９７４に外部装置を接続することにより、三次元計測装置３０と外部装置との間で各種のデータが交換されうる。

以上、本実施形態に係る三次元計測装置３０のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

＜＜４．補足＞＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

また、上述した各実施形態の処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法で処理されていてもよい。

また、上記の第２の実施形態で説明した画像中からの移動情報の取得に関しては、撮影装置１０を回転させる前に、移動情報取得のための画像を撮影しても良い。この場合、撮影装置１０を回転させる前に時間をずらして２つの画像（第２の実施形態の第３の画像と第２の画像とに相当）を取得し、撮影装置１０を回転させた後に１つの画像（第２の実施形態の第１の画像に相当）を取得する。そして、この構成においては、画面中から移動物体（被写体）の移動情報を取得した場合には、撮影装置１０を回転させて、検知された移動物体の三次元計測処理を行う構成としてもよい。

さらに、上記の実施形態にかかる三次元計測処理の少なくとも一部は、コンピュータを機能させる三次元計測プログラムとして、ソフトウェアで構成することが可能であり、ソフトウェアで構成する場合には、これらの方法の少なくとも一部を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、三次元計測装置３０等、もしくは、三次元計測装置３０と接続された他の装置に読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。さらに、これらの方法の少なくとも一部を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

１三次元計測システム
２店舗
１０撮影装置
２０回転部
３０、３０ａ三次元計測装置
３００通信部
３０２画像取得部
３０４回転制御部
３０６画像記憶部
３０８パラメータ記憶部
３１０三次元計測部
３１２画像処理部
３１４出力部
３１６推定部
７００_ｌ、７００_ｒ、７１２ａ、７１２ｂ位置
７０２_ｌ、７０２_ｒ画像面
７０４平面
７０６_ｌ、７０６_ｒ光軸
７０８_ｌ、７０８_ｒエピポーラ線
９５０ＣＰＵ
９５２ＲＯＭ
９５４ＲＡＭ
９５６内部バス
９５８入出力インターフェース
９６０入力装置
９６２出力装置
９６４ＨＤＤ
９６６ネットワークインターフェース
９７０ドライブ
９７２リムーバブル記録媒体
９７４接続ポート
ｂ距離
ｆ焦点距離
Ｃ回転軸
Ｐ、Ｐ_１、Ｐ_２、Ｐ_３人物
Ｑ物点
Ｒ距離
Ｖ_１、Ｖ_２ベクトル

Claims

回転可能な撮影装置が撮影した被写体の画像を取得する画像取得部と、
前記撮影装置が第１の位置にあるときの前記被写体の撮影画像である第１の画像と、前記撮影装置が第２の位置にあるときの前記被写体の撮影画像である第２の画像とに基づいて、前記被写体の位置を計測する計測部と、
を備える三次元計測装置。
前記撮影装置は、回転部を有し、前記回転部は、回転軸に対して所定の距離だけ離れた円周上で前記撮影装置の撮像面が移動するように回転する、請求項１に記載の三次元計測装置。
前記計測部は、前記第１及び第２の位置に係る位置情報を用いて、取得した前記第１の画像及び第２の画像の少なくとも一方に対して、前記第１及び第２の画像に係る光軸が互いに平行になるように処理を行い、当該処理により得られた処理画像を用いて前記被写体の位置を計測する、請求項１又は２に記載の三次元計測装置。
前記撮影装置の位置を制御し、前記撮影装置に対して前記第１及び第２の画像を撮影するように制御する制御部をさらに備える、
請求項１から３のいずれか１項に記載の三次元計測装置。
前記計測部は、前記撮影装置により撮影された、撮影対象である空間内に設置されたパターンの画像を用いて、前記位置情報を取得する、請求項３に記載の三次元計測装置。
前記計測部は、前記制御部により出力された前記撮影装置に対する位置制御情報を参照して、前記撮影装置の位置情報を取得する、請求項４に記載の三次元計測装置。
前記撮影装置をさらに備える、請求項１から６のいずれか１項に記載の三次元計測装置。
前記被写体の移動を検出し、検出結果に基づいて、推定画像を推定する推定部をさらに備え、
前記画像取得部は、第１の時刻において撮影された前記第１の画像と、第２の時刻において撮影された前記第２の画像と、前記撮影装置が前記第２の位置にあるときの、第３の時刻における前記被写体の撮影画像である第３の画像と、を取得し、
前記推定部は、
前記第２の画像と前記第３の画像とに基づいて前記被写体の移動情報を検出し、
検出した前記移動情報に基づいて、前記撮影装置が前記第２の位置にあるときに、前記第１の時刻において撮影されたであろう前記被写体の撮影画像を推定して、推定画像を生成し、
前記計測部は、前記第１の画像と前記推定画像とに基づいて、前記被写体の位置を計測する、
請求項１に記載の三次元計測装置。
前記推定部は、
前記第２の画像と前記第３の画像とに基づいて前記被写体の移動ベクトルを算出し、
算出した前記移動ベクトルを前記第１の時刻から前記第２の時刻までの間の前記被写体の移動ベクトルとして用いて、前記推定画像を生成する、
請求項８に記載の三次元計測装置。
コンピュータを、
回転可能な撮影装置が撮影した被写体の画像を取得する画像取得部と、
前記撮影装置が第１の位置にあるときの前記被写体の撮影画像である第１の画像と、前記撮影装置が第２の位置にあるときの前記被写体の撮影画像である第２の画像とに基づいて、前記被写体の位置を計測する計測部と、
として機能させる、三次元計測プログラム。