JP2018014572A - 情報処理装置、画像処理システム、プログラム - Google Patents

Abstract

【課題】画像データから対象物の寸法に関する情報が得られる情報処理装置を提供すること。【解決手段】撮像装置１０Ｌ，１０Ｒが撮像した対象物の画像データ及び対象物と前記撮像装置との距離情報を取得する取得手段３２と、前記画像データから前記対象物を検出し、前記距離情報を用いて前記対象物の寸法を算出する寸法算出手段３４と、前記画像データのメタデータに前記対象物の前記寸法に関する情報を設定する画像データ生成手段３６と、を有する情報処理装置３０を提供する。【選択図】図１

Description

本発明は、情報処理装置、画像処理システム及びプログラムに関する。

撮像装置が撮像した画像データに対し様々な画像処理が行われるようになった。例えば、画像から任意の対象物を検出したり、対象物に関する情報を画像処理により取得する画像処理が従来から知られている。

このような画像処理の１つに、画像サイズを変倍する処理がある。元の画像のサイズに関わらず画像サイズを一定の大きさに変換する画像処理が行われると、画像に撮像されている対象物を管理者などが見やすくなる（例えば、特許文献１参照。）。特許文献１には、過度な変倍を抑えるため、対象物までの距離に応じて補正正規化倍率を変更する正規化方法が開示されている。

ところで、対象物の実空間における寸法が品質管理などで必要となる場合が少なくない。例えば、犯罪捜査において、犯人に結びつく現場資料をより多く採取することは、捜査の科学的裏づけを高め、犯罪の早期解決につながる。 犯罪現場から採取できる代表的なものとして、容疑者の足跡の情報がある。

足跡の情報を解析することにより、容疑者の人数、身長、性別、身に着けていた靴の種類やメーカなどの様々な情報が入手できる。 また、足跡の情報を解析することにより、容疑者の犯行時の行動なども推測することができる。

採取した足跡の情報から様々な情報を引き出すには、解析しやすい原寸大の足跡のサンプルを採取することが課題となる。 原寸大の足跡のサンプル採取を実現することで、鑑識捜査により引き出すことができる足跡の情報の精度は向上し、容疑者の特定に繋がる情報を得やすくなる。

本発明は、上記課題に鑑み、画像データから対象物の寸法に関する情報が得られる情報処理装置を提供することを目的とする。

上記か鑑み、本発明は、撮像装置が撮像した対象物の画像データ及び対象物と前記撮像装置との距離情報を取得する取得手段と、前記画像データから前記対象物を検出し、前記距離情報を用いて前記対象物の寸法を算出する寸法算出手段と、前記画像データのメタデータに前記対象物の前記寸法に関する情報を設定する画像データ生成手段と、を有する情報処理装置を提供する。

画像データから対象物の寸法に関する情報が得られる情報処理装置を提供することができる。

本実施形態の画像処理方法の概略を説明する図の一例である。 画像処理システムのシステム構成を説明する図の一例である。 画像処理サーバのハードウェア構成図の一例である。 撮像装置及び撮像装置のハードウェア構成の一例を示す図である。 画像処理サーバの機能を説明する機能ブロック図の一例である。 ステーション装置、撮像装置の機能を説明する機能ブロック図の一例を示す図である。 ステレオカメラ装置の概略斜視図の一例である。 画像処理システムが対象物情報を取得する手順を示すシーケンス図の一例である。 画像処理システムが対象物を撮像する手順を示すシーケンス図の一例である。 撮像装置と撮像装置の視差に基づく距離情報の算出を説明する図の一例である。 透視投影モデルを説明する図の一例である。 対象物の正面への撮像装置の座標の変換を説明する図の一例である。 射影変換された画像データの一例を示す図である。 寸法の算出を説明する図の一例である。 変倍処理を模式的に説明する図の一例である。

以下、本発明を実施するための形態について図面を参照しながら説明する。

＜本実施形態の画像処理方法の概略＞
図１は、本実施形態の画像処理方法の概略を説明する図の一例である。後に詳細に説明されるように、本実施形態の画像処理システム１００は、対象物９が撮像された画像の１ピクセル当たりの寸法が一定値になるように画像データが変倍され、１ピクセル当たりの（単位画素数当たりの）寸法を画像データが有することが特徴の１つとなっている。概略を説明する。
（１）対象物９との距離情報と画像を得るため２つの撮像装置１０Ｌ、１０Ｒ（以下、区別しない場合は撮像装置１０という）を用いてユーザが対象物９をほぼ同時に撮像する。撮像装置１０Ｌが撮像した画像データＬと撮像装置１０Ｒが撮像した画像データＲは画像処理サーバ３０に送信される。
（２）画像処理サーバ３０は画像データＬと画像データＲを用いて対象物９との距離情報を取得する。距離情報が得られると対象物９の寸法を算出できる。
（３）対象物９の画像データが得られているが、この画像データのピクセル数（画素数）は撮像装置１０により決まっている。対象物９が何個のピクセルを占めるかを数えることで、１ピクセル当たりの寸法を算出可能である。本実施形態の画像処理サーバ３０は、画像データに１ピクセル当たりの寸法を含めて後段の処理装置９０に出力する。後段の処理装置９０とは、画像データに対し種々の画像処理を施すシステムである。例えば、足跡が対象物９の場合、足跡を認識し面積を測定するなどの処理を行う。

後段の処理装置９０が画像データを取得して足跡を認識すると、１ピクセル当たりの寸法が分かっているため、足跡が占める領域の画素数をカウントすることで、足跡の面積を容易に算出できる。

このように、本実施形態の画像処理システム１００は、対象物９との距離情報を取得して対象物９の寸法を算出するので、１ピクセル当たりの対象物９の寸法が分かり、後段の画像処理において対象物９の所望の部分の長さ、面積、体積（厚みが既知の場合）などを算出できる。

＜画像処理システム１００のシステム構成について＞
図２（ａ）は、本実施形態の画像処理システム１００のシステム構成を説明する図の一例である。画像処理システム１００は、ネットワークＮを介して通信可能なステレオカメラ装置５０と画像処理サーバ３０とを有する。ステレオカメラ装置５０は撮像装置１０Ｌと撮像装置１０Ｒが所定のステーション装置６０に設置された構成を有している。ユーザＵがステーション装置６０に撮像装置１０Ｌと撮像装置１０Ｒを固定することで、所定の基線長で撮像装置１０Ｌと撮像装置１０Ｒが設置される。なお、撮像装置１０Ｌと撮像装置１０Ｒはカメラとしては同じ性能であるとする。例えば、両者は同じ機種である。

図２（ｂ）に示すように、ステレオカメラ装置５０は、ステーション装置６０に撮像装置１０Ｌ及び撮像装置１０Ｒが搭載された構成を有する。ステーション装置６０は情報処理装置の機能を有し、例えばマイコンやＳｏＣ等が実装されている。また、撮像装置１０Ｌ及び撮像装置１０Ｒを固定するための治具としての機能を有する。ステーション装置６０は有線又は無線で撮像装置１０Ｌ及び撮像装置１０Ｒと通信する。

撮像装置１０Ｌと撮像装置１０Ｒは例えばデジタルスチルカメラであるが、撮像機能を備えた装置であればよい。例えば、携帯電話、スマートフォン、タブレット端末、ノートＰＣ、ＰＤＡ（Personal Digital Assistant）、デジタルビデオカメラなどである。

なお、本実施形態では、後段の処理装置９０が行う画像処理に適するように、比較的、小さい対象物９を近距離で（大きく写るように）撮像したいという要請があり、平行等位ステレオでは対象物９が２つの撮像装置１０の両方の画角に入らない（画角に入れようとすると対象物９が小さく撮像されてしまう）。このため、撮像装置１０Ｌと撮像装置１０Ｒはそれぞれ光軸が交差するように、ステーション装置６０の内側に光軸が傾くように設置される。すなわち、撮像装置１０Ｌが右方向に光軸を傾け、撮像装置１０Ｒは左方向に光軸を傾ける。こうすることで、撮像装置１０Ｌと撮像装置１０Ｒが後述する足跡を近距離で撮像できる。図２（ｂ）は、撮像装置１０Ｌと撮像装置１０Ｒの光軸が平行な例を示すが、光軸が交差するステーション装置６０の例については図７で説明する。

撮像装置１０Ｌと撮像装置１０Ｒはそれぞれ無線ＬＡＮのアクセスポイント８と通信することができる。なお、撮像装置１０Ｌと撮像装置１０Ｒにはアクセスポイント８のＳＳＩＤ、パスワード及び暗号化方式などが設定されている。撮像装置１０Ｌと撮像装置１０Ｒは１回の撮像のたびに画像データＬ、画像データＲをアクセスポイント８を介して画像処理サーバ３０に送信してもよいし、ユーザＵが操作したり、所定数の画像データが蓄積されたら画像処理サーバ３０に送信してもよい。また、撮像装置１０Ｌと撮像装置１０Ｒは脱着可能な記憶媒体（ＵＳＢメモリやＳＤカードなど）に画像データＬ、Ｒを記憶させることもできる。したがって、ユーザＵなどが記憶媒体を画像処理サーバ３０に読み取らせれば、無線ＬＡＮで画像データを画像処理サーバ３０に送信しなくてもよい。

ネットワークＮは、画像処理システム１００が配置されている施設などに構築されているＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークＮが複数のＬＡＮを有する場合、ネットワークＮはＷＡＮやインターネットと呼ばれる。ネットワークＮは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、撮像装置１０Ｌと撮像装置１０Ｒが直接、回線電話網や携帯電話網に接続する場合は、ＬＡＮを介さずにプロバイダネットワークに接続することができる。

画像処理サーバ３０は、画像データＬと画像データＲを用いて画像処理を行う。画像処理サーバ３０は、情報処理装置としての機能を有する装置である。画像処理サーバ３０としてＰＣ（Personal Computer）が使用されてよい。画像処理サーバ３０は、いわゆるクラウドコンピューティングに対応していることが好ましく、画像処理サーバ３０は、１つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はない。この場合、画像処理サーバ３０の構成は、負荷に応じてハード的なリソースが動的に接続・切断されることで構成される。

＜ステレオカメラ装置５０について＞
撮像装置１０Ｌ、１０Ｒがステレオカメラとして動作するように、本実施形態のステーション装置６０は撮像装置１０Ｌ、１０Ｒを制御する撮像制御装置としての機能を有する。まず、ユーザＵはステーション装置６０を保持して対象物９がよく写るように撮像する。例えばステーション装置６０には共通シャッターボタンが配置されている。ユーザＵが共通シャッターボタンを押下するとステーション装置６０がこれを検出して撮像要求を撮像装置１０Ｌと撮像装置１０Ｒに送信する。また、ステーション装置６０は、撮像要求と同時に又は撮像要求の前に画像識別情報を撮像装置１０Ｌと撮像装置１０Ｒに送信している。

撮像装置１０Ｌと撮像装置１０Ｒは撮像要求によりそれぞれ対象物９を撮像する。撮像装置１０Ｌは画像データＬのメタデータに画像識別情報を設定し、撮像装置１０Ｒは画像データＲのメタデータに画像識別情報を設定する。メタデータとは画像データに関連する情報である。後述するように画像データのメタデータを格納する規格としてＥｘｉｆ（Exchangeable image file format）が知られている。撮像装置１０Ｌと撮像装置１０Ｒはそれぞれ画像識別情報がメタデータに設定された画像データＬ，Ｒを画像処理サーバ３０に送信する。

したがって、画像処理サーバ３０は画像識別情報により１対の画像データＬとＲを対応付けることができる。なお、画像識別情報としては、例えはステーション装置６０のＭＡＣアドレスや時刻情報を使用すればよい。このように、ステーション装置６０は、撮像装置１０Ｌと撮像装置１０Ｒを所定の基線長で固定する以外に撮像を制御する撮像制御装置としての機能を有する。

また、さらに、ステーション装置６０は撮像装置１０Ｌに対し左側に配置されている旨を通知し、撮像装置１０Ｒに対し右側に配置されている旨を通知することが好ましい場合がある。これは、撮像装置１０Ｌと撮像装置１０Ｒとして汎用的なデジタルスチルカメラが使用されることでコスト増を抑制できるためである。ユーザＵは、汎用的なデジタルスチルカメラをステーション装置６０の右側と左側に任意に固定できるが、デジタルスチルカメラにとって右と左のどちらに配置されたか不明である。また、画像データが撮像装置１０Ｒと撮像装置１０Ｌのどちらで撮像されたものかわからないと画像処理サーバ３０は、共通の撮像範囲を検出するなどして画像データＬ，Ｒを判別する必要がある。したがって、ユーザＵはステーション装置６０を操作して撮像装置１０Ｌに左側に配置されている旨を通知し、撮像装置１０Ｒに右側に配置されている旨を通知しておく。あるいは、ユーザＵは撮像装置１０Ｌに左側に配置されている旨を設定し、撮像装置１０Ｒに右側に配置されている旨を設定する。撮像装置１０Ｌは画像データＬのメタデータに画像識別情報及び左側に配置されている旨を設定し、撮像装置１０Ｒは画像データＲのメタデータに画像識別情報及び右側に配置されている旨を設定する。

また、ステーション装置６０に撮像制御装置としての機能を搭載するのでなく、撮像装置１０Ｌ又は撮像装置１０Ｒのどちらかが撮像制御装置としての機能を兼ねてもよい。これにより、ステーション装置６０は、撮像装置１０Ｌと撮像装置１０Ｒを所定の基線長で固定する治具であればよいことになる。この場合、撮像装置１０Ｌと撮像装置１０Ｒは、ＵＳＢケーブルなどの有線又は無線ＬＡＮ、Bluetooth（登録商標）などの無線で通信可能に接続されている。

ユーザＵは任意に撮像装置１０Ｌ又は撮像装置１０Ｒを撮像制御装置として選択する。選択された撮像装置１０Ｌ又は撮像装置１０Ｒは撮像制御装置として機能する。説明のため、撮像装置１０Ｌが撮像制御装置として選択されたものとする。この場合、ユーザＵは撮像装置１０Ｌに左側に配置されている旨を設定し、撮像装置１０Ｒに右側に配置されている旨を設定する。

ユーザＵが撮像装置１０Ｌのシャッターボタンを押下すると、撮像装置１０Ｌがシャッターボタンの押下を検知して対象物９を撮像すると共に、撮像要求と画像識別情報を撮像装置１０Ｒに送信する。撮像装置１０Ｒは撮像要求を受信して対象物９を撮像する。画像データＬとＲのメタデータには、画像識別情報と左右のどちらに配置されているかが設定されているので、画像処理サーバ３０は距離情報を算出できる。

＜ハードウェア構成について＞
<<画像処理サーバ３０のハードウェア構成>>
図３は画像処理サーバ３０のハードウェア構成図の一例である。画像処理サーバ３０は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３及び補助記憶装置３０４を備える。さらに、画像処理サーバ３０は、入力部３０５、表示制御部３０６、ネットワークＩ／Ｆ３０７及び外部機器Ｉ／Ｆ３０８を備える。なお、画像処理サーバ３０の各部は、バスＢを介して相互に接続されている。したがって、画像処理サーバ３０は情報処理装置としての機能を有する。

ＣＰＵ３０１は、補助記憶装置３０４に格納された各種のプログラム３０４ｐ、ＯＳ（Operating System）等を実行する。ＲＯＭ３０２は不揮発性メモリである。ＲＯＭ３０２は、システムローダーやデータ等を格納する。

ＲＡＭ３０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の主記憶装置である。ＣＰＵ３０１によって実行される際に補助記憶装置３０４に格納されたプログラム３０４ｐがＲＡＭ３０３に展開され、ＲＡＭ３０３はＣＰＵ３０１の作業領域となる。

補助記憶装置３０４は、ＣＰＵ３０１により実行されるプログラム３０４ｐ及びプログラム３０４ｐがＣＰＵ３０１により実行される際に利用される各種データベースを記憶する。補助記憶装置３０４は例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの不揮発性メモリである。なお、各種データベースについては後述する。

入力部３０５は、オペレータが画像処理サーバ３０に各種指示を入力するためのインタフェースである。例えば、キーボード、マウス、タッチパネル、音声入力装置などである。

表示制御部３０６は、ＣＰＵ３０１からの要求により、画像処理サーバ３０が有する各種情報をカーソル、メニュー、ウィンドウ、文字、又は画像などの形態でディスプレイ３１０に表示する。表示制御部３０６は、例えばグラフィックチップやディスプレイＩ／Ｆである。

ネットワークＩ／Ｆ３０７は、ネットワークＮに接続し撮像装置１０と通信を行う通信装置である。ネットワークＩ／Ｆ３０７は例えばイーサネット（登録商標）カードであるがこれに限られない。

外部機器Ｉ／Ｆ３０８は、ＵＳＢケーブル、又は、ＵＳＢメモリ等の各種の記憶媒体３２０などを接続するためのインタフェースである。

<<撮像装置１０Ｌ、撮像装置１０Ｒカメラのハードウェア構成>>
図４は、撮像装置１０Ｌ及び撮像装置１０Ｒのハードウェア構成の一例を示す図である。図４の撮像装置１０Ｌ及び撮像装置１０Ｒは、ＣＰＵ２１と、ＲＡＭ２２と、補助記憶装置２３と、入力装置２４と、表示装置２５と、通信装置２６と、撮像ユニット２７と、バス２８と、を備える。

ＣＰＵ２１は、補助記憶装置に記憶されたプログラムを実行することにより、他の構成を制御すると共に、各種の演算を行う。ＲＡＭ２２は、ＣＰＵ２１に作業領域を提供する。ＲＡＭ２２は、ＤＲＡＭ、ＳＲＡＭ、ＭＲＡＭなどである。

補助記憶装置２３は、ＣＰＵ２１が実行するプログラムや各種のデータを記憶する。補助記憶装置２３は、ＨＤＤ、光ディスクドライブ、フラッシュメモリなどである。

入力装置２４は、ユーザＵの操作に応じた命令や情報を撮像装置１０に入力する。入力装置２４は、マウス、キーボード、タッチパネルなどである。

表示装置２５は、画像や映像を表示する。表示装置２５は、液晶ディスプレイ、ブラウン管ディスプレイ、タッチパネルなどである。

通信装置２６は、外部機器と無線で通信する。通信装置２６は、無線ＬＡＮモジュールなどである。撮像装置１０は、通信装置２６を介して、ネットワークＮに接続する。

撮像ユニット２７は、被写体を撮像し、画像データを生成する。撮像ユニット２７は、レンズを含む光学系、フラッシュ、ＣＣＤ（Charge Coupled Device）などの撮像素子、ＡＤ変換器などのアナログフロントエンド、画像処理回路などを備える。

バス２８は、ＣＰＵ２１と、ＲＡＭ２２と、補助記憶装置２３と、入力装置２４と、表示装置２５と、通信装置２６と、撮像ユニット２７と、を接続する。

なお、ステーション装置６０のハードウェア構成は撮像ユニット２７を除いて撮像装置１０Ｌ又は撮像装置１０Ｒと同様でよい。また、スキャナ７のハードウェア構成は撮像装置１０Ｌ又は撮像装置１０Ｒと同様でよい。

＜機能について＞
<<画像処理サーバ３０の機能>>
図５は、画像処理サーバ３０の機能を説明する機能ブロック図の一例である。画像処理サーバ３０は、画像取得部３１、距離情報算出部３２、射影変換部３３、寸法算出部３４、画像データ変倍部３５及び画像データファイル生成部３６を有する。これら各機能部は、図３に示された各構成要素のいずれかが、ＲＯＭ３０２からＲＡＭ３０３に展開されたプログラム３０４ｐに従ったＣＰＵ３０１からの命令により動作することで実現される機能又は手段である。

画像取得部３１は、図３のＣＰＵ３０１がプログラム３０４ｐを実行してネットワークＩ／Ｆ３０７又は外部機器Ｉ／Ｆ３０８を制御すること等で実現される。画像取得部３１は、ステレオカメラ装置５０から画像データＬと画像データＲを取得する。

距離情報算出部３２は、図３のＣＰＵ３０１がプログラム３０４ｐを実行すること等で実現され、撮像装置１０Ｌと撮像装置１０Ｒ（画像データＬと画像データＲ）の視差を利用して対象物９との距離情報を取得する。すなわち、画像データＬと画像データＲでブロックマッチングを行い視差を検出し、この視差を用いて画素毎に距離情報を算出する。なお、詳細は後述する。

射影変換部３３は、図３のＣＰＵ３０１がプログラム３０４ｐを実行すること等で実現され、画像データＬ又は画像データＲの少なくとも一方に射影変換を行う。これは、ユーザＵが対象物９を正面から撮像することが困難な場合に、対象物９の歪みを低減するためである。歪みが低減されることで、後段の処理装置９０が画像処理しやすくなる。後段の処理装置９０は１つの画像データがあれば画像処理できるので、画像データＬ又は画像データＲのうちいずれか一方があればよい。以下では、特に断らない限り画像データＬが射影変換されるものとして説明する。ただし、画像データＬ及び画像データＲの両方が射影変換され、両方が後段の処理装置９０に送信されてよい。

寸法算出部３４は、図３のＣＰＵ３０１がプログラム３０４ｐを実行すること等で実現され、距離情報算出部３２が算出した距離情報を使用して対象物９の寸法を算出する。

画像データ変倍部３５は、対象物９の寸法と画像データＬの画素数を用いて、１ピクセル当たりの寸法が一定値になるように、画像データＬを変倍する。画像データ変倍部３５は１ピクセル当たりの寸法を画像データファイル生成部３６に通知する。

画像データファイル生成部３６は、図３のＣＰＵ３０１がプログラム３０４ｐを実行すること等で実現され、射影変換された画像データＬのメタデータに１ピクセル当たりの寸法を設定して、画像データファイルを作成する。画像データファイルは画像データ記憶部３９に記憶される。

画像データ記憶部３９は、図３のＲＯＭ３０２、ＲＡＭ３０３又は補助記憶装置３０４の少なくとも１つに構築される記憶手段である。具体的にはフォルダやディレクトリなどと呼ばれる。

<<ステーション装置６０、撮像装置１０の機能>>
図６は、ステーション装置６０、撮像装置１０の機能を説明する機能ブロック図の一例を示す図である。撮像装置１０Ｌと１０Ｒの機能は同じであるとする。ステーション装置６０は、接続部１０１と、識別子生成部１０２と、識別子送信部１０３と、撮像要求送信部１０４と、を備える。これらの機能構成は、ＣＰＵ２１がプログラムを実行することにより実現される。

接続部１０１は、インフラストラクチャモードでアクセスポイント８に接続する。あるいは、ダイレクトＷｉＦｉで撮像装置１０に接続してもよい。

識別子生成部１０２は、時刻及び自装置のＭＡＣアドレスの少なくとも一方に基づいて、撮像装置１０Ｌ、撮像装置１０Ｒの撮像タイミングを識別するための画像識別情報を生成する。この画像識別情報は、撮像装置１０Ｌ、撮像装置１０Ｒの各撮像タイミングに対応する。画像識別情報は、ある撮像タイミングと、他の撮像タイミングと、を識別可能であればよく、ある撮像タイミングが何回目の撮像であるかまでは識別できなくてもよい。識別子生成部１０２は、撮像装置１０Ｌ、撮像装置１０Ｒに撮像を実行させるたびに、異なる画像識別情報を生成する。

識別子送信部１０３は、識別子生成部１０２が生成した画像識別情報を、撮像装置１０Ｌと撮像装置１０Ｒに送信する。すなわち、撮像装置１０Ｌと撮像装置１０Ｒには、同一の撮像タイミングに、同一の画像識別情報が送信される。

撮像要求送信部１０４は、ネットワークＮを介して、撮像装置１０Ｌと撮像装置１０Ｒに撮像要求を送信する。撮像要求送信部１０４は、共通シャッターボタンの押下を検出すると撮像要求を送信する。撮像要求は、撮像装置１０Ｌ、撮像装置１０Ｒに撮像を実行させるパケットである。撮像要求は、撮像装置１０Ｌと撮像装置１０Ｒが撮像する際の撮像方法を指定可能であってもよい。

また、撮像要求は、画像識別情報の通知と同一のパケットであってもよい。すなわち、ステーション装置６０は、撮像装置１０Ｌ、撮像装置１０Ｒに画像識別情報を通知すると共に、撮像装置１０Ｌと撮像装置１０Ｒに撮像を実行させるパケットを、撮像装置１０Ｌと撮像装置１０Ｒに送信してもよい。

続いて、撮像装置１０について説明する。撮像装置１０Ｌと撮像装置１０Ｒは、ステーション装置６０により撮像が制御される、撮像機能を備えたコンピュータである。

撮像装置１０は、接続部２０１と、識別子受信部２０２と、設定情報記憶部２０３と、撮像要求受信部２０４と、撮像部２０５と、画像ファイル生成部２０６と、画像ファイル記憶部２０７と、画像ファイル送信部２０８、を備える。これらの機能構成は、ＣＰＵ２１がプログラムを実行することにより実現される。

接続部２０１は、インフラストラクチャモードでアクセスポイント８に接続する。あるいは、ダイレクトＷｉＦｉでステーション装置６０に接続してもよい。

識別子受信部２０２は、ステーション装置６０が送信した画像識別情報を受信する。設定情報記憶部２０３は、ＲＡＭ２２上に設けられ、識別子受信部２０２により格納された画像識別情報を記憶する。

撮像要求受信部２０４は、ステーション装置６０が送信した自装置宛ての撮像要求を受信する。

撮像部２０５は、撮像要求受信部２０４から撮像要求の受信を通知されると、通知された撮像要求の内容（撮像方法など）にしたがって、撮像を実行する。撮像部２０５は、ＣＰＵ２１が撮像ユニット２７を制御することにより実現される。撮像部２０５は、撮像により生成された画像データを、画像ファイル生成部２０６に渡す。

画像ファイル生成部２０６は、撮像部２０５から受け取った画像データと、設定情報記憶部２０３に記憶された画像識別情報とを含む画像ファイルを生成する。また、後述するように、画像ファイル生成部２０６は対象物９のバーコードをデコードして対象物に関する情報を取り出す。画像ファイル生成部２０６は、例えば、Ｅｘｉｆに従った画像ファイルを生成する場合、画像データにメタデータを追加することにより画像ファイルを生成する。メタデータには、画像識別情報が記載される。また、メタデータには、撮像装置１０Ｌ又は撮像装置１０Ｒの機種、レンズ名、焦点距離、絞り、シャッタースピード、ＩＳＯ感度、露出モード、撮像日時などの情報が記載されている。画像ファイル生成部２０６は、生成した画像ファイルを画像ファイル記憶部２０７に格納する。

画像ファイル記憶部２０７は、補助記憶装置２３上に設けられ、画像ファイル生成部２０６により格納された画像ファイルを記憶する。

画像ファイル送信部２０８は、画像ファイル記憶部２０７に記憶された画像データファイルを画像処理サーバ３０に送信する。画像処理サーバ３０のＩＰアドレスは撮像装置１０Ｌ及び撮像装置１０Ｒに設定されている。

図７はステレオカメラ装置５０の概略斜視図の一例である。図７のステレオカメラ装置５０は対象物に接近しても２つの撮像装置１０Ｌ，１０Ｒがそれぞれ対象物を撮像できるように、光軸が内側に傾くように設置される。図７（ａ）はステレオカメラ装置５０を正面方向から見た図である。ステレオカメラ装置５０は２つの撮像装置の装着部４０５、ＬＥＤライト４０１、及び、取っ手部４０２を有する。装着部４０５には撮像装置１０Ｌと撮像装置１０Ｒが紙面の奥側から手前側に挿入するようにして収容される。ＬＥＤライト４０１は装着部４０５のレンズ部４０４を開閉するように端部が軸支され、揺動可能に取り付けされている。取っ手部４０２はユーザがステレオカメラ装置５０を把持するための把持部として機能する。取っ手部４０２には共通シャッターボタン４０３が配置されている。

図７（ｂ）はＬＥＤライト４０１が開口部４０４を閉塞した状態のステレオカメラ装置５０を正面方向から見た図である。２つのＬＥＤ４０１が左右から開口部４０４を閉塞すると、レンズ部４０４がそれぞれ２つのＬＥＤライト４０１と重なる。そして、この２つのレンズ部４０４の共通の視野範囲が、距離情報を取得可能な領域となる。つまり、撮像装置１０Ｌと撮像装置１０Ｒの両方で撮像できる領域である。ユーザは、２つのレンズ部４０４の両方に足跡が含まれるように撮像することができる。

図７（ｃ）はステレオカメラ装置５０の背面から見た図である。なおＬＥＤライト４０１は開放状態である。ステレオカメラ装置５０の背面には撮像装置１０Ｌの液晶ディスプレイと撮像装置１０Ｒの液晶ディスプレイをユーザが見ることができる窓部４０６が設けられている。なお、窓部４０６には透明なガラスやアクリル板が配置されているが、タッチパネルを操作できるように窓部４０６は単なる孔部となっていてもよい。ただし、使用される環境を考慮すると防水性や防塵性が保証されることが好ましい。

このようなステーション装置６０が用意されることで、ユーザは対象物９の意図した領域の距離情報を得られるように対象物９を撮像できる。

＜動作手順＞
図８は、画像処理システム１００が対象物情報を取得する手順を示すシーケンス図の一例である。図８では撮像する手順を説明する。
S1：ユーザＵはステレオカメラ装置５０を保持してアングルを決定し、ステーション装置６０の共通シャッターボタンを押下する。
S2、S3：これによりステーション装置６０の撮像要求送信部１０４は撮像要求を撮像装置１０Ｌと撮像装置１０Ｒにそれぞれ送信し、識別子送信部１０３は画像識別情報を撮像装置１０Ｌと撮像装置１０Ｒにそれぞれ送信する。

S4、S5：撮像装置１０Ｌの撮像要求受信部２０４は撮像要求を受信し、撮像部２０５が画像を撮像する。また、撮像装置１０Ｌの識別子受信部２０２は画像識別情報を受信する。同様に、撮像装置１０Ｒの撮像要求受信部２０４は撮像要求を受信し、撮像部２０５が画像を撮像する。また、撮像装置１０Ｒの識別子受信部２０２は画像識別情報を受信する。

S6,S7：撮像装置１０Ｌと撮像装置１０Ｒの画像ファイル生成部２０６は、画像識別情報を受信して対象物９を撮像した場合、対象物９の画像データのメタデータに対象物情報を設定する。

なお、撮像装置１０Ｌ又は撮像装置１０Ｒのシャッターボタンをユーザが押下してもよい。この場合、シャッターボタンを押下された撮像装置１０が撮像すると共に、シャッターボタンを押下されてない撮像装置１０に撮像要求を送信する。シャッターボタンを押下されてない撮像装置１０は撮像要求に応じて撮像する。したがって、ステーション装置６０は単なる治具でよくなる。

<<対象物の撮像>>
続いて、対象物の撮像を説明する。図９は、画像処理システム１００が対象物９を撮像する手順を示すシーケンス図の一例である。

S8,S9：次に、撮像装置１０Ｌの画像ファイル送信部２０８は、画像データファイルを画像処理サーバ３０に送信し、撮像装置１０Ｒの画像ファイル送信部２０８は画像データファイルを画像処理サーバ３０に送信する。

S10：次に、画像処理サーバ３０の画像取得部３１は撮像装置１０Ｌ、１０Ｒから画像データファイルを受信し、同じ画像識別情報を有する画像データＬと画像データＲのペアを決定する。そして、距離情報算出部３２は後述するように距離情報を算出する。

S11：次に、射影変換部３３は、画像データＬを射影変換する。

S12：次に、寸法算出部３４は、距離情報を用いて対象物９の寸法を算出する。

S13：次に、画像データ変倍部３５は射影変換された画像データＬを、１ピクセル当たりの寸法が一定値になるように変倍する。

S14：画像データファイル生成部３６は、メタデータに1ピクセル当たりの寸法を設定する。

S15：画像データファイル生成部３６は、最も最近の画像データの画像識別情報が含む日時よりも前で、１つ前の画像データの画像識別情報が含む日時よりも後の日時情報が対応付けられた対象物情報を画像データ記憶部３９から取得する。この対象物情報が最も最近の画像データとして撮像された足跡の対象物情報なので、画像データファイル生成部３６は画像データのメタデータに対象物情報を設定する。これにより、画像データに対象物情報を設定できる。

以下、ステップＳ１０〜Ｓ１３を詳細に説明する。

＜Ｓ１０ 距離情報の算出＞
図１０を用いて、距離情報の算出方法について説明する。図１０は、撮像装置１０Ｌと撮像装置１０Ｒの視差に基づく距離情報の算出を説明する図の一例である。図１０では、対象物９と撮像装置１０Ｌ及び撮像装置１０Ｒのレンズ６０１までの距離をＺ、レンズ間の基線長をＢ、撮像素子６０２の中心から像点までの距離をそれぞれｘ１、ｘ２とする。また、焦点距離はｆである。

また、撮像装置１０Ｌの光軸６０３と基線がなす角度をθ、レンズ６０１と対象物９を結ぶ直線とレンズ間の基線がなす角をα、β（本実施形態ではα＝βとする）とする。また、φ１、φ２は、基線に対する撮像素子６０２の傾きである。本実施形態では、φ１＝φ２であるものとする（例えば１５度）。

図１０からＺは以下のように表される。

すなわち、式（１）にθ、φ１及びφ２から求めたα、βを代入することで、距離Ｚを求めることができる。距離Ｚ又は距離Ｚと撮像素子６０２の距離を考慮した値が距離情報である。

＜Ｓ１１ 射影変換＞
まず、図１１を用いて透視投影モデルについて説明する。図１１は、透視投影モデルを説明する図の一例である。透視投影モデルでは、三次元空間のある点Ｇ（Ｘ，Ｙ、Ｚ）の光はカメラ中心Ｏへ直線的に到達する。透視投影モデル、この直線が二次元のカメラ撮像平面５１０（ＣＣＤなどの撮像素子）と交わる点ｇに点Ｇの光が投影されていると見なすモデルである。いわゆるピンホールカメラの撮像を表すモデルでありピンホールカメラモデルともいう。画像データ上の点ｇの座標（ｕ，ｖ）は撮像装置１０の焦点距離ｆにより定まり、以下のように表される。
ｕ＝ｆＸ／Ｚ
ｖ＝ｆＹ／Ｚ
しかしながら、実際には、カメラの内部パラメータが加わり、画像データ上の点ｇと三次元点Ｇは以下のように表すことができる。

式（２）のｋｘはｘ方向のレンズの歪みを、ｋｙはｙ方向のレンズの歪みを表し、Ｏｘ、Ｏｙは画像データの中心座標を示す。ｋｘ、ｋｙ、Ｏｘ、Ｏｙが分かれば、任意の対象物が撮像されると三次元点Ｇを求められる。ｋｘ、ｋｙ、Ｏｘ、Ｏｙを個別に求めてもよいが、一般には、校正用の被写体（例えば正方形の白黒が交互に配置された格子状のチャート）を配置して撮像装置１０で撮像する。校正用の被写体の特徴点（正方形の頂点）の三次元座標が分かっている（少なくとも測定可能）。また、画像データには校正用の被写体の特徴点が撮像されている。

式（２）の行列Ｐは３×４なので要素数は１２である。この要素数を変数とすると変数の数が１２なので、１２個の方程式があれば要素を算出できる。１つの対応点でｕとｖに関する２つの方程式が得られるので、キャリブレーション装置（校正者などの人が行ってもよい）が６個の対応点を画像データから抽出し、その三次元座標を使用して行列Ｐの各要素を求める。本実施形態では、このようなキャリブレーションにより行列Ｐが既知であり、画像データ上の点Ｇ（ｕ、ｖ）が三次元点ｇ（Ｘ，Ｙ，Ｚ）と対応付けられるものとする。

次に、図１２を用いて、射影変換について説明する。図１２は、対象物９の正面への撮像装置１０の座標の変換を説明する図の一例である。まず、図１２（ａ）に示すように、撮像装置１０が三次元の原点に配置され、撮像装置１０の光軸がＺ軸と平行になるように配置されているものとする。ここで、対象物９に平面な部分があるとすると、任意の３点ａ〜ｃを取り出すことで、平面を特定できる。３点ａ〜ｃが平面上にあるとは限らないので、別の３点を取りだして次述する法線ベクトルｎのなす角が閾値以内であれば、射影変換部３３は任意の３点ａ〜ｃが平面にあると判断する。

平面の方程式は以下で表される。
ａ₀Ｘ＋ｂ₀Ｙ＋ｃ₀Ｚ＋ｄ＝０
この時、ａ₀、ｂ₀、ｃ₀は平面の法線ベクトルｎを表す。

したがって、対象物９を正面から撮像するには、撮像装置１０Ｌを法線ベクトルｎ上に移動すればよい。また、光軸の向きは法線ベクトルｎの逆方向である。また、平面からの距離Ｔは、例えば数１０〔ｃｍ〕等のように予め定められているものとする。

以上から、射影変換部３３はＺ軸方向を向いている光軸を法線ベクトルｎの逆方向に変更する回転行列Ｒを算出し、撮像装置１０を回転させる。撮像装置１０Ｌの方向余弦は(0,0,1)なので、法線ベクトルの成分ａ₀、ｂ₀、ｃ₀とのなす角がＸ，Ｙ，Ｚ軸を中心とする回転の回転角度になる。また、平面の重心から法線ベクトルｎの方向に距離Ｔだけ離れた位置に撮像装置１０を平行移動する。平行移動行列をｔで表す。なお、平面の重心は、対象物が中央に写っているという前提で画像データの中心などでよい。したがって、射影変換部３３は撮像装置１０の座標をＲ・ｔの行例で変換することで、対象物９の正面に移動できる。

一方、撮像装置１０Ｌの座標をＲ・ｔで座標変換することは、対象物９の座標をＲ・ｔとは逆に変換することと同じである。図１２（ｂ）は対象物９の座標の変換を模式的に示す。射影変換部３３は、対象物９の平面の三次元点にＲ^-1・ｔ^-1を乗じることで、対象物９の座標を変換する。これにより、原点の撮像装置１０に正対した対象物９の三次元の座標が得られる。

図１３は、射影変換された画像データＬの一例を示す。図１３（ａ）が射影変換される前の画像データＬを示し、図１３（ｂ）は射影変換後の画像データＬを示す。このように、ステレオカメラ装置５０で正面から対象物９を撮像することが困難でも、射影変換により正面から撮像した画像データに変換することができる。こうすることで、後段の処理装置９０は対象物９の格付けを正確に行いやすくなる。

なお、ユーザが足跡５０１の正面から断面に対し傾きがない状態で撮像するという前提では、いわゆる台形歪みが生じるので、断面の傾きを用いて射影変換できる。

＜Ｓ１２ 寸法の算出＞
続いて、図１４を用いて寸法の算出を説明する。まず、図１４（ａ）に示すように対象物９を特定する。図１４（ａ）はｕｖ平面の対象物９を模式的に示す図である。画像データの各画素は距離情報を有している。対象物９は最も手前に撮像されているため距離情報が他の領域よりも小さい。これを利用して、寸法算出部３４はｕ方向とｖ方向で距離情報の傾きを算出する。図１４のようにｕ方向に距離情報の傾きを算出した場合、ｐ１で距離情報の傾きが負から一定になり、ｐ２で距離情報の傾きが一定から正になる。寸法算出部３４は、距離情報の傾きと閾値を比較して、点ｐ１，ｐ２を検出する。

ｖ座標を替えながら同様の処理を行うと、複数のｐ１，ｐ２が得られる。寸法算出部３４はｕ座標が最も小さいｐ１と最も大きいｐ２の差をｕ方向の対象物９のピクセル数に決定する。ｖ方向にも同じように処理して、寸法算出部３４はｖ座標が最も小さいｑ１と最も大きいｑ２の差をｖ方向の対象物９のピクセル数に決定する。

したがって、水平方向のピクセル数はｐ２−ｐ１で求まり、垂直方向のピクセル数はｑ２−ｑ１で求まる。

次に、画像データ上の点ｐ１、ｐ２、ｑ１、ｑ２に対応する三次元座標Ｐ１、Ｐ２、Ｑ１、Ｑ２を求める。式（２）により点ｐ１、ｐ２、ｑ１、ｑ２と三次元座標Ｐ１、Ｐ２、Ｑ１、Ｑ２の関係が分かっている。
ｕ＝Ｐ_１１・Ｘ＋Ｐ_１２・Ｙ＋Ｐ_１３・Ｚ＋Ｐ１４
ｖ＝Ｐ_２１・Ｘ＋Ｐ_２２・Ｙ＋Ｐ_２３・Ｚ＋Ｐ２４
ここで、距離情報によりＺが分かっているので、ｕ、ｖが決まれば連立方程式を解いて、Ｘ，Ｙを求めることができる。

また、水平方向の対象物の寸法はＰ２−Ｐ１で求まり、垂直方向の対象物の寸法はＱ２−Ｑ１で求まる。

以上から、１ピクセル当たりの対象物９の寸法〔ｍｍ／ピクセル〕Ｓは以下のように算出できる。
Ｓ＝（Ｐ２−Ｐ１）／（ｐ２−ｐ１） 又は、（Ｑ２−Ｑ１）／（ｑ２−ｑ１）
画像データファイル生成部３６はこの値をメタデータに設定するか、又は、後述するＳ_０をメタデータに設定する。

＜Ｓ１３ 変倍処理＞
本実施形態では、射影変換時の座標変換で対象物９の正面からの距離Ｔが一定になるので、対象物９が変わっても（画像データが変わっても）、１ピクセル当たりの対象物９の寸法はほぼ同じになる。しかしながら、完全に一致することはまれなので、１ピクセル当たりの対象物９の寸法を一定値に揃えることが好ましい。これにより、後段の処理装置９０はさらにロース芯の面積の算出が容易になる。

例えば、１ピクセル当たりの対象物９の一定値の寸法をＳ_０〔ｍｍ／ピクセル〕とする。Ｓ_０は１ピクセル当たりの対象物９の基準寸法である。
Ｓ_０とＳの比により、画像データ変倍部３５は変倍率を決定できる。

図１５は、変倍処理を模式的に説明する図の一例である。図１５（ａ）は、変倍前の画像データを示す。画像データ変倍部３５は、図１４（ｂ）の様にして特定された対象物９の外接矩形よりもやや大きいトリミング枠５２０で画像データをトリミングする。

そして、トリミングされた範囲内の画像データを縮小又は拡大する。図１５（ｂ）は拡大された画像データを示し、図１５（ｃ）は縮小された画像データを示す。トリミング枠よりも外側は背景の画素（例えば、黒や白の一色）である。なお、トリミングすることなく画像データの全体を拡大・縮小してもよい。

画像データファイル生成部３６は、１ピクセル当たりの対象物９の一定の寸法Ｓ_０をメタデータに設定する。

このように変倍することで、１ピクセル当たりの対象物９の寸法を一定のＳ_０に揃えることができる。したがって、後段の処理装置９０が同じ条件で例えば印刷した場合、対象物９の実際の大きさが反映された印刷物が得られる。

また、後段の処理装置９０がロース芯を認識できれば（ロース芯の画素領域を特定できれば）、画素数×１画素の面積（Ｓ_０×Ｓ_０）がロース芯の面積値（実物のロース芯の面積）となる。

なお、Ｓ_０はユーザＵが設定する値でもよい。また、出力される画像データのサイズ〔ｍｍ〕に応じて決定してもよい。例えば、出力される画像データのサイズが６００×４５０、画像データの画素数が４０００×３０００〔ピクセル〕である場合、Ｓ_０は以下のように決定される。
Ｓ_０＝６００／４０００＝４５０／３０００＝０．１５〔ピクセル／ｍｍ〕
このように、出力される画像データのサイズと画素数に応じて画像データ変倍部３５はＳ_０を決定できる。

＜まとめ＞
以上説明したように、本実施形態の画像処理システム１００は、対象物９との距離情報を取得して対象物の寸法を算出するので、１ピクセル当たりの対象物９の寸法が分かり、後段の画像処理において対象物９の所望の部分の面積を算出できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、距離情報はステレオカメラで得る他、レーザーレーダのような測距センサを用いてもよい。また、画素の一部でＴＯＦ（Time Of Flight）を測定する撮像装置を用いてもよい。

また、対象物の寸法であるＰ２−Ｐ１、Ｑ２−Ｑ１の値を画像処理サーバ３０がメタデータとして設定されてもよい。

また、本実施形態では、足跡の撮影を説明したが、対象物の寸法が何らかの評価の判断材料となる画像処理に適用できる。 例えば、一般道路や高速道路において分岐点の手前で行先案内板が道路の上方に設置されているが、色落ち等のために行先案内板もメンテナンスされている。このメンテナンスに際しては、取り外しに必要な設備や搬送に必要な車両を業者が決定するために行先案内板の大きさを知る必要がある。本実施形態の画像処理システム１００は画像データにピクセル当たりの寸法が含まれているので、業者などが画像データから行先案内板の大きさを容易に判断できる。

また、図５，６などの構成例は、撮像装置１０，画像処理サーバ３０，ステレオカメラ装置５０及びスキャナ７の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、撮像装置１０，画像処理サーバ３０，ステレオカメラ装置５０及びスキャナ７の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。

なお、画像取得部３１は取得手段の一例であり、寸法算出部３４は寸法算出手段の一例であり、画像データファイル生成部３６は画像データ生成手段の一例であり、射影変換部３３は射影変換手段の一例である。画像データ変倍部３５は変倍手段の一例であり、

７ スキャナ
９ 対象物
１０ 撮像装置
３０ 画像処理サーバ
３１ 画像取得部
３２ 距離情報算出部
３３ 射影変換部
３４ 寸法算出部
３５ 画像データ変倍部
３６ 画像データファイル生成部
１００ 画像処理システム

特開２００４−１４０６９３号公報

Claims (8)

1. 撮像装置が撮像した対象物の画像データ及び対象物と前記撮像装置との距離情報を取得する取得手段と、
   前記画像データから前記対象物を検出し、前記距離情報を用いて前記対象物の寸法を算出する寸法算出手段と、
   前記画像データのメタデータに前記対象物の前記寸法に関する情報を設定する画像データ生成手段と、を有する情報処理装置。
2. 前記画像データ生成手段は、前記画像データにおいて前記対象物が占める画素数及び前記寸法から求められた単位画素数当たりの寸法を前記画像データのメタデータに設定する請求項１に記載の情報処理装置。
3. 前記画像データ生成手段が求めた単位画素数当たりの寸法と、予め定められた基準寸法との比に基づき、前記画像データを変倍する変倍手段を有する請求項２に記載の情報処理装置。
4. 前記画像データ生成手段は、前記対象物の寸法を前記画像データのメタデータに設定する請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記対象物に正対した方向から撮像した前記画像データを得る射影変換を前記画像データに施す射影変換手段を有する請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記対象物は足跡である請求項１〜５のいずれか１項に記載の情報処理装置。
7. 光軸が交わるように２つの撮像装置を収容する装置と、前記撮像装置と通信可能な情報処理装置とを有する画像処理システムであって、
   前記装置は、シャッターボタンが押下された場合に撮像要求を前記２つの撮像装置に送信し、
   前記２つの撮像装置は前記撮像要求に応じてそれぞれ対象物を撮像し、
   前記情報処理装置は、
   前記２つの撮像装置が撮像した対象物の画像データ及び対象物と前記撮像装置との距離情報を取得する取得手段と、
   前記画像データから前記対象物を検出し、前記距離情報を用いて前記対象物の寸法を算出する寸法算出手段と、
   前記画像データのメタデータに前記対象物の前記寸法に関する情報を設定する画像データ生成手段と、を有する画像処理システム。
8. 情報処理装置を、
   撮像装置が撮像した対象物の画像データ及び対象物と前記撮像装置との距離情報を取得する取得手段と、
   前記画像データから前記対象物を検出し、前記距離情報を用いて前記対象物の寸法を算出する寸法算出手段と、
   前記画像データのメタデータに前記対象物の前記寸法に関する情報を設定する画像データ生成手段、として機能させるためのプログラム。