JP2021047684A - 画像処理装置 - Google Patents

Abstract

【課題】カメラ画像と、デプス画像との対応付けを容易に行うことができる画像処理装置を提供する。【解決手段】画像処理装置１０は、対象物のカメラ画像データ、及び、対象物のデプス画像データの入力を受け付ける画像入力部１１と、デプス画像データに対して階調補正処理を施した補正デプス画像データを生成する画像処理部１２と、カメラ画像データ及び補正デプス画像データを出力する画像出力部１３と、カメラ画像データに基づく画像であるカメラ画像における位置と、補正デプス画像データに基づく画像である補正デプス画像における位置との対応付けに関する対応情報の入力を受け付ける情報入力部１４と、カメラ画像データ、デプス画像データ、及び対応情報に基づいて、カメラ画像に撮像されている物体の距離情報を検出し、物体と距離情報とを関連付ける検出部１５と、を備える。【選択図】図１

Description

本開示は、画像処理装置に関する。

従来、撮像素子を用いて撮像したカメラ画像から被写体を抽出するために、被写体の距離画像（つまり、デプス画像）を用いる技術が知られている（例えば、特許文献１など参照）。

特許文献１に記載され被写体識別装置においては、デプス画像から面を検出し、当該面に対応するカメラ画像の画像領域を切り出すことで、カメラ画像に撮像されている被写体の領域を特定しようとしている。

特開２０１４−１３４８５６号公報

本開示は、カメラ画像と、デプス画像との対応付けを容易に行うことができる画像処理装置を提供する。

本開示の一態様に係る画像処理装置は、対象物のカメラ画像データ、及び、前記対象物のデプス画像データの入力を受け付ける画像入力部と、前記デプス画像データに対して階調補正処理を施した補正デプス画像データを生成する画像処理部と、前記カメラ画像データ及び前記補正デプス画像データを出力する画像出力部と、前記カメラ画像データに基づく画像であるカメラ画像における位置と、前記補正デプス画像データに基づく画像である補正デプス画像における位置との対応付けに関する対応情報の入力を受け付ける情報入力部と、前記カメラ画像データ、前記デプス画像データ、及び前記対応情報に基づいて、前記カメラ画像に撮像されている物体の距離情報を検出し、前記物体と前記距離情報とを関連付ける検出部と、を備える。

本開示に係る画像処理装置によれば、カメラ画像と、デプス画像との対応付けを容易に行うことができる。

図１は、実施の形態に係る画像処理装置の機能構成を示すブロック図である。 図２は、実施の形態に係る画像処理装置の機能をソフトウェアにより実現するコンピュータのハードウェア構成の一例を示す図である。 図３は、実施の形態に係る画像処理装置のキャリブレーションの流れを示すフローチャートである。 図４は、実施の形態に係るカメラ画像の一例を示す概略図である。 図５は、実施の形態に係るデプス画像の一例を示す概略図である。 図６は、図５に示されるデプス画像に階調補正処理を施すことによって得られる補正デプス画像の一例を示す図である。 図７は、実施の形態に係る階調補正処理の第１の例を示すグラフである。 図８は、実施の形態に係る階調補正処理の第２の例を示すグラフである。 図９は、実施の形態に係る階調補正処理の第３の例を示すグラフである。 図１０は、実施の形態に係るデプス画像の単位面積内の画素を示す模式図である。 図１１は、実施の形態に係る画像処理装置が生成するリサイズ後のデプス画像の単位面積内の画素を示す図である。 図１２は、実施の形態に係る画像処理装置を用いた複数被写体追尾の流れを示すフローチャートである。 図１３は、実施の形態に係る画像処理装置を用いた応用例で用いるカメラ画像の第１の例を示す図である。 図１４は、実施の形態に係る画像処理装置を用いた応用例で用いるカメラ画像の第２の例を示す図である。 図１５は、実施の形態に係る画像処理装置を用いた応用例で用いるカメラ画像の第３の例を示す図である。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

（実施の形態）
実施の形態に係る画像処理装置について説明する。本実施の形態に係る画像処理装置は、撮像装置によって取得された対象物のカメラ画像データと、デプス画像取得装置によって取得された当該対象物のデプス画像データとを表示装置に出力する。これに伴い、表示装置はカメラ画像と、デプス画像とを並べて表示する。表示装置に表示されたカメラ画像上の点と、デプス画像上の点とを対応付ける対応情報をユーザが画像処理装置に入力することで、画像処理装置は、当該対応情報に基づいてカメラ画像の全領域とデプス画像の全領域との対応関係を取得できる。これにより、カメラ画像上の任意の点の距離情報を、デプス画像データから容易に取得できる。

例えば、対応情報として、表示装置に表示されたカメラ画像上の複数の点と、当該複数の点にそれぞれ対応するデプス画像上の複数の点とをユーザが入力する。ここで、デプス画像データの各画素値を輝度に変換することでデプス画像をグレースケール画像として表示することが可能となる。デプス画像データにおいて、画素値は、距離にほぼ比例するため、このようなデプス画像を表示装置に表示すると、距離が比較的小さい位置に配置された対象物の画像のコントラストは低く、距離が比較的大きい位置に配置された対象物の画像のコントラストは高くなる。このため、カメラ画像上の点に対応する対象物までの距離が比較的小さい場合、当該点に対応するデプス画像上の点を含む領域のコントラストが低くなり、当該点に対応するデプス画像上の点の視認性が悪くなる。このようにデプス画像上の点の視認性が悪くなるため、ユーザがカメラ画像上の点とデプス画像上の点とを高精度に対応づけることが難しい場合がある。

そこで、本実施の形態に係る画像処理装置では、デプス画像データにガンマ補正（つまり、階調補正）を施した補正デプス画像データを表示装置に出力することで、補正デプス画像を表示装置に表示させる。これにより、コントラストが適正化された補正デプス画像が表示されるため、カメラ画像上の点に対応するデプス画像上の点の視認性が向上する。

［１．機能構成］
まず、本実施の形態に係る画像処理装置の構成について、図１を用いて説明する。図１は、本実施の形態に係る画像処理装置１０の機能構成を示すブロック図である。図１には、画像処理装置１０と併せて、撮像装置６０、デプス画像取得装置７０、入力装置５０、及び表示装置４０も示されている。

画像処理装置１０は、対象物のカメラ画像データと、当該対象物のデプス画像データとを対応付ける装置であり、カメラ画像データに基づく画像であるカメラ画像に撮影されている物体の距離情報を、デプス画像データから検出する。画像処理装置１０などは、例えば、コンピュータなどによって実現できる。画像処理装置１０のハードウェア構成については、後述する。

ここで、カメラ画像データとは、撮像装置６０によって撮像される画像のデータである。カメラ画像データは、被写体によって反射される可視光、赤外線などの電磁波の強度の２次元分布を、２次元に配置された複数の画素を有する撮像素子によって検出することで得られる。デプス画像データとは、デプス画像取得装置７０から被写体までの距離の２次元分布を示すデータである。また、ここで、対象物とは、カメラ画像データの撮像対象（つまり、被写体）となる物、及び、デプス画像データの測距対象となる物である。デプス画像データの各画素値は、デプス画像取得装置７０から被写体までの距離を示す。デプス画像データの各画素値を輝度値とみなして、デプス画像データに対応するグレースケール画像であるデプス画像を表示装置４０で表示することができる。このように各画素値を輝度値とみなしたデプス画像データに対して通常のカメラ画像と同様の画像処理を施すことが可能である。したがって、デプス画像データ及びそれに階調補正を施した補正デプス画像データに対応するグレースケール画像を表示装置４０で表示することが可能となる。

画像処理装置１０によって、カメラ画像データとデプス画像データとを対応付けることができれば、カメラ画像に複数の物体の像が含まれる場合に、それらの複数の物体の距離情報をデプス画像データから直ちに取得できる。これにより、例えば、カメラ画像として、動画像の各フレームの画像を用いて、カメラ画像に撮影されている複数の物体を追尾する場合、一時的に一つの物体が他の物体の背後に隠れることがあっても（つまり、オクルージョンが発生しても）、各物体の距離情報を用いることで、距離情報を用いない場合より各物体を正確に識別できる。つまり、オクルージョンが発生する前後において、デプス画像取得装置７０から各物体のまでの距離の相対的な大小関係が変化しないことを利用すると、利用しない場合より、オクルージョン発生後において各物体を正確に識別できる。

画像処理装置１０は、図１に示されるように、機能的には、画像入力部１１と、画像処理部１２と、画像出力部１３と、情報入力部１４と、検出部１５と、を備える。

画像入力部１１は、撮像される対象物のカメラ画像データ、及び、当該対象物のデプス画像データの入力を受け付けるインタフェースである。本実施の形態では、画像入力部１１は、撮像装置６０及びデプス画像取得装置７０から、それぞれ、カメラ画像データ及びデプス画像データの入力を受け付ける。画像入力部１１は、入力されたカメラ画像データを、画像出力部１３及び検出部１５に出力する。画像入力部１１は、カメラ画像データを画像処理部１２にも出力してもよい。また、画像入力部１１は、入力されたデプス画像データを、画像処理部１２及び検出部１５に出力する。画像入力部１１は、入力されたデプス画像データを、画像出力部１３にも出力してもよい。

画像処理部１２は、デプス画像データに対して階調補正処理を施した補正デプス画像データを生成し、当該補正デプス画像データを画像出力部１３に出力する処理部である。本実施の形態では、画像処理部１２は、階調補正処理によって、対象物の一部の距離情報である注目距離を含む距離の範囲におけるコントラストを高める。当該注目距離は、情報入力部１４から画像処理部１２に入力される。画像処理部１２による階調補正処理の詳細については後述する。また、画像処理装置１０において、カメラ画像に含まれる複数の物体の像を検出するために、画像処理部１２は、カメラ画像から特定の像を検出する機能を有してもよい。

画像出力部１３は、カメラ画像データ及び補正デプス画像データを出力する出力部である。画像出力部１３は、デプス画像データも出力してもよい。本実施の形態では、画像出力部１３は、表示装置４０に各画像データを出力する。

情報入力部１４は、カメラ画像における位置と、補正デプス画像データに基づく画像である補正デプス画像における位置との対応付けに関する対応情報の入力を受け付けるインタフェースである。本実施の形態では、情報入力部１４は、対象物の一部の距離情報である注目距離に関する情報の入力を受け付ける。

検出部１５は、カメラ画像データ、デプス画像データ、及び対応情報に基づいて、カメラ画像に撮像されている物体の距離情報を検出し、物体と距離情報とを関連付ける処理部である。本実施の形態では、検出部１５は、対応情報に基づいて、カメラ画像と、補正デプス画像とを対応付ける。また、検出部１５は、カメラ画像の各画素と、補正デプス画像の各画素を対応付ける。ここで、補正デプス画像の各画素の位置情報は、デプス画像の各画素の位置情報と同一であるため、補正デプス画像の各画素は、補正前のデプス画像の各画素に対応する。したがって、検出部１５は、補正デプス画像データ及びデプス画像データから、補正デプス画像の各画素に対応するデプス画像の各画素の画素値である距離情報を取得できる。以上のことから、検出部１５は、カメラ画像の各画素に対応する距離情報をデプス画像から取得できる。本実施の形態では、検出部１５は、対応情報に基づいて、カメラ画像の各画素と、デプス画像の各画素との対応関係を示すルックアップテーブル（ＬＵＴ）を生成する。ＬＵＴは、例えば、カメラ画像の各画素と、当該各画素に対応するデプス画像の各画素との関係を示すテーブルである。このようなＬＵＴを用いることで、カメラ画像データにおける特定の位置（又は、座標）に対応する距離情報を得ることができる。つまり、カメラ画像に撮像されている物体の位置と、ＬＵＴとに基づいて物体までの距離情報を取得できる。カメラ画像の各画素と、デプス画像の各画素とが１対１に対応していない場合には、カメラ画像の各画素に対応するデプス画像上の点の周辺に配置された複数の画素の画素値から、当該点における画素値を求めるための補間に係る情報がＬＵＴに含まれていてもよい。ここで、補間に係る情報とは、例えば、当該点からその周辺に配置された複数の画素の各々の中心までの距離である。このような補間に係る情報を用いることで、当該点における距離情報を、周辺の画素の画素値を補間することで算出できる。

このようにＬＵＴにより、検出部１５は、カメラ画像に撮像されている物体の距離情報を取得できる。検出部１５で取得された距離情報は、画像処理部１２に出力される。

撮像装置６０は、対象物のカメラ画像データを取得する装置である。撮像装置６０として、例えば、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）、ＣＣＤ（Charge-Coupled Devices）などの撮像素子を備えるビデオカメラ又はスチールカメラを用いることができる。本実施の形態では、撮像装置６０は、画像処理装置１０の画像入力部１１にカメラ画像データを出力する。

デプス画像取得装置７０は、対象物のデプス画像データを取得する装置である。デプス画像取得装置７０として、例えば、ＬｉＤＡＲ（Light Detection and Ranging）方式、ＴＯＦ（Time-Of-Flight）方式などの測距方式を用いた装置を用いることができる。本実施の形態では、デプス画像取得装置７０は、画像処理装置１０の画像入力部１１にデプス画像データを出力する。

撮像装置６０とデプス画像取得装置７０とは、互いに同一の対象物を、ほぼ同一の方向から撮影できるように配置される。言い換えると、撮像装置６０とデプス画像取得装置７０とは、互いの撮影領域の少なくとも一部が重複するように配置される。撮像装置６０とデプス画像取得装置７０とは、互いにできるだけ近づけて配置される。また、撮像装置６０の光軸とデプス画像取得装置７０の撮像方向の中心軸とが一致してもよい。また、撮像装置６０とデプス画像取得装置７０とで、光学系及び撮像素子を共用してもよい。これにより、撮像装置６０とデプス画像取得装置７０との撮影範囲を一致させることが可能となる。

入力装置５０は、画像処理装置１０に情報を入力する装置である。本実施の形態では、入力装置５０には、ユーザによって、対応情報、及び、注目距離に対応する情報が入力され、入力装置５０は、対応情報、及び、注目距離に対応する情報を画像処理装置１０に入力する。入力装置５０として、例えば、キーボード、マウスなどの装置を用いることができる。

表示装置４０は、画像処理装置１０から出力される画像データに基づく画像を表示する装置である。表示装置４０として、液晶ディスプレイ、有機ＥＬディスプレイなどを用いることができる。また、表示装置４０として、タッチパネルを搭載したディスプレイを用いることで、表示装置４０と、入力装置５０とを一体化させてもよい。

［２．ハードウェア構成］
次に、本実施の形態に係る画像処理装置１０のハードウェア構成について、図２を用いて説明する。図２は、本実施の形態に係る画像処理装置１０の機能をソフトウェアにより実現するコンピュータ９００のハードウェア構成の一例を示す図である。

コンピュータ９００は、図２に示されるように、入力インタフェース（ＩＦ）９０１、出力インタフェース（ＩＦ）９０２、ＣＰＵ（Central Processing Unit）９０３、内蔵ストレージ９０４、ＲＡＭ（Random Access Memory）９０５及びバス９０９を備える。入力インタフェース９０１、出力インタフェース９０２、ＣＰＵ９０３、内蔵ストレージ９０４及びＲＡＭ９０５は、バス９０９により接続される。

入力インタフェース９０１は、コンピュータ９００の外部からの信号を受け付けるインタフェースである。入力インタフェース９０１は、画像処理装置１０の画像入力部１１及び情報入力部１４に相当する。入力インタフェース９０１には、図１に示される撮像装置６０からのカメラ画像データ、デプス画像取得装置７０からのデプス画像データ、及び入力装置５０からの注目距離に関する情報、対応情報などに対応する信号が入力される。入力インタフェース９０１は、例えば、有線通信用の受信機であってもよいし、無線通信用の受信機であってもよい。

出力インタフェース９０２は、コンピュータ９００からの信号を外部に出力するインタフェースである。出力インタフェース９０２は、画像処理装置１０の画像出力部１３に相当する。出力インタフェース９０２は、画像データなどを、図１に示される表示装置４０などに出力する。出力インタフェース９０２は、例えば、有線通信用の送信機であってもよいし、無線通信用の送信機であってもよい。

内蔵ストレージ９０４は、フラッシュメモリなどの不揮発性記憶装置である。また、内蔵ストレージ９０４は、画像処理装置１０の機能を実現するためのプログラム、及び、画像処理装置１０の機能構成を利用したアプリケーションの少なくとも一方が、予め記憶されていてもよい。また、内蔵ストレージ９０４には、検出部１５で生成されたＬＵＴなどが記憶される。

ＲＡＭ９０５は、プログラム又はアプリケーションの実行に際してデータ等の記憶に利用される揮発性記憶装置である。ＲＡＭ９０５には、カメラ画像データ、デプス画像データ、補正デプス画像データ、注目距離に対応する情報、対応情報などが記憶される。

ＣＰＵ９０３は、内蔵ストレージ９０４に記憶されたプログラム、アプリケーションをＲＡＭ９０５にコピーし、そのプログラムやアプリケーションに含まれる命令をＲＡＭ９０５から順次読み出して実行するプロセッサである。ＣＰＵ９０３によって、画像処理部１２、検出部１５などによって行われる処理が実行される。

［３．キャリブレーション］
次に、本実施の形態に係る画像処理装置１０のキャリブレーションについて説明する。本実施の形態に係る画像処理装置１０では、カメラ画像とデプス画像とを対応付けるキャリブレーションを行う。以下、本実施の形態に係る画像処理装置１０のキャリブレーションについて、図３を用いて説明する。図３は、本実施の形態に係る画像処理装置１０のキャリブレーションの流れを示すフローチャートである。

図３に示されるように、まず、画像処理装置１０の画像入力部１１は、対象物のカメラ画像データ、及び、対象物のデプス画像データの入力を受け付ける（Ｓ１０）。ここで、画像処理装置１０の画像入力部１１は、入力されたカメラ画像データ及びデプス画像データを画像処理部１２、画像出力部１３、及び検出部１５に出力する。ここで、カメラ画像及びデプス画像について、図４及び図５を用いて説明する。図４及び図５は、それぞれ、本実施の形態に係るカメラ画像及びデプス画像の一例を示す概略図である。図４及び図５に示されるように、カメラ画像及びデプス画像は、同一の対象物の画像である。図４及び図５に示される例では、カメラ画像及びデプス画像には、物体Ｐ１、Ｐ２、及びＰ３を含む対象物の画像が示されている。

図３に戻り、ステップＳ１０に続いて、情報入力部１４は、撮像された対象物の一部の距離情報である注目距離に関する情報の入力を受け付ける（Ｓ１２）。ここで注目距離は、対象物の少なくとも一部に対応する距離情報であれば特に限定されないが、対象物のうち、カメラ画像及びデプス画像の両方において、認識しやすい部分の距離であってもよい。特に、対象物のうち、特徴的な形状を有する部分であって、カメラ画像及びデプス画像の両方において認識しやすい部分であってもよい。図４及び図５に示される例では、例えば、物体Ｐ１の位置に対応する距離を注目距離としてもよい。また、注目距離は、例えば４ｍなどの一つの距離値であってもよいし、３ｍ以上５ｍ以下などの距離値の範囲であってもよい。

図３に戻り、ステップＳ１２に続いて、画像処理部１２は、デプス画像のリサイズを行う（Ｓ１４）。図４及び図５に示される例では、カメラ画像及びデプス画像は、対象物の同一の領域を示す画像であるが、カメラ画像データを取得する撮像装置６０とデプス画像データを取得するデプス画像取得装置７０とでは、画角と解像度とが異なる場合がある。具体的には、デプス画像取得装置７０のほうが画角が広い場合が多い。また、撮像装置６０のほうが解像度(画素数)が高い場合が多い。この場合、１画素当たりの画角は撮像装置６０のほうが小さくなる。

このような２つの画像データに対応する画像をそのまま表示装置４０で表示すると、同じ物体でも表示されたときの大きさが異なる（つまり、同じ物体がカメラ画像ではより大きく、デプス画像ではより小さく表示される）ため、ユーザが対応付けを行うのが困難になる場合がある。

そこで、２つの画像内の同じ物体が同じ大きさで（又は、ほぼ同じ大きさで）表示されるように、少なくとも一方の画像の解像度を変換してもよい。上述した例では、デプス画像の解像度を拡大（つまり、高解像度化）してもよい。撮像装置６０及びデプス画像取得装置７０の各々の画角及び画素数は既知であるとすると、拡大率もそれらの画角及び画素数に基づいて計算できる。例えば、カメラ画像の水平方向の画素数１８００、画角９０度の場合、画角１度あたりの画素数は、１８００／９０＝２０となる。また、デプス画像の水平方向の画素数３６０、画角１８０度の場合、画角１度あたりの画素数は３６０／１８０＝２となる。ここで、デプス画像の画角は１８０度のままで、解像度を水平方向に１０倍拡大すると、画素数３６００となり、画角１度あたりの画素数は、３６００／１８０＝２０となる。これにより、カメラ画像と、リサイズしたデプス画像とで、同じ物体が表示装置上で同じ大きさで表示される。

続いて、画像処理部１２は、デプス画像データに対して階調補正処理を施した補正デプス画像データを生成する（Ｓ１６）。一般に、デプス画像において、物体が存在する位置に対応する距離においても、それ以外の距離においても、距離の変化に対してほぼ線形に画素値が変化する。このため、デプス画像をそのまま表示装置４０に出力すると、デプス画像取得装置７０と物体との間の距離が小さい場合には、非常に暗く表示されてコントラストが低くなる。逆にデプス画像取得装置７０と物体との距離が大きくなるにつれて、急激に明るく表示されてコントラストが高くなる。したがって、デプス画像取得装置７０と物体との間の距離が小さい場合には、デプス画像において物体を視認しにくくなる。そこで、本実施の形態に係る画像処理装置１０の画像処理部１２は、ステップＳ１２で入力された注目距離に関する情報に応じてデプス画像データの階調補正処理を行う。デプス画像データに階調補正処理を施した補正デプス画像について図６を用いて説明する。図６は、図５に示されるデプス画像に階調補正処理を施すことによって得られる補正デプス画像の一例を示す図である。図６に示される補正デプス画像においては、物体Ｐ１に対応する距離が小さい部分のコントラストを上げ、距離が大きい部分のコントラストを下げることにより、デプス画像全体のコントラストを適正にする階調補正処理が施されている。図５及び図６を比較すると、図６の補正デプス画像においては、図５のデプス画像より、物体Ｐ１を認識しやすくなっている。

ここで、階調補正処理について図７〜図９を用いて説明する。図７〜図９は、それぞれ、本実施の形態に係る階調補正処理の各例を示すグラフである。図７〜図９には、距離と、当該距離に対応する階調補正前及び階調補正後の画素値との関係が、それぞれ破線及び実線で示されている。図７は、注目距離が比較的小さい場合の階調補正処理の例を示すグラフである。図５に示されるデプス画像の例では、デプス画像取得装置７０から図５に示される物体Ｐ１までの距離が注目距離である場合に相当する。図９は、注目距離が比較的大きい場合の階調補正処理の例を示すグラフである。図５に示されるデプス画像の例では、デプス画像取得装置７０から図５に示される物体Ｐ３までの距離が注目距離である場合に相当する。図８は、注目距離が中程度の場合の階調補正処理の例を示す。図５に示されるデプス画像の例では、デプス画像取得装置７０から図５に示される物体Ｐ２までの距離が注目距離である場合に相当する。

図７〜図９に示される例では、いずれも注目距離を含む距離の範囲において、単位距離の変化に対する画素値の変化率が、階調補正前の変化率よりも大きくなっている。つまり、注目距離を含む距離の範囲において、階調補正前より、階調補正後の方がコントラストが大きくなっている。これにより、階調補正後の補正デプス画像においては、注目距離周辺に配置された物体を視認しやすくなる。

つまり、図７に示される例では、デプス画像取得装置７０から図５に示される物体Ｐ１までの距離において、補正デプス画像のコントラストが高くなるため、補正デプス画像において物体Ｐ１を視認しやすくなる。また、図８に示される例では、デプス画像取得装置７０から図５に示される物体Ｐ２までの距離において、補正デプス画像のコントラストが高くなるため、補正デプス画像において物体Ｐ２を視認しやすくなる。また、図９に示される例では、デプス画像取得装置７０から図５に示される物体Ｐ３までの距離において、補正デプス画像のコントラストが高くなるため、補正デプス画像において物体Ｐ３を視認しやすくなる。

図３に戻り、ステップＳ１６に続いて、画像出力部１３は、カメラ画像データ及び補正デプス画像データを出力する（Ｓ１８）。本実施の形態では、画像出力部１３は、表示装置４０にカメラ画像データ及び補正デプス画像データを出力する。これにより、表示装置４０は、カメラ画像及び補正デプス画像を表示することができる。

続いて、情報入力部１４は、カメラ画像における位置と、補正デプス画像における位置との対応付けに関する対応情報の入力を受け付ける（Ｓ２０）。例えば、カメラ画像上の複数の点と、当該複数の点に対応する図６の補正デプス画像上の複数の点とが対応情報として入力される。以下、対応情報について図４及び図６を用いて説明する。まず、ユーザは、図４に示されるカメラ画像において、視認しやすい複数の点を選択する。例えば、ユーザは、図４の点ａ１〜点ｄ１を選択する。図４の点ａ１は、物体Ｐ１の上端の点であり、点ｂ１は、物体Ｐ１の左側の下端の点であり、点ｃ１は、物体Ｐ２の右側の下端の点であり、点ｄ１は、物体Ｐ３の上端の点である。続いて、ユーザは、図６の補正デプス画像において、カメラ画像の点ａ１〜点ｄ１に対応する点を見つける。図６の補正デプス画像においては、階調補正により視認性が向上しているため、ユーザは、カメラ画像の点ａ１〜点ｄ１に対応する点ａ２〜点ｄ２を容易に見つけることができる。続いて、ユーザは、カメラ画像上の点ａ１〜点ｄ１と、これらの点に対応する補正デプス画像上の点ａ２〜点ｄ２とを対応情報として入力装置５０を介して画像処理装置１０に入力する。例えば、表示装置４０に表示されたカメラ画像上の点ａ１〜点ｄ１と、補正デプス画像上の点ａ２〜点ｄ２とをマウスなどの入力装置５０を用いてクリックすることで、対応情報を入力してもよい。

なお、対応情報の入力態様は、上記態様に限定されない。例えば、ユーザは、対応情報として、点ａ１〜点ｄ１を示すカメラ画像上の座標、及び、点ａ２〜点ｄ２を示す補正デプス画像上の座標を、キーボードなどの入力装置５０を用いて入力してもよい。このようにして入力された対応情報に基づいて、検出部１５は、カメラ画像の各画素と、デプス画像の各画素との対応関係を示すＬＵＴを生成する（Ｓ２２）。

以上のように、本実施の形態に係る画像処理装置１０のキャリブレーションを行うことができる。

［４．各画像の解像度調整］
次に、本実施の形態に係る画像処理装置１０におけるカメラ画像及びデプス画像のリサイズ方法について説明する。本実施の形態では、上述したように、撮像装置６０及びデプス画像取得装置７０の画角が大きく異なる場合は、カメラ画像及びデプス画像の少なくとも一方をリサイズする。また、カメラ画像及びデプス画像の画素の解像度が異なる場合には、それらの解像度を調整することで一致させてもよい。以下、本実施の形態に係るカメラ画像及びデプス画像の解像度の調整方法について図１０及び図１１を用いて説明する。

図１０は、本実施の形態に係るデプス画像の単位面積内の画素を示す模式図である。図１１は、本実施の形態に係る画像処理装置１０が生成するリサイズ後のデプス画像の単位面積内の画素を示す図である。

図１０に示される例では、デプス画像の単位面積内において、図１０の横方向（つまり、水平方向）に３個、図１０の縦方向（つまり、上下方向）に３個の画素が配列される。図１０に示されるように、デプス画像の単位面積内には、画素ｐ（ｘ１，ｙ１）〜画素ｐ（ｘ１，ｙ３）、画素ｐ（ｘ２，ｙ１）〜画素ｐ（ｘ２，ｙ３）、及び画素ｐ（ｘ３，ｙ１）〜画素ｐ（ｘ３，ｙ３）の９個の画素が含まれる。一方、デプス画像の単位面積に対応するカメラ画像の単位面積内において、横方向に３個、縦方向に９個の画素が配列される場合、図１１に示されるように、リサイズ後のデプス画像の単位面積内において、図１１の横方向に３個、図１１の縦方向に９個の画素が配列されてもよい。図１１に示される例では、図１０に示される画素ｐ（ｘ１，ｙ１）が、リサイズ後のデプス画像においては、画素ｐ（ｘ１，Ｙ１１）〜ｐ（ｘ１，Ｙ１３）の３個に分割されている。デプス画像の他の画素についても同様に、リサイズ後のデプス画像においては、それぞれ３個に分割されている。

このようにリサイズされたデプス画像の階調補正を施すことでリサイズされた補正デプス画像が得られる。

なお、リサイズ及び階調補正の順序は上述した順序に限定されず、階調補正後にリサイズしてもよい。

以上のようにデプス画像の画素を分割することで、補正デプス画像の画素の解像度を、カメラ画像の画素の解像度と同一としてもよい。この場合、補正デプス画像の各画素は、カメラ画像の各画素と１対１で対応していることから、このような補正デプス画像を用いることで、カメラ画像と補正デプス画像とを容易に対応付けることができる。

また、図１１に示されるリサイズ後デプス画像の各画素の画素値は、デプス画像の画素値を補間することによって算出された値としてもよいし、当該画素に対応する補正デプス画像の画素の画素値そのものとしてもよい。例えば、リサイズ後デプス画像の画素ｐ（ｘ１，Ｙ１３）の画素値は、デプス画像の画素ｐ（ｘ１，ｙ１）の画素値と、ｐ（ｘ１，ｙ２）の画素値との補間値であってもよし、デプス画像の画素ｐ（ｘ１，ｙ１）の画素値そのものであってもよい。

なお、以上では、デプス画像の解像度調整を行った後で、階調補正を行って補正デプス画像データを生成したが、階調補正を行って補正デプス画像データを生成した後で、補正デプス画像の解像度調整を行ってもよい。

［５．応用例］
次に、本実施の形態に係る画像処理装置１０の応用例について説明する。ここでは、画像処理装置１０を用いて複数被写体追尾（Multiple-Object Tracking：ＭＯＴ）を行う応用例について図１２を用いて説明する。図１２は、本実施の形態に係る画像処理装置１０を用いた複数被写体追尾の流れを示すフローチャートである。複数被写体追尾においては、撮像装置６０から画像処理装置１０に複数のカメラ画像からなる動画像が入力され、デプス画像取得装置７０から、複数のデプス画像からなる動画像が入力される。カメラ画像及びデプス画像には、図４〜図６に示される物体Ｐ１〜Ｐ３のような追尾対象である複数の物体の像が含まれる。

図１２に示されるように、まず、画像処理装置１０において、上述したキャリブレーションを行う（Ｓ１１０）。これにより、カメラ画像の各画素と、デプス画像の各画素との対応関係を示すＬＵＴが生成される。

続いて、画像処理装置１０の画像入力部１１は、撮像装置６０及びデプス画像取得装置７０から、それぞれ、カメラ画像及びデプス画像の入力を受け付ける（Ｓ１１２）。画像入力部１１は、受け付けたカメラ画像及びデプス画像を画像処理部１２に出力する。

続いて、画像処理部１２は、入力されたカメラ画像から、追尾対象である複数の物体の像を検出する（Ｓ１１４）。ここで、画像から物体の像を検出するとは、追尾対象である物体の特徴を有する物体が撮影された画像上の領域を特定することを意味する。言い換えると、画像から物体の像を検出するとは、画像上において追尾対象である物体の特徴を有する物体が撮影された領域とそれ以外の領域（背景が撮影された領域など）とを区別することを意味する。具体的には、例えば、複数の物体の像の寸法、形状、色などの視覚的特徴に基づいて、画像処理部１２がカメラ画像から複数の物体の像を検出する。なお、カメラ画像から追尾対象である複数の物体の像を検出するために、カメラ画像に対応するデプス画像を用いてもよい。つまり、カメラ画像の各画素に撮影された対象物の距離情報をＬＵＴに基づいてデプス画像から取得して、物体の検出に利用してもよい。

続いて、画像処理部１２は、ステップＳ１１４でカメラ画像から検出した各物体の距離情報をデプス画像データから取得する（Ｓ１１６）。具体的には、カメラ画像において検出した各物体の像を形成する画素に対応するデプス画像内の画素の情報をＬＵＴに基づいて取得し、デプス画像から当該画素の距離情報を取得する。

続いて、画像処理部１２は、ステップＳ１１４でカメラ画像から検出した各物体と、その距離情報とから、各物体を識別する（Ｓ１１８）。ここで、各物体を識別するとは、複数の物体の各々を区別して認識することである。例えば、画像処理部１２は、複数の物体の各々に固有の識別番号等を付して、各物体を識別してもよい。また、各物体を識別するとは、各物体の種類を特定することを意味してもよい。言い換えると、各物体を識別するとは、各物体を種類毎（人、自動車など）に分類することを意味してもよい。

各物体の識別をカメラ画像だけに基づいて行うことは、特にオクルージョンが発生した場合に困難となるが、本応用例では、各物体の距離情報を用いることで、各物体の識別が容易となる。例えば、オクルージョンが発生した場合、二つの物体がカメラ画像上において重なり、一つの物体だけがカメラ画像上に検出される。当該カメラ画像に続くカメラ画像において、オクルージョンが解消された場合に、二つの物体が検出されるが、カメラ画像だけからでは二つの物体を識別できない場合がある。このような場合に、二つの物体の距離情報と、オクルージョン発生前に撮影されたカメラ画像において検出される二つの物体の距離情報とから、オクルージョン発生後のカメラ画像において検出された二つの物体の各々が、オクルージョン発生前のカメラ画像において検出された二つの物体のどちらに相当するかを識別できる。つまり、オクルージョン発生後のカメラ画像において検出された二つの物体の各々の距離情報が、オクルージョン発生前のカメラ画像において検出された二つの物体のどちらの距離情報と近いかを判定することで、二つの物体を識別できる。

続いて、ステップＳ１１２に戻り、ステップＳ１１２からステップＳ１１８までの工程を繰り返す。

これにより、撮像装置６０から入力されるカメラ画像に含まれる複数の物体の像を追尾することができる。

ここで、本応用例の効果について、図１３〜図１５を用いて説明する。図１３〜図１５は、本応用例で用いるカメラ画像の例を示す図である。図１３、図１４、及び図１５は、時刻ｔ１、時刻ｔ２、及び時刻ｔ３における対象物を撮像した画像である。撮像装置６０におけるカメラ画像の撮像周期をΔｔとすると、時刻ｔ２＝ｔ１＋Δｔ、時刻ｔ３＝ｔ２＋Δｔと表される。

図１３に示される時刻ｔ１におけるカメラ画像には、物体Ｐ１及び物体Ｐ２の二つの物体の像が含まれることが画像処理装置１０の画像処理部１２によって検出される。物体Ｐ１及び物体Ｐ２は、例えば、人などの移動し得る物体である。物体Ｐ１及び物体Ｐ２からデプス画像取得装置７０までの距離は、デプス画像取得装置７０によって測定されている。物体Ｐ１及び物体Ｐ２の像に含まれる画素に対応するデプス画像の画素が示す距離情報に基づいて、デプス画像取得装置７０から物体Ｐ１までの距離は、物体Ｐ２までの距離より小さいことが分かる。つまり、デプス画像取得装置７０から見て、物体Ｐ１の方が、物体Ｐ２より手前に位置している。

時刻ｔ１から時刻ｔ２の間に、物体Ｐ１が図１３及び図１４における右向きに移動することで、図１４に示されるように、時刻ｔ２においては、物体Ｐ１は、物体Ｐ２の手前に位置している。これに伴い、物体Ｐ２が物体Ｐ１の背後に隠れている。つまり、図１４のカメラ画像において、オクルージョンが発生している。このため、図１４のカメラ画像に含まれる物体の像が、カメラ画像だけからでは、物体Ｐ１の像であるのか、物体Ｐ２の像であるのかを判定できない場合があり得る。

しかしながら、図１４のカメラ画像に対応するデプス画像から、図１４のカメラ画像に含まれる像の距離情報を検出し、図１３のカメラ画像に含まれる各物体の像の距離情報と対比することで、図１４のカメラ画像に含まれる像の距離情報が、図１３のカメラ画像に含まれる物体Ｐ１の距離情報と近いことが分かる。したがって、図１４のカメラ画像に含まれる像は、物体Ｐ１の像であることが推測される。

続いて、時刻ｔ２から時刻ｔ３の間に、物体Ｐ１が図１４及び図１５における右向きに移動することで、図１５に示されるように、時刻ｔ３におけるカメラ画像には、二つの物体の像が含まれることが、画像処理部１２によって検出される。また、二つの物体の距離情報を、デプス画像から検出できる。図１４のカメラ画像と対比すると、時刻ｔ２から時刻ｔ３の間に、あたかも一つの物体の像が、二つの物体の像に分離したかのように見える。

ここで、図１３のカメラ画像を参酌すれば、図１５のカメラ画像に含まれる二つの物体の像が、図１３のカメラ画像に含まれる物体Ｐ１及び物体Ｐ２のいずれかであることが推測される。しかしながら、カメラ画像だけからでは、図１５のカメラ画像に含まれる二つの物体の像の各々が、図１３のカメラ画像に含まれる物体Ｐ１の像又は物体Ｐ２の像のいずれに相当するのかを判定し難い。

本実施の形態に係る画像処理装置１０の応用例によれば、図１５のカメラ画像に含まれる二つの物体の像の各々の距離情報と、図１３のカメラ画像に含まれる物体Ｐ１の像及び物体Ｐ２の像の距離情報とから、図１５のカメラ画像に含まれる二つの物体の像を識別できる。つまり、図１５のカメラ画像に含まれる二つの物体の像の各々が、図１３のカメラ画像に含まれる物体Ｐ１の像又は物体Ｐ２の像のいずれに相当するのかを判定できる。具体的には、図１５のカメラ画像に含まれる二つの物体の像のうち、デプス画像取得装置７０からの距離が小さい方が、物体Ｐ１の像に相当し、デプス画像取得装置７０からの距離が大きい方が、物体Ｐ２の像に相当すると判定できる。

以上のように、本実施の形態に係る画像処理装置１０の応用例によれば、複数被写体追尾において、オクルージョンの発生に伴う、被写体の誤認識を低減できる。

（変形例など）
以上、本開示の画像処理装置１０について、実施の形態に基づいて説明したが、本開示は、上記実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態に施したものも、本開示の範囲内に含まれてもよい。

例えば、上記実施の形態において、注目距離に関する情報として、注目距離そのものが画像処理装置１０の情報入力部１４に入力されたが、注目距離に関する情報は、注目距離そのものでなくてもよい。注目距離に関する情報は、例えば、注目距離に配置された物体のデプス画像における位置（言い換えると、座標）などであってもよい。例えば、ユーザは、表示装置４０に表示されたデプス画像（又はリサイズ後デプス画像）上において、注目距離に配置された物体の位置をマウスなどの入力装置５０を用いて入力する。当該位置に対応する情報と、デプス画像とから、当該位置にある物体の距離情報を取得できる。つまり、画像処理装置１０は、当該位置に対応するデプス画像の画素値から、当該位置に対応する距離情報を取得できる。このようにして取得した距離情報を注目距離として用いることができる。

また、注目距離に関する情報は、カメラ画像における位置（言い換えると、座標）などであってもよい。カメラ画像における位置とデプス画像における位置との対応関係が概ね判明している場合には（つまり、大まかな対応関係が得られている場合には）、カメラ画像における位置を注目情報として用いることも可能である。例えば、表示装置４０に表示されたカメラ画像上において注目距離に配置された物体の位置をマウスなどの入力装置５０を用いて入力する。当該位置に対応する情報と、当該位置と概ね対応するデプス画像の位置とから、当該位置にある物体の大まかな距離情報を取得できる。このようにして取得した距離情報を注目距離として用いることができる。カメラ画像における位置とデプス画像における位置との大まかな対応関係を得るためには、例えば、仮の注目距離を画像処理装置１０に入力するなどして、図３に示されるキャリブレーションを行ってもよい。

また、上記実施の形態に係る画像処理装置１０で生成したＬＵＴの利用態様は、上述した態様に限定されない。例えば、撮像装置６０及びデプス画像取得装置７０の撮影範囲が完全に一致しない場合、カメラ画像データ及びデプス画像データの一方だけにしか含まれない画像領域（以下「非対応領域」という。）が存在する。このような場合に生成されたＬＵＴにおいて、カメラ画像データとデプス画像データとの対応関係が示されている画像領域が、両画像データに含まれる画像領域であることが分かる。言い換えると、ＬＵＴにおいて、カメラ画像データとデプス画像データとの対応関係が得られていない画像領域は、非対応領域であることが分かる。したがって、このような非対応領域をＬＵＴを用いて特定し、カメラ画像及びデプス画像（又は補正デプス画像）を表示する際に、非対応領域をユーザが判別できるように表示してもよい。例えば、カメラ画像がカラー画像である場合、カメラ画像の非対応領域のみをグレースケールし、それ以外の画像領域をカラーで表示してもよい。また、デプス画像の非対応領域をグレースケール以外の特定の色で表示してもよい。また、各画像の非対応領域を表示しなくてもよい。つまり、非対応領域をトリミングした各画像を表示してもよい。

また、上記実施の形態に係る画像処理装置が行う処理の各ステップは、上述のとおり、コンピュータ（コンピュータシステム）によって実行されてもよく、本開示は、それらの方法に含まれるステップを、コンピュータに実行させるためのプログラムとして実現できる。さらに、本開示は、そのプログラムを記録したＣＤ−ＲＯＭ等である非一時的なコンピュータ読み取り可能な記録媒体として実現できる。

例えば、本開示が、プログラム（ソフトウェア）で実現される場合には、コンピュータのＣＰＵ、メモリ及び入出力回路等のハードウェア資源を利用してプログラムが実行されることによって、各ステップが実行される。つまり、ＣＰＵがデータをメモリ又は入出力回路等から取得して演算したり、演算結果をメモリ又は入出力回路等に出力したりすることによって、各ステップが実行される。

また、上記実施の形態の画像処理装置に含まれる複数の構成要素は、それぞれ、専用又は汎用の回路として実現されてもよい。これらの構成要素は、１つの回路として実現されてもよいし、複数の回路として実現されてもよい。

また、上記実施の形態の画像処理装置に含まれる複数の構成要素は、集積回路（ＩＣ：Integrated Circuit）であるＬＳＩ（Large Scale Integration）として実現されてもよい。これらの構成要素は、個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ＬＳＩは、集積度の違いにより、システムＬＳＩ、スーパーＬＳＩ又はウルトラＬＳＩと呼称される場合がある。

また、集積回路はＬＳＩに限られず、専用回路又は汎用プロセッサで実現されてもよい。上述したように、プログラム可能なＦＰＧＡ、又は、ＬＳＩ内部の回路セルの接続及び設定が再構成可能なリコンフィギュラブル・プロセッサが、利用されてもよい。

さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、情報通知システムに含まれる各構成要素の集積回路化が行われてもよい。

その他、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態なども本開示に含まれる。

本開示の画像処理装置は、例えば、複数被写体追尾装置などにおいて利用可能である。

１０ 画像処理装置
１１ 画像入力部
１２ 画像処理部
１３ 画像出力部
１４ 情報入力部
１５ 検出部
４０ 表示装置
５０ 入力装置
６０ 撮像装置
７０ デプス画像取得装置
９００ コンピュータ
９０１ 入力インタフェース
９０２ 出力インタフェース
９０３ ＣＰＵ
９０４ 内蔵ストレージ
９０５ ＲＡＭ
９０９ バス
Ｐ１、Ｐ２、Ｐ３ 物体

Claims (4)

1. 対象物のカメラ画像データ、及び、前記対象物のデプス画像データの入力を受け付ける画像入力部と、
   前記デプス画像データに対して階調補正処理を施した補正デプス画像データを生成する画像処理部と、
   前記カメラ画像データ及び前記補正デプス画像データを出力する画像出力部と、
   前記カメラ画像データに基づく画像であるカメラ画像における位置と、前記補正デプス画像データに基づく画像である補正デプス画像における位置との対応付けに関する対応情報の入力を受け付ける情報入力部と、
   前記カメラ画像データ、前記デプス画像データ、及び前記対応情報に基づいて、前記カメラ画像に撮像されている物体の距離情報を検出し、前記物体と前記距離情報とを関連付ける検出部と、を備える
   画像処理装置。
2. 前記情報入力部は、前記対象物の一部の前記距離情報である注目距離に関する情報の入力を受け付け、
   前記画像処理部は、前記注目距離に関する情報に応じて前記デプス画像データの階調補正処理を行う
   請求項１に記載の画像処理装置。
3. 前記画像処理部は、前記階調補正処理によって、前記注目距離を含む距離の範囲におけるコントラストを高める
   請求項２に記載の画像処理装置。
4. 前記補正デプス画像データの解像度は、前記カメラ画像データの解像度と同一である
   請求項１〜３のいずれか１項に記載の画像処理装置。

Images