JP2010268158A - 画像処理システム、画像処理方法およびプログラム - Google Patents

Abstract

【課題】撮像された人物が関心のある物体を適切に判断することができる画像を提供する画像処理システムを提供すること。
【解決手段】画像処理システムは、複数の撮像装置がそれぞれ撮像した画像を取得する画像取得部と、第１撮像装置が撮像した第１画像に撮像されている人物の視線方向を特定する視線特定部と、第２撮像装置により撮像された第２画像における、人物の視線方向の領域が撮像された画像領域を特定する視線領域特定部と、視線領域特定部が特定した第２画像における画像領域である視線領域を、第２画像における他の画像領域より強調する画像処理部とを備える。
【選択図】図２

Description

本発明は、画像処理システム、画像処理方法およびプログラムに関する。

画像の背景部分の情報量が人物部分の情報量より削減することができる技術が知られている（例えば、特許文献１参照。）。特許文献１には、目を検出する技術が開示されている。また、複数のカメラにより得られた画像から、人物の移動方向の領域を切り出す技術が知られている（例えば、特許文献２参照。）。
特開平８−８８８５３号公報 特開２００７−３６７４８号公報

上記特許文献１に記載の技術によると、人物像を高解像度とすることができるが、人物が見ている物体の画像は低解像度になってしまう。また、上記特許文献２に記載の技術では、人物が見ている方向がトリミングで取り除かれてしまう場合がある。このように、上記特許文献に記載の技術によると、人物が何を注視しているかを分析するための画像情報が失われてしまうという課題があった。

上記課題を解決するために、本発明の第１の態様においては、画像処理システムであって、複数の撮像装置がそれぞれ撮像した画像を取得する画像取得部と、第１撮像装置が撮像した第１画像に撮像されている人物の視線方向を特定する視線特定部と、第２撮像装置により撮像された第２画像における、人物の視線方向の領域が撮像された画像領域を特定する視線領域特定部と、視線領域特定部が特定した第２画像における画像領域である視線領域を、第２画像における他の画像領域より強調する画像処理部とを備える。

視線領域特定部が特定した第２画像における画像領域のうち、人物が見た対象物が撮像された画像領域を視線領域として特定する対象領域特定部をさらに備え、画像処理部は、対象領域特定部が特定した視線領域を、他の画像領域より強調してよい。

対象領域特定部は、人物の視線方向の画像領域のうち、人物が見た予め定められた特定の対象物が撮像された画像領域を視線領域として特定してよい。

複数の撮像装置がそれぞれ撮像する撮像範囲を特定する撮像範囲情報を格納する撮像範囲情報格納部をさらに備え、視線領域特定部は、撮像範囲情報に基づいて、人物の視線方向の領域が撮像された画像領域を特定してよい。

撮像範囲情報格納部は、複数の撮像装置の位置および複数の撮像装置のそれぞれの撮像方向を含む撮像範囲情報を格納してよい。

撮像範囲情報に基づいて、複数の撮像装置により撮像された複数の画像の中から、予め定められた条件に適合する条件で人物の視線方向の領域が撮像された第２画像を選択する選択部をさらに備えてよい。

人物を特定する情報、人物の視線方向の領域に撮像された領域とを対応づけて出力する出力部をさらに備えてよい。

人物が視線方向を向いていた時間長さである注視時間を特定する時間特定部をさらに備え、画像処理部は、注視時間が長いほど、視線領域をより強調してよい。時間特定部は、人物が視線方向を継続して向いていた時間長さを注視時間として特定してよい。時間特定部は、人物の視線が視線方向に向いていた複数の期間の合計の時間長さを、注視時間として特定してよい。

画像取得部は、動画を取得し、視線特定部は、動画に撮像されている人物の視線方向を特定し、画像処理部は、動画における視線領域を、他の画像領域より強調してよい。画像処理部は、他の画像領域における画質を視線領域より低減してよい。画像処理部は、視線領域を他の画像領域より小さい強度で圧縮してよい。また、複数の撮像装置をさらに備えてもよい。

本発明の第２の態様においては、画像処理方法であって、複数の撮像装置がそれぞれ撮像した画像を取得する画像取得段階と、第１撮像装置が撮像した第１画像に撮像されている人物の視線方向を特定する視線特定段階と、第２撮像装置により撮像された第２画像における、人物の視線方向の領域が撮像された画像領域を特定する視線領域特定段階と、視線領域特定段階において特定された第２画像における画像領域である視線領域を、第２画像における他の画像領域より強調する画像処理段階とを備える。

本発明の第３の態様においては、画像処理システム用のプログラムであって、コンピュータを、複数の撮像装置がそれぞれ撮像した画像を取得する画像取得部、第１撮像装置が撮像した第１画像に撮像されている人物の視線方向を特定する視線特定部、第２撮像装置により撮像された第２画像における、人物の視線方向の領域が撮像された画像領域を特定する視線領域特定部、視線領域特定部が特定した第２画像における画像領域である視線領域を、第２画像における他の画像領域より強調する画像処理部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態における画像処理システム１０の一例を示す。以下に説明するように、画像処理システム１０は、一実施形態において店舗用の画像処理システムとして機能することができる。

画像処理システム１０は、店舗空間１６０を撮像する複数の撮像装置１００ａ−ｂ、店舗サーバ１７０、通信ネットワーク１５０、画像処理装置１１０、処理結果データベース１１２、および端末装置１８０を備える。なお、以下の説明において、撮像装置１００ａおよび撮像装置１００ｂを、撮像装置１００と総称する場合がある。同様に、以後の説明においては、末尾の英文字など、数字符号に続く文字を省略することで、数字符号が指し示すものを総称することがある。

撮像装置１００ａは店舗空間１６０を撮像する。撮像装置１００ａは、店舗空間１６０内の人物１６４ａおよび人物１６４ｂを、店舗空間１６０内の商品棚１６２ａ、商品棚１６２ｂなどとともに撮像して、動画を生成する。撮像装置１００ａは、店舗空間１６０を撮像して得られた動画を、店舗サーバ１７０に供給する。なお、撮像装置１００ｂは、撮像装置１００ａと異なる位置に設けられている。その他の点においては、撮像装置１００ｂの機能および動作は撮像装置１００ａの機能および動作と略同一であるので、撮像装置１００ｂについては説明を省略する。

店舗サーバ１７０は、撮像装置１００ａおよび撮像装置１００ｂから供給された動画を、画像処理装置１１０に向けて通信ネットワーク１５０に送出する。通信ネットワーク１５０としては、インターネットなどの電気通信回線を例示することができる。店舗サーバ１７０は、例えば撮像装置１００の近傍に設けられる。他の形態において、店舗サーバ１７０は店舗空間１６０内に設けられてもよい。

また、店舗サーバ１７０は、撮像装置１００の撮像動作を制御する。例えば、店舗サーバ１７０は、撮像装置１００の撮像機能のオン／オフ、撮像レートなどを制御する。撮像装置１００がズーム撮影できる場合には、店舗サーバ１７０は撮像装置１００のズーム値を制御してもよい。また、撮像装置１００の撮像方向が可変である場合には、店舗サーバ１７０は撮像装置１００の撮像方向を制御してもよい。

画像処理装置１１０は、店舗空間１６０とは異なる空間に設けられ、撮像装置１００がそれぞれ撮像した動画を、通信ネットワーク１５０を通じて店舗サーバ１７０から取得する。画像処理装置１１０は、動画を処理して、処理結果を端末装置１８０に向けて通信ネットワーク１５０に送出する。

なお、画像処理装置１１０は、処理結果を処理結果データベース１１２に出力してもよい。画像処理装置１１０は、処理結果を処理結果データベース１１２から読み出して、読み出した処理結果を端末装置１８０に送信してもよい。なお、処理結果データベース１１２は、画像処理装置１１０が有してもよい。他にも、処理結果データベース１１２は、画像処理装置１１０が設けられた空間とは異なる空間に設けられてよい。この場合、画像処理装置１１０は、通信ネットワーク１５０を介して処理結果データベース１１２に処理結果を送信してもよい。

端末装置１８０は、画像処理装置１１０による処理結果を、通信ネットワーク１５０を通じて画像処理装置１１０から取得する。端末装置１８０は、処理結果をユーザの指示に応じて加工して表示する。端末装置１８０は、画像処理装置１１０が設けられた空間とは異なる空間に設けられてよい。端末装置１８０は、店舗空間１６０の近傍または店舗空間１６０内に設けられてもよい。

以下に、画像処理装置１１０の動作の一例を概略的に説明する。画像処理装置１１０は、画像処理装置１１０が撮像した動画に含まれる複数のフレーム画像のそれぞれから、人物１６４が撮像されたオブジェクトを抽出する。そして、画像処理装置１１０は、フレーム画像の内容から、人物１６４の視線方向を特定する。

そして、画像処理装置１１０は、フレーム画像の画像領域上における人物１６４の視線方向から、人物１６４が注目している物体の像である注目オブジェクトを特定する。画像処理装置１１０は、特定した注目オブジェクトの領域を強調する処理を施す。例えば、画像処理装置１１０は、注目オブジェクトを枠で囲むなどの強調処理を動画に施す。他にも、画像処理装置１１０は、注目オブジェクトの領域以外の領域を低解像度化する圧縮処理を動画に施す。

そして、端末装置１８０は、画像処理装置１１０により処理された動画を取得して表示する。画像処理装置１１０により注目オブジェクトの領域が強調されているので、端末装置１８０が表示された動画を観察することで人物１６４がいずれの商品に興味を持ったかを容易に特定することができる。

なお、画像処理装置１１０は、撮像装置１００ａが撮像したフレーム画像から、人物１６４の視線方向を特定してよい。そして、画像処理装置１１０は、撮像装置１００ｂが撮像したフレーム画像から、人物１６４が注目した物体の像である注目オブジェクトを特定してよい。この場合、異なる方向から撮像されたフレーム画像を利用することで、例えば人物１６４が注目した商品と人物１６４の正面の顔とを適切に対応づけることができる。

なお、記憶媒体９０は、画像処理装置１１０用のプログラムを記憶している。記憶媒体９０が記憶しているプログラムは、本実施形態に係る画像処理装置１１０として機能するコンピュータなどの電子情報処理装置に提供される。当該コンピュータが有するＣＰＵは、当該プログラムの内容に応じて動作して、当該コンピュータの各部を制御する。ＣＰＵが実行するプログラムは、本図および以後の図に関連して説明される画像処理装置１１０などとして当該コンピュータを機能させる。

記憶媒体９０としては、ＣＤ−ＲＯＭの他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＯまたはＭＤなどの光磁気記録媒体、テープ媒体またはハードディスク装置などの磁気記録媒体、半導体メモリ、磁気メモリなどを例示することができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置が記憶媒体９０として機能することもできる。

また、記憶媒体９０は、画像処理システム１０用のプログラムを記憶してよい。画像処理システム１０用のプログラムは、画像処理装置１１０の他に、本図および以後の図に関連して説明される処理結果データベース１１２、店舗サーバ１７０、端末装置１８０、および撮像装置１００の少なくともいずれかとして、コンピュータを機能させることができる。

図２は、画像処理装置１１０のブロック構成の一例を示す。画像処理装置１１０は、画像取得部２００、特徴領域特定部２０２、視線特定部２０４、視線領域解析部２２０、画像処理部２３０、撮像範囲情報格納部２４０、および出力部２９０を有する。視線領域解析部２２０は、視線領域特定部２２２、対象領域特定部２２４、時間特定部２２６、選択部２２８を含む。

画像取得部２００は、撮像装置１００が撮像した動画を、通信ネットワーク１５０を通じて店舗サーバ１７０から取得する。このように、画像取得部２００は、複数の撮像装置１００がそれぞれ撮像したフレーム画像を取得する。なお、フレーム画像は、この発明において画像取得部２００が取得する画像の一例であって、画像取得部２００が取得する画像は、静止画であってもよい。画像取得部２００が取得した動画は、視線特定部２０４および特徴領域特定部２０２、および画像処理部２３０に供給される。

視線特定部２０４は、フレーム画像内に撮像されている人物の視線方向を特定する。ここで、視線特定部２０４は、フレーム画像の画像領域における視線方向を特定してよい。視線特定部２０４が特定した視線方向は、視線領域解析部２２０に供給される。

視線領域特定部２２２は、撮像装置１００により撮像されたフレーム画像における、人物の視線方向の領域が撮像された画像領域である視線領域を特定する。対象領域特定部２２４は、人物の視線方向に基づき、人物の視線方向の画像領域のうち、人物が見た対象物が撮像された画像領域である視線領域を特定する。例えば、対象領域特定部２２４は、人物の視線方向の画像領域のうち、人物が見た予め定められた特定の対象物が撮像された画像領域を視線領域として特定する。

例えば、対象領域特定部２２４は、人物の視線方向およびフレーム画像として撮像された空間の情報である撮像空間情報に基づき、視線領域を特定することができる。他にも、対象領域特定部２２４は、人物の視線方向に存在する特定の対象物のオブジェクトを抽出することによって、視線領域を特定してもよい。例えば、特定の対象物は、店舗内の特定の商品であってよい。

なお、撮像範囲情報格納部２４０は、撮像空間情報を格納している。具体的には、撮像範囲情報格納部２４０は、店舗空間１６０内の商品棚１６２などのレイアウト情報、および、複数の撮像装置１００のそれぞれが撮像する撮像範囲を特定する情報を格納している。例えば、撮像範囲情報格納部２４０は、複数の撮像装置１００の位置および複数の撮像装置１００のそれぞれの撮像方向を含む撮像範囲情報を格納してよい。対象領域特定部２２４は、撮像範囲情報格納部２４０が格納している撮像空間情報に基づき、視線領域を特定することができる。

選択部２２８は、視線特定部２０４が特定した視線方向の領域が撮像されたフレーム画像を選択する。このとき、選択部２２８は、複数の撮像装置１００がそれぞれ撮像した複数のフレーム画像の中から、視線方向の領域が撮像されたフレーム画像を選択してよい。視線領域特定部２２２は、選択部２２８が選択したフレーム画像における視線領域を特定してよい。また、対象領域特定部２２４は、選択部２２８が選択したフレーム画像から、人物が見た対象物が撮像された画像領域である視線領域を特定してよい。

画像処理部２３０は、対象領域特定部２２４が特定した視線領域を、他の画像領域の画像より強調する。具体的には、画像処理部２３０は、視線領域を、他の画像領域より小さい強度で圧縮する。

出力部２９０は、画像処理部２３０が圧縮して得られた画像を出力する。このとき、出力部２９０は、人物を特定する情報と、人物の視線方向の領域に撮像された領域とを対応づけて出力してよい。例えば、人物が撮像された領域を特定する座標情報と、人物の視線方向の領域に撮像された領域を特定する座標情報とを対応づけて出力してよい。

画像処理装置１１０によると、視線領域が他の画像領域より強調されたフレーム画像を提供することができる。このため、人物の視線の先に存在する物体が何であるかが一見して分かる動画を提供することができる。

なお、他の画像領域とは、視線領域以外の全画像領域であってよいが、視線領域以外の一部の画像領域であってもよい。例えば、他の画像領域とは、視線領域以外の画像領域のうち、人物が撮像された領域以外の画像領域であってよい。

特徴領域特定部２０２は、画像における特徴的な領域である特徴領域を特定する。画像処理部２３０は、特徴領域特定部２０２が特定した特徴領域および視線領域を、他の領域より小さい強度で圧縮してよい。例えば、特徴領域特定部２０２は、予め定められた条件に適合するオブジェクトを含む領域を、特徴領域として特定してよい。より具体的には、特徴領域特定部２０２は、人物のオブジェクトを含む領域を、特徴領域として特定してよい。

ここで、視線特定部２０４は、特徴領域特定部２０２が特定したオブジェクトが示す人物の視線方向を特定してよい。このため、画像処理装置１１０によると、人物が注目している商品の画像情報量と、当該人物の画像情報とを維持しつつ、画像のデータ量を削減することができる。このため、どのような人物が何の商品に興味を持ったかを後で容易に特定することができる。このように、画像処理装置１１０によると、顧客の年齢・性別を分析したり、顧客の購買動向を分析したりするのに有用な画像データを提供することができる。

時間特定部２２６は、人物が上記視線方向を向いていた時間長さである注視時間を特定する。例えば、注視時間とは、人物が上記視線方向を継続して向いていた時間長さであってよい。上記視線方向を継続して向いていた時間長さとは、人物の視線が上記視線方向に完全に一致していた時間長さを意味しているのではなく、人物の視線が上記視線方向に略一致する方向に向いていた時間長さであってよい。言い換えると、注視時間とは、視線方向の角度変化幅が所定値より小さい期間の時間長さであってよい。

他にも、時間特定部２２６は、人物の視線が上記視線方向に向いていた複数の期間の合計の時間長さを、注視時間として特定してもよい。そして、画像処理部２３０は、当該注視時間さが長いほど、視線領域をより強調してよい。例えば、画像処理部２３０は、当該注視時間さが長いほど、視線領域をより小さい強度で圧縮してよい。このように、画像処理装置１１０によると、注視時間が長いほど人物が注視した領域の画像情報を多くすることができるので、人物がより強く興味を抱いた物体を適切に解析することができる。

以上説明したように、視線特定部２０４が動画内に撮像されている人物の視線方向を特定して、視線領域解析部２２０が、視線方向に基づき動画における視線領域を特定する。そして、画像処理部２３０は、動画における視線領域を、他の画像領域より小さい強度で圧縮する。

図３は、視線領域および特徴領域の一例を示す。フレーム画像３００は、画像取得部２００が取得した動画の一フレームを示す。フレーム画像３００には、人物オブジェクト３５０および商品台オブジェクト３６０が含まれている。

特徴領域特定部２０２は、フレーム画像３００の画像内容から、人物が撮像された領域を抽出することにより、人物のオブジェクトである人物オブジェクト３５０を抽出する。特徴領域特定部２０２は、テンプレートマッチングなどの種々の方法を用いて人物オブジェクト３５０を抽出することができる。

特徴領域特定部２０２は、人物の頭部のオブジェクトを含む頭部領域３１０を、特徴領域として特定する。また、特徴領域特定部２０２は、人物の体部のオブジェクトを含む体部領域３２０を、特徴領域として特定する。

視線特定部２０４は、人物オブジェクト３５０中の頭部のオブジェクトの領域から、人物オブジェクト３５０の人物の視線方向３８０を特定する。例えば、視線特定部２０４は、頭部のオブジェクト中における目のオブジェクトの位置、目のオブジェクトと他のオブジェクトとの間の位置関係などに基づき、視線方向を特定してよい。

例えば、視線特定部２０４は、頭部のオブジェクト中において右よりに目のオブジェクトが存在している場合には、フレーム画像３００において右方に向かう向きを視線方向として特定することができる。また、頭部のオブジェクト中に、口、鼻、耳など、頭部のオブジェクト中においてランドマークとなり得る特定オブジェクトが含まれている場合には、視線特定部２０４は、当該特定オブジェクトと目のオブジェクトとの間の位置関係に基づき、視線方向を判断することもできる。なお、視線特定部２０４は、目のオブジェクトが含まれていない場合であっても、特定オブジェクトの位置関係に基づき顔の向きを判断できる場合には、当該顔の方向を視線方向として特定してもよい。

なお、視線特定部２０４は、目のオブジェクトの画像内容にさらに基づき、視線方向を特定してもよい。例えば、視線特定部２０４は、目のオブジェクト中における瞳のオブジェクトの位置、白目のオブジェクトの位置などにさらに基づき、視線方向を特定してもよい。

視線領域特定部２２２は、視線特定部２０４が特定した視線方向３８０に基づき、フレーム画像３００において頭部のオブジェクトから視線方向３８０に位置する領域を、視線領域３３０として特定する。視線領域特定部２２２は、人物の視野角に応じて視線方向３８０に広がる視線領域３３０を特定してよい。

視線領域３３０を特定する場合に、フレーム画像３００内における視線方向の領域を視線領域３３０とすることの他、人物の視線方向の領域を３次元空間において特定して、特定した３次元空間での領域が撮像されたフレーム画像３００上の領域を、視線領域３３０として特定することもできる。全方位カメラ（全周カメラ）で撮像されたフレーム画像３００から視線領域３３０を特定する場合のように、より広い画角で撮像されたフレーム画像３００から視線領域３３０を特定する場合には、視線方向の領域を３次元空間で特定することで視線領域３３０をより正確に特定することができる。

具体的には、視線特定部２０４は、人物の視線方向として、例えば３次元空間での人物位置から撮像装置１００の位置への方向に対する、３次元空間での人物の視線方向の角度を特定する。そして、視線領域特定部２２２は、人物頭部のオブジェクトのフレーム画像３００内での位置およびサイズと、撮像装置１００の画角とから、撮像装置１００に対する人物頭部の相対位置（例えば、撮像装置１００から人物頭部の位置への方向、および、撮像装置１００から人物頭部までの距離）を算出する。視線領域特定部２２２は、算出した相対位置と撮像装置１００のワールド座標系での位置とに基づき、人物頭部のワールド座標系での人物頭部の位置座標を算出することができる。

視線領域特定部２２２は、算出したワールド座標系での人物頭部の位置座標から、視線特定部２０４が特定した視線の角度の方向を中心に所定の立体角に収まる空間を、ワールド座標系において特定する。所定の立体角は人物の全視野角であってもよいが、人物が注目できる程度のより狭い立体角が所定の立体角として予め定められていてよい。そして、視線領域特定部２２２は、ワールド座標系での撮像装置１００の位置、撮像装置１００の画角、および、特定したワールド座標系での視線方向の空間に基づき、当該視線方向の空間が撮像されているフレーム画像３００上の領域を、視線領域３３０として特定する。

画像処理部２３０は、特徴領域の一例としての頭部領域３１０および体部領域３２０、ならびに、視線領域３３０を、他の領域より強調したフレーム画像を生成する。強調処理としては、特徴領域および視線領域３３０をそれぞれ枠で囲む処理など視覚的な強調処理、特徴領域および視線領域３３０をそれぞれ切り出すトリミング処理、特徴領域および視線領域３３０を他の領域より高画質化するなど画像情報量を他の領域より高める処理などを例示することができる。

特徴領域および視線領域３３０をそれぞれ枠で囲む処理を施す場合には、頭部領域３１０と視線領域３３０とを同じ色の枠で囲んでもよい。視覚的な強調処理としては、その他にも、他の領域より彩度を高める処理などを例示することができる。

また、画像情報量を他の領域より高める処理としては、解像度、階調数、色数を他の領域より高める処理であったり、特徴領域および視線領域３３０の実質的なフレームレートを他の領域より高める処理などを例示することができる。なお、画像処理部２３０がフレーム画像３００を圧縮する場合には、上記他の領域の画像情報量を低減することにより、圧縮してよい。

このように、画像処理部２３０は、他の画像領域における画質を視線領域３３０より低減することにより、フレーム画像３００を圧縮する。具体的には、画像処理部２３０は、他の画像領域における解像度を視線領域３３０より低減したり、他の画像領域における画素値の階調数を視線領域３３０より低減したり、他の画像領域に含まれる色数を視線領域３３０より低減したりすることにより、フレーム画像３００を圧縮してよい。

また、画像処理部２３０は、動画として圧縮する場合には、他の画像領域における動画のフレームレートを視線領域３３０より低減することにより、画像取得部２００が取得した動画を圧縮してよい。このように、画像処理部２３０は、視線領域３３０における時間解像度を他の領域における時間解像度より高めてよい。

なお、画像処理部２３０は、特徴領域および視線領域３３０に対して超解像処理などを施すことにより、フレーム画像３００における特徴領域および視線領域３３０より解像度、階調数、および色数の少なくともいずれかを高めてもよい。また、画像処理装置１１０は、画像取得部２００が取得した動画に含まれる複数のフレーム画像のそれぞれから、上記のように特徴領域および視線領域を特定してよい。画像処理部２３０は、複数のフレーム画像のそれぞれに対して、特定した特徴領域および視線領域に上記した画像処理を施してよい。

以上説明したように、画像処理装置１１０によると、頭部領域３１０、体部領域３２０、および視線領域３３０を、他の領域より高めることができる。このため、人物が何に興味を持っているかを一見して確認することができる動画を提供することができる。

図４は、撮像範囲情報格納部２４０が格納しているレイアウト情報の一例を２次元的に示す。撮像範囲情報格納部２４０は、店舗空間１６０のレイアウト情報として、撮像範囲情報格納部２４０は、本図に示すように、店舗内平面４００における商品棚４１０、商品台４２０、およびレジ４３０が存在する範囲を格納している。また、レイアウト情報としては、商品棚４１０、商品台４２０、およびレジ４３０などの立体物の高さ情報を含んでよい。このように、撮像範囲情報格納部２４０は、店舗空間１６０の３次元のレイアウトを示すレイアウト情報を格納してよい。

また、撮像範囲情報格納部２４０は、撮像装置１００が撮像する撮像方向および画角情報、ならびに撮像装置１００の位置を示す位置情報を格納している。位置情報としては、店舗空間１６０における３次元の座標値などを例示することができる。撮像方向および画角情報としては、店舗空間１６０における３次元のベクトル情報などを例示することができる。撮像装置１００の撮像方向、画角、位置情報、およびレイアウト情報は、店舗空間１６０の空間全体をあらわすワールド座標系で定められてよい。撮像範囲情報格納部２４０が格納している撮像方向および画角情報、位置情報、ならびにレイアウト情報により、店舗空間１６０において撮像装置１００が撮像する範囲が特定され得る。

このように、撮像範囲情報格納部２４０は、複数の撮像装置１００がそれぞれ撮像する撮像範囲を特定する撮像範囲情報を格納している。これにより、対象領域特定部２２４は、視線領域３３０から人物の視線方向において物体が存在しない空間の領域を除くことができ、人物が見た対象物が撮像された画像領域を特定することができる。

図５は、視線領域および特徴領域の他の一例を示す。本図に示す視線領域および特徴領域は、視線領域の範囲が異なる点を除いて、図３に関連して説明した視線領域および特徴領域と同じであるので、以下の説明ではその相違点を説明する。なお、本図において図３に示したものと同じものには、図３で付した符号と同じ符号が付されている。

対象領域特定部２２４は、図４に関連して説明した撮像範囲情報に基づき、図３に関連して説明した視線領域３３０から人物の視線方向において物体が存在しない空間の領域を除くことにより、人物が見た対象物が撮像された画像領域である視線領域３３２を対象領域として特定する。これにより、視線領域の範囲をより限定することができるので、画像処理部２３０による処理後の画像情報量をより低減することができる。

具体的には、対象領域特定部２２４は、図３に関連して説明したワールド座標系での視線方向の空間と、ワールド座標系でのレイアウト情報から特定される商品棚４１０または商品台４２０（簡単のため、陳列器として総称する。）の占める空間とに基づき、視線方向の空間と、陳列器が占める空間との双方に含まれる空間を、ワールド座標系において特定する。なお、他の立体物により人物の視野が遮られることにより、特定した空間の一部の空間しか人物の視野に収まらない場合がある。この場合、対象領域特定部２２４は、人物の視野に収まっている空間を、ワールド座標系での人物の位置座標と、立体物のレイアウト情報とに基づき、ワールド座標系において注視空間として特定することができる。他の立体物で視野が遮られていない場合には、特定した空間を注視空間とすることができる。

対象領域特定部２２４は、ワールド座標系での撮像装置１００の位置、撮像装置１００の画角、および、ワールド座標系での注視空間に基づき、当該注視空間が撮像されているフレーム画像３００上の領域を、視線領域３３２として特定する。このように、対象領域特定部２２４は、人物が実際に見ている商品などの物体が存在する空間に対応するフレーム画像３００上の領域を、視線領域３３２として特定することができる。

図６は、画像処理部２３０により生成される動画の一例を示す。動画６０２は画像取得部２００が取得した動画を示しており、人物の頭部の領域の動画６１２、人物の体部の領域の動画６２２、背景の動画６３２、および視線領域の動画６４２は、画像処理部２３０が動画６０２を圧縮することにより生成した動画を示している。

画像処理部２３０は、フレーム画像６００−１の画素値を、特徴領域特定部２０２がフレーム画像６００−１において特定した人物の頭部領域以外の領域において所定の値に変換することにより、人物の頭部領域だけ被写体の画像情報を有するフレーム画像６１０−１を生成する。同様にして、画像処理部２３０は、フレーム画像６００−２〜５から、それぞれフレーム画像６００−２〜５において特定した人物の頭部領域だけ被写体の画像情報を有するフレーム画像６１０−２〜５を生成する。

また、画像処理部２３０は、フレーム画像６００−１を所定の解像度に低減するとともに、特徴領域特定部２０２がフレーム画像６００−１において特定した人物の体部領域に対応する領域以外の領域を所定の画素値に変換することにより、人物の体部領域だけ被写体の画像情報を有するフレーム画像６２０−１を生成する。同様にして、画像処理部２３０は、フレーム画像６００−３およびフレーム画像６００−５から、それぞれフレーム画像６００−３およびフレーム画像６００−５において特定した人物の頭部領域だけ被写体の画像情報を有するフレーム画像６２０−２およびフレーム画像６２０−３を生成する。

なお、画像処理部２３０は、フレーム画像６００の画素を間引くことにより解像度を１／２にしたフレーム画像６２０を生成してよい。また、画像処理部２３０は、フレーム画像６００−２およびフレーム画像６００−４を間引くことにより、フレームレートが１／２の動画６２２を生成してよい。

また、画像処理部２３０は、フレーム画像６００−１を所定の解像度に低減することで、フレーム画像６３０−１およびフレーム画像６３０−２を生成する。フレーム画像６３０の解像度は、フレーム画像６２０よりさらに低くてよい。例えば、画像処理部２３０は、フレーム画像６００の解像度を１／４にすることにより、フレーム画像６３０を生成してよい。また、画像処理部２３０は、画像処理部２３０は、フレーム画像６００−２〜４を間引くことにより、フレームレートが１／４の動画６４２を生成してよい。

また、画像処理部２３０は、フレーム画像６００−１の画素値を、特徴領域特定部２０２がフレーム画像６００−１において特定した視線領域以外の領域において所定の値に変換することにより、視線領域だけ被写体の画像情報を有するフレーム画像６４０−１を生成する。同様にして、画像処理部２３０は、フレーム画像６００−２〜５から、それぞれフレーム画像６００−２〜５において特定した視線領域だけ被写体の画像情報を有するフレーム画像６４０−２〜５を生成する。

本図の例では、画像処理部２３０は、複数のフレーム画像６００のそれぞれから、フレーム画像６００と同じ解像度のフレーム画像６４０を生成したが、画像処理部２３０は、フレーム画像６００より低い解像度のフレーム画像６４０を生成してもよい。また、画像処理部２３０は、動画６０２のフレームレートと異なるフレームレートの動画６４２を生成してもよい。なお、本図の例のようにフレーム画像６１０とフレーム画像６４０との間で解像度およびフレームレートが同じである場合には、画像処理部２３０は、頭部領域６１１および視線領域６４１においてだけ被写体の画像情報を有するフレーム画像を生成してもよい。

また、本図の例では、画像処理部２３０が制御する画質の一例として、解像度およびフレームレートを例に挙げて画像処理部２３０の動作を説明した。画質としては、解像度およびフレームレートの他に、階調数、色数、およびダイナミックレンジなど種々のパラメータを例示することができる。また、画像処理部２３０は、上述したように、頭部領域６１１、体部領域６２１、および視線領域６４１に、彩度などの視覚的な強調処理を施してもよい。

画像処理部２３０は、フレーム画像６１０に対してＭＰＥＧ符号化などにより符号化して、ＭＰＥＧ符号化された動画６１２を生成することができる。同様に、画像処理部２３０は、フレーム画像６２０、フレーム画像６３０、およびフレーム画像６４０をそれぞれＭＰＥＧ符号化することにより、動画６２２、動画６３２、および動画６４２を生成してよい。

図７は、画像処理部２３０により生成される動画の他の一例を示す。画像処理部２３０は、画像取得部２００が取得した動画に含まれるフレーム画像７００から、画質の異なる複数のフレーム画像７５０ａ〜ｃを生成する。そして、画像処理部２３０は、フレーム画像７５０ａ〜ｃの間で差分処理をすることにより、フレーム画像を圧縮する。

具体的には、画像処理部２３０は、頭部領域用および視線領域用のフレーム画像７５０ａを、フレーム画像７００を複製することにより生成する。また、画像処理部２３０は、フレーム画像７００を体部領域用の解像度に低減することにより、体部領域用のフレーム画像７５０ｂを生成する。また、画像処理部２３０は、フレーム画像７００を背景領域用の解像度に低減することにより、体部領域用のフレーム画像７５０ｂを生成する。体部領域用の解像度はフレーム画像７００の１／２の解像度であってよく、背景領域用の解像度はフレーム画像７００の１／４の解像度であってよい。

ここで、画像処理部２３０は、フレーム画像７００を体部領域用の解像度に低減した画像と、フレーム画像７５０ｃを体部領域用の解像度に拡大した画像との差分情報を有するフレーム画像７５０ｂを生成する。このとき、画像処理部２３０は、頭部領域７１１ｂ、体部領域７２１、および視線領域７４１ｂにおいて差分情報を有しており、頭部領域７１１ｂ、体部領域７２１、および視線領域７４１ｂ以外の領域において差分値が０であるフレーム画像７５０ｂを生成する。

同様に、画像処理部２３０は、フレーム画像７００と同じ解像度の画像と、フレーム画像７５０ｂをフレーム画像７００と同じ解像度に拡大した画像との差分情報を有するフレーム画像７５０ａを生成する。このとき、画像処理部２３０は、頭部領域７１１ａおよび視線領域７４１ａにおいて差分情報を有しており、頭部領域７１１ａおよび視線領域７４１ａ以外の領域において差分値が０であるフレーム画像７５０ｂを生成する。

これにより、端末装置１８０は、フレーム画像７５０ｃおよびフレーム画像７５０ｂを取得して合成することで、頭部領域７１１ｂ、体部領域７２１ｂ、および視線領域７４１ｂにおいて他の領域より解像度が高いフレーム画像を得ることができる。また、端末装置１８０は、フレーム画像７５０ａ〜ｃを取得して合成することで、頭部領域７１１ａおよび視線領域７４１ａにおいて、他の領域より解像度が高く、体部領域において、頭部領域、体部領域、および視線領域以外の領域より解像度が高いフレーム画像を得ることができる。

以上図６および図７に関連して説明したように、画像処理装置１１０によると、特徴領域の特徴の種類、視線領域に応じて画質を制御して、符号量を低減することができる。このとき、頭部領域および視線領域の画質を維持することができるので、顧客の年齢層を正確に分析したり、顧客が興味を持った商品などを正確に分析することができる映像を提供することができる。

図８は、興味に応じた人物の行動の一例を示す。画像処理部２３０は、視線領域の画質を、人物の興味度に応じて決定してよい。

興味度を算出する指標としては、視線方向と人体の方向とがなす角を例示することができる。人物が移動している場合、人体の方向としては、人物の移動方向を例示することができる。他にも、人体の方向とは、人物の体部の正面が向く方向であってよい。この場合、静止画からでも人体の方向を特定することができる。

本図を参照して、一のフレーム画像８００には、人物オブジェクト８５０ａおよび人物オブジェクト８５０ｂが含まれるとする。視線特定部２０４は、フレーム画像８００において、人物オブジェクト８５０ａの人物の視線方向８８０ａと、人物オブジェクト８５０ｂの人物の視線方向８８０ｂとを特定する。そして、画像処理部２３０は、人物オブジェクト８５０ａの人物の体の方向である体方向８９０ａを算出して、体方向８９０ａと視線方向８８０ａとがなす角度を算出する。また、画像処理部２３０は、人物オブジェクト８５０ｂの人物の体の方向である体方向８９０ｂを算出して、体方向８９０ｂと視線方向８８０ｂとがなす角度を算出する。そして、画像処理部２３０は、当該角度の大きさが大きいほど、より大きい興味度を算出する。

人物オブジェクト８５０ａの人物は、特定の商品８６０が位置する方向を向いているが、商品８６０に興味を持っているわけではなく、ただぼんやり見ている場合もある。一方、人物オブジェクト８５０ｂの人物は、体の方向と異なる向きにわざわざ頭を向けて、商品８６０が位置する方向を見ている。この場合、人物オブジェクト８５０ｂの人物は、商品８６０に興味を持っている可能性が高い。このように、顧客が興味を抱いた商品を見つけた場合には、体の向きよりも先に頭部の向きをその商品に向ける場合が多い。画像処理部２３０が、体方向と視線方向とがなす角度の大きさが大きいほど興味度を大きく算出する。このため、画像処理装置１１０は、顧客の興味度が高い商品のオブジェクトを正確に分析することができる画像を提供することができる。

興味度の他の算出例を、フレーム画像の画像領域８０５の画像を用いて説明する。画像領域８０５は興味度の他の算出方法を説明するための図であり、３フレームから抽出された人物の頭部のオブジェクトである頭部オブジェクト８５５−１〜３が、同一の画像領域８０５上に重ねて示してある。ここで、画像処理部２３０は、当該人物は体方向の一例として移動方向８９５を特定する。画像処理部２３０は、視線特定部２０４が各フレーム画像から算出した視線方向８８５と、移動方向８９５とがなす角度を算出する。

そして、画像処理部２３０は、移動方向８９５と視線方向８８５とがなす角度の時間的な変化量がより大きい場合に、興味度をより大きく算出してよい。例えば、画像処理部２３０は、視線方向８８５が特定の領域を向いており、かつ、上記角度の時間的な変化量の大きさがより大きい場合に、興味度をより大きく算出してよい。本図の下図に示すように、移動しながら商品８６０の方向を見ている人物は、商品８６０により強い興味を抱いていることが予想される。本例では、視線方向８８５と移動方向８９５とがなす角度の大きさが時間的に増加しているので、画像処理部２３０は興味度を比較的に大きく算出して、商品８６０の画像領域をより高画質にする。

また、人物が特定の商品の方を見つつ移動方向を当該商品の方向に変えた場合にも、当該人物はその商品により強く興味を抱いていることが予想される。この場合、時間が経過するにつれて、移動方向と視線方向とがなす角度の大きさは時間的に減少していく。画像処理部２３０が上記角度の時間的な変化量の大きさから興味度を算出するので、このような人物についても興味度を適切に算出することができる。

なお、画像処理部２３０は、人物が商品を見た時間をひとつの指標として興味度を算出してもよい。例えば、画像処理部２３０は、時間特定部２２６が特定した時間長さが長いほど、興味度をより大きく算出してよい。そして、画像処理部２３０は、興味度が大きいほど、視線領域の画質を高くしてよい。

図９は、画像処理部２３０が記憶しているデータの一例をテーブル形式で示す。画像処理部２３０は、注視時間、角度の大きさ、角度変化量の絶対値に対応づけて、興味度を算出する。注視時間は、時間特定部２２６が算出する時間を示す。角度の大きさは、図８に関連して説明した、体方向と視線方向とがなす角度の大きさを示す。角度変化量の絶対値は、図８の下図に関連して説明した、移動方向と視線方向とがなす角度の単位時間あたりの変化量の絶対値を示す。

画像処理部２３０は、時間特定部２２６が特定した注視時間に対応づけて記憶している興味度、および、体方向と視線方向とがなす角度の大きさに対応づけて記憶している興味度を特定する。また、画像処理部２３０は、人物が移動している場合には、移動方向と視線方向とがなす角度の単位時間あたりの変化量に対応づけて記憶している興味度を特定する。そして、画像処理部２３０は、特定した各興味度を所定の重み付けて合計することなど、特定した各興味度を総合して、総合的な興味度を算出する。他にも、画像処理部２３０は、特定した興味度の最大値を総合的な興味度として算出してよい。そして、画像処理部２３０は、総合的な興味度が大きいほど、視線領域の画質を高くしてよい。

図１０は、視線領域情報と人物情報との対応づけの一例を示す。出力部２９０は、人物の頭部領域の情報と、視線領域の情報とを対応づけて出力する。頭部領域の情報とは、フレーム画像内の画像領域を特定する情報であってよい。例えば、頭部領域が矩形である場合、頭部領域の情報としては、矩形の対角の座標値を例示することができる。その他の場合においても、頭部領域を規定するベクトル情報などを、頭部領域の情報として例示することができる。同様に、視線領域の情報としては、視線領域を規定するベクトル情報など、フレーム画像内における画像領域を特定する情報であってよい。

その他、頭部領域の情報とは、頭部領域の解析結果であってもよい。例えば、頭部領域から抽出した画像の特徴量、頭部領域の画像を画像認識することにより識別した人物を特定する情報であってもよい。同様に、視線領域の情報とは、視線領域の解析結果であってもよい。例えば、視線領域から抽出した画像の特徴量、視線領域の画像を画像認識することにより識別した物体を特定する情報であってもよい。

ここで、本図を参照して、フレーム画像１０００−１は人物オブジェクト１０５０−１および人物オブジェクト１０５１−２を含んでいる。人物オブジェクト１０５０−１の人物の視線方向にある物体は、人物オブジェクト１０５１−１により遮られて、フレーム画像１０００−１内には撮像されていない。

一方、他のフレーム画像１０００−５が撮像されたタイミングでは、人物オブジェクト１０５１−５の人物が移動しており、人物オブジェクト１０５０−１の人物の視線方向にある物体はフレーム画像１０００−５内に撮像されている。選択部２２８は、視線特定部２０４が特定した視線領域にある人物以外の物体が撮像されているフレーム画像を、画像取得部２００が取得した動画に含まれるフレーム画像の中から選択する。そして、視線領域特定部２２２は、選択部２２８が選択したフレーム画像１０００−５における視線領域１０３０を特定する。これにより、画像処理装置１１０は、視線の先の物体が他の人物に遮られて撮像されていない場合においても、人物の頭部の画像と当該人物が見た物体の画像とを正確に対応づけることができる。

図１１は、他の撮像装置１００が撮像したフレーム画像から視線領域を特定する一形態を示す。上記の実施形態においては、特定の撮像装置１００が撮像したフレーム画像から視線領域を抽出したが、画像処理装置１１０は、視線を特定したフレーム画像を撮像した撮像装置１００と異なる撮像装置１００が撮像したフレーム画像から、視線領域を特定してもよい。

図１１を参照して、フレーム画像１１００ａは撮像装置１００ａが撮像したフレーム画像であり、フレーム画像１１００ｂは撮像装置１００ｂが撮像したフレーム画像であるとする。フレーム画像１１００ａには、人物オブジェクト１１５０ａが含まれており、視線特定部２０４は、人物オブジェクト１１５０ａの人物の視線方向１１４０を特定する。

選択部２２８は、撮像装置１００ｂにより撮像された１以上のフレーム画像の中から、予め定められた条件に適合する条件で人物の視線方向１１４０の領域が撮像されたフレーム画像１１００ｂを選択する。予め定められた条件に適合する条件で撮像されたフレーム画像としては、予め定められた大きさより大きく撮像されたフレーム画像、予め定められた画質より高い画質で撮像されたフレーム画像、予め定められた方向に合致する方向から撮像されているフレーム画像などを例示することができる。

視線領域特定部２２２は、フレーム画像１１００ｂにおける、人物の視線方向の領域が撮像された画像領域である視線領域１１３０を特定する。そして、画像処理部２３０は、視線領域特定部２２２が特定したフレーム画像１１００ｂにおける画像領域である視線領域１１３０を、フレーム画像１１００ｂにおける他の画像領域より強調する。

このように、選択部２２８は、複数の撮像装置１００により撮像された複数のフレーム画像の中から、予め定められた条件に適合する条件で人物の視線方向の領域が撮像されたフレーム画像を選択する。このため、人物の顔を正面近くから撮像した頭部領域１１１０ａの画像情報と、正面近くから撮像された視線領域１１３０の画像情報とを対応づけることができる。

なお、視線特定部２０４は、図３に関連して説明したように、フレーム画像１１００ａを撮像した撮像装置１００の位置および画角から、人物の視線方向の空間をワールド座標系において特定することができる。また、対象領域特定部２２４は、図１１に関連して説明したように、ワールド座標系での注視空間を特定することができる。そして、対象領域特定部２２４は、フレーム画像１１００ｂを撮像した撮像装置１００のワールド座標系での位置および画角と、ワールド座標系での注視空間に基づき、当該注視空間が撮像されているフレーム画像１１００ｂ上の領域を、対象領域として特定することができる。これにより、対象領域特定部２２４は、人物が実際に見ている商品などの物体が存在する空間に対応するフレーム画像１１００ｂ上の領域を、対象領域として特定することができる。

なお、図１１に関連して、視線領域特定部２２２が他の撮像装置１００が撮像したフレーム画像から視線領域を特定する場合の機能および動作を説明した。視線領域特定部２２２が視線領域を特定した後の処理については、同じ撮像装置１００が撮像したフレーム画像の視線領域に対する処理と同様の処理をすることができるので、その説明を省略する。

以上図１から図１１に関連して説明したように、画像処理システム１０によると、得られた画像から、顧客情報を正確に分析したり、当該顧客が興味を持った商品を正確に分析したりすることができる。このように、画像処理システム１０は、店舗用の画像処理システムとして機能することができる。

その他、画像処理システム１０は多様な用途に適用することができる。例えば、画像処理システム１０によると、顧客が興味を持った商品の情報に基づき広告コンテンツを顧客に提供することもでき、この場合、画像処理システム１０はサイネージシステムとして機能することができる。また、画像処理システム１０は、不審者が注目したものを特定する監視システムあるいは防犯システムとして機能することもできる。

また、画像処理装置１１０は、異なる店舗空間１６０の動画を取得して、解析してもよい。これにより、顧客の動向などを店舗間で比較することができる。また、上記においては店舗用のシステムとして画像処理システム１０の機能および動作を説明したが、画像処理システム１０の用途としては、店舗用以外にも種々の用途に利用することができる。

なお、画像処理装置１１０の機能は、店舗サーバ１７０が有してもよい。店舗サーバ１７０において動画を圧縮して通信ネットワーク１５０に送信することで、画像のデータ量を低減しつつ、人物・商品の画像領域に後の分析に適した十分な情報量を持たせることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

一実施形態における画像処理システム１０の一例を示す図である。 画像処理装置１１０のブロック構成の一例を示す図である。 視線領域および特徴領域の一例を示す図である。 撮像範囲情報格納部２４０が格納しているレイアウト情報の一例を２次元的に示す図である。 視線領域および特徴領域の他の一例を示す図である。 画像処理部２３０により生成される動画の一例を示す図である。 画像処理部２３０により生成される動画の他の一例を示す図である。 興味に応じた人物の行動の一例を示す図である。 画像処理部２３０が記憶しているデータの一例をテーブル形式で示す図である。 視線領域情報と人物情報との対応づけの一例を示す図である。 他の撮像装置１００が撮像したフレーム画像から視線領域を特定する一形態を示す図である。

１０ 画像処理システム
９０ 記憶媒体
１００ 撮像装置
１１０ 画像処理装置
１１２ 処理結果データベース
１５０ 通信ネットワーク
１６０ 店舗空間
１６２ 商品棚
１６４ 人物
１７０ 店舗サーバ
１８０ 端末装置
２００ 画像取得部
２０２ 特徴領域特定部
２０４ 視線特定部
２２０ 視線領域解析部
２２２ 視線領域特定部
２２４ 対象領域特定部
２２６ 時間特定部
２２８ 選択部
２３０ 画像処理部
２４０ 撮像範囲情報格納部
２９０ 出力部
３００ フレーム画像
３１０ 頭部領域
３２０ 体部領域
３３０、３３２ 視線領域
３５０ 人物オブジェクト
３６０ 商品台オブジェクト
３８０ 視線方向
４００ 店舗内平面
４１０ 商品棚
４２０ 商品台
４３０ レジ
６０２、６１２、６２２、６３２、６４２ 動画
６００、６１０、６２０、６３０、６４０ フレーム画像
６１１ 頭部領域
６２１ 体部領域
６４１ 視線領域
７００ フレーム画像
７１１ 頭部領域
７２１ 体部領域
７４１ 視線領域
７５０ フレーム画像
８００ フレーム画像
８０５ 画像領域
８５０ 人物オブジェクト
８５５ 頭部オブジェクト
８６０ 商品
８８０、８８５ 視線方向
８９０ 体方向
８９５ 移動方向
１０００ フレーム画像
１０５０、１０５１ 人物オブジェクト
１０３０ 視線領域
１１００ フレーム画像
１１１０ 頭部領域
１１３０ 視線領域
１１４０ 視線方向
１１５０ 人物オブジェクト

Claims (16)

1. 複数の撮像装置がそれぞれ撮像した画像を取得する画像取得部と、
   第１撮像装置が撮像した第１画像に撮像されている人物の視線方向を特定する視線特定部と、
   第２撮像装置により撮像された第２画像における、前記人物の視線方向の領域が撮像された画像領域を特定する視線領域特定部と、
   前記視線領域特定部が特定した前記第２画像における画像領域である視線領域を、前記第２画像における他の画像領域より強調する画像処理部と
   を備える画像処理システム。
2. 前記視線領域特定部が特定した前記第２画像における画像領域のうち、前記人物が見た対象物が撮像された画像領域を前記視線領域として特定する対象領域特定部
   をさらに備え、
   前記画像処理部は、前記対象領域特定部が特定した前記視線領域を、前記他の画像領域より強調する
   請求項１に記載の画像処理システム。
3. 前記対象領域特定部は、前記人物の視線方向の画像領域のうち、前記人物が見た予め定められた特定の対象物が撮像された画像領域を前記視線領域として特定する
   請求項２に記載の画像処理システム。
4. 前記複数の撮像装置がそれぞれ撮像する撮像範囲を特定する撮像範囲情報を格納する撮像範囲情報格納部
   をさらに備え、
   前記視線領域特定部は、前記撮像範囲情報に基づいて、前記人物の視線方向の領域が撮像された画像領域を特定する
   請求項１乃至３のいずれかに記載の画像処理システム。
5. 前記撮像範囲情報格納部は、前記複数の撮像装置の位置および前記複数の撮像装置のそれぞれの撮像方向を含む前記撮像範囲情報を格納する
   請求項４に記載の画像処理システム。
6. 前記撮像範囲情報に基づいて、前記複数の撮像装置により撮像された複数の画像の中から、予め定められた条件に適合する条件で前記人物の視線方向の領域が撮像された前記第２画像を選択する選択部
   をさらに備える請求項４または５に記載の画像処理システム。
7. 前記人物を特定する情報と、前記人物の視線方向の領域に撮像された領域とを対応づけて出力する出力部
   をさらに備える請求項１乃至６のいずれかに記載の画像処理システム。
8. 前記人物が前記視線方向を向いていた時間長さである注視時間を特定する時間特定部
   をさらに備え、
   前記画像処理部は、前記注視時間が長いほど、前記視線領域をより強調する
   請求項１乃至７のいずれかに記載の画像処理システム。
9. 前記時間特定部は、前記人物が前記視線方向を継続して向いていた時間長さを前記注視時間として特定する
   請求項８に記載の画像処理システム。
10. 前記時間特定部は、前記人物の視線が前記視線方向に向いていた複数の期間の合計の時間長さを、前記注視時間として特定する
    請求項８に記載の画像処理システム。
11. 前記画像取得部は、動画を取得し、
    前記視線特定部は、前記動画に撮像されている前記人物の視線方向を特定し、
    前記画像処理部は、前記動画における前記視線領域を、前記他の画像領域より強調する
    請求項１乃至１０のいずれかに記載の画像処理システム。
12. 前記画像処理部は、前記他の画像領域における画質を前記視線領域より低減する
    請求項１乃至１１のいずれかに記載の画像処理システム。
13. 前記画像処理部は、前記視線領域を前記他の画像領域より小さい強度で圧縮する
    請求項１に記載の画像処理システム。
14. 前記複数の撮像装置をさらに備える
    請求項１乃至１３のいずれかに記載の画像処理システム。
15. 複数の撮像装置がそれぞれ撮像した画像を取得する画像取得段階と、
    第１撮像装置が撮像した第１画像に撮像されている人物の視線方向を特定する視線特定段階と、
    第２撮像装置により撮像された第２画像における、前記人物の視線方向の領域が撮像された画像領域を特定する視線領域特定段階と、
    前記視線領域特定段階において特定された前記第２画像における画像領域である視線領域を、前記第２画像における他の画像領域より強調する画像処理段階と
    を備える画像処理方法。
16. 画像処理システム用のプログラムであって、コンピュータを、
    複数の撮像装置がそれぞれ撮像した画像を取得する画像取得部、
    第１撮像装置が撮像した第１画像に撮像されている人物の視線方向を特定する視線特定部、
    第２撮像装置により撮像された第２画像における、前記人物の視線方向の領域が撮像された画像領域を特定する視線領域特定部、
    前記視線領域特定部が特定した前記第２画像における画像領域である視線領域を、前記第２画像における他の画像領域より強調する画像処理部
    として機能させるプログラム。

Images