JP2010268157A - Image processing unit, method of processing image, and program - Google Patents
Image processing unit, method of processing image, and program Download PDFInfo
- Publication number
- JP2010268157A JP2010268157A JP2009116977A JP2009116977A JP2010268157A JP 2010268157 A JP2010268157 A JP 2010268157A JP 2009116977 A JP2009116977 A JP 2009116977A JP 2009116977 A JP2009116977 A JP 2009116977A JP 2010268157 A JP2010268157 A JP 2010268157A
- Authority
- JP
- Japan
- Prior art keywords
- image
- line
- sight
- image processing
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、画像処理装置、画像処理方法およびプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program.
画像の背景部分の情報量が人物部分の情報量より削減することができる技術が知られている（例えば、特許文献１参照。）。特許文献１には、目を検出する技術が開示されている。また、複数のカメラにより得られた画像から、人物の移動方向の領域を切り出す技術が知られている（例えば、特許文献２参照。）。
上記特許文献１に記載の技術によると、人物像を高解像度とすることができるが、人物が見ている物体の画像は低解像度になってしまう。また、上記特許文献２に記載の技術では、人物が見ている方向がトリミングで取り除かれてしまう場合がある。このように、上記特許文献に記載の技術によると、人物が何を注視しているかを分析するための画像情報が失われてしまうという課題があった。 According to the technique described in Patent Document 1, a human image can have a high resolution, but an image of an object viewed by a person has a low resolution. In the technique described in Patent Document 2, the direction in which a person is looking may be removed by trimming. Thus, according to the technique described in the above-mentioned patent document, there is a problem that image information for analyzing what the person is gazing at is lost.
上記課題を解決するために、本発明の第１の態様においては、画像処理装置であって、画像を取得する画像取得部と、画像内に撮像されている人物の視線方向を特定する視線特定部と、人物の視線方向の画像領域である視線領域を、他の画像領域より小さい強度で圧縮する画像処理部とを備える。 In order to solve the above-described problem, in the first aspect of the present invention, an image processing apparatus includes an image acquisition unit that acquires an image and a line-of-sight specification that specifies a line-of-sight direction of a person imaged in the image. And an image processing unit that compresses a line-of-sight area, which is an image area in the line-of-sight direction of a person, with a smaller intensity than other image areas.
画像における特徴的な領域である特徴領域を特定する特徴領域特定部をさらに備え、画像処理部は、特徴領域特定部が特定した特徴領域および視線領域を、他の領域より小さい強度で圧縮してよい。 The image processing unit further includes a feature region specifying unit that specifies a feature region that is a characteristic region in the image, and the image processing unit compresses the feature region and the line-of-sight region specified by the feature region specifying unit with a smaller intensity than the other regions. Good.
特徴領域特定部は、予め定められた条件に適合するオブジェクトを含む領域を、特徴領域として特定してよい。 The feature region specifying unit may specify a region including an object that meets a predetermined condition as a feature region.
特徴領域特定部は、人物のオブジェクトを含む領域を、特徴領域として特定してよい。 The feature region specifying unit may specify a region including a person object as a feature region.
人物の視線方向および画像として撮像された撮像空間情報に基づいて、人物の視線方向の画像領域のうち、人物が見た対象物が撮像された画像領域を視線領域として特定する対象領域特定部をさらに備え、画像処理部は、対象領域特定部が特定した視線領域を、他の画像領域より小さい強度で圧縮してよい。 A target area specifying unit that specifies, as a line-of-sight area, an image area in which an object viewed by a person is imaged out of image areas in the line-of-sight direction of a person based on the line-of-sight direction of the person and imaging space information captured as an image Further, the image processing unit may compress the line-of-sight region specified by the target region specifying unit with a smaller intensity than the other image regions.
対象領域特定部は、人物の視線方向の画像領域のうち、人物が見た予め定められた特定の対象物が撮像された画像領域を視線領域として特定してよい。 The target area specifying unit may specify, as the line-of-sight area, an image area in which a predetermined specific object viewed by the person is captured among the image areas in the line-of-sight direction of the person.
人物が視線方向を向いていた時間長さである注視時間を特定する時間特定部をさらに備え、画像処理部は、注視時間さが長いほど、視線領域をより小さい強度で圧縮してよい。 The image processing unit may further include a time specifying unit that specifies a gaze time, which is a length of time during which the person is facing the line of sight, and the image processing unit may compress the line-of-sight region with a smaller intensity as the gaze time is longer.
時間特定部は、人物が視線方向を継続して向いていた時間長さを注視時間として特定してよい。時間特定部は、人物の視線が視線方向に向いていた複数の期間の合計の時間長さを、注視時間として特定してもよい。 The time specifying unit may specify the length of time that the person is continuously facing the line of sight as the gaze time. The time specifying unit may specify a total time length of a plurality of periods in which the person's line of sight is directed in the line of sight as the gaze time.
画像取得部は、動画を取得し、視線特定部は、動画内に撮像されている人物の視線方向を特定し、画像処理部は、動画における視線領域を、他の画像領域より小さい強度で圧縮してよい。 The image acquisition unit acquires a moving image, the line-of-sight specifying unit specifies the line-of-sight direction of the person imaged in the moving image, and the image processing unit compresses the line-of-sight region in the moving image with a smaller intensity than other image regions. You can do it.
画像処理部は、他の画像領域における画質を視線領域より低減してよい。また、画像処理部は、他の画像領域における解像度を視線領域より低減してよい。また、画像処理部は、他の画像領域における画素値の階調数を視線領域より低減してよい。また、画像処理部は、他の画像領域に含まれる色数を視線領域より低減してよい。また、画像処理部は、他の画像領域における動画のフレームレートを視線領域より低減してよい。 The image processing unit may reduce the image quality in the other image areas as compared to the line-of-sight area. In addition, the image processing unit may reduce the resolution in the other image area as compared to the line-of-sight area. Further, the image processing unit may reduce the number of gradations of pixel values in other image areas as compared to the line-of-sight area. In addition, the image processing unit may reduce the number of colors included in the other image area as compared to the line-of-sight area. Further, the image processing unit may reduce the frame rate of the moving image in the other image area as compared with the line-of-sight area.
本発明の第２の態様においては、画像処理方法であって、画像を取得する画像取得段階と、画像内に撮像されている人物の視線方向を特定する視線特定段階と、人物の視線方向の画像領域である視線領域を、他の画像領域より小さい強度で圧縮する画像処理段階とを備える。 According to a second aspect of the present invention, there is provided an image processing method, an image acquisition stage for acquiring an image, a gaze identification stage for identifying a gaze direction of a person imaged in the image, and a gaze direction of the person And an image processing step of compressing the line-of-sight region, which is an image region, with a smaller intensity than the other image regions.
本発明の第３の態様においては、画像処理装置用のプログラムであって、コンピュータを、画像を取得する画像取得部、画像内に撮像されている人物の視線方向を特定する視線特定部、人物の視線方向の画像領域である視線領域を、他の画像領域より小さい強度で圧縮する画像処理部として機能させる。 According to a third aspect of the present invention, there is provided a program for an image processing apparatus, wherein the computer includes an image acquisition unit that acquires an image, a line-of-sight specifying unit that specifies a line-of-sight direction of a person imaged in the image, and a person The line-of-sight area, which is an image area in the line-of-sight direction, is caused to function as an image processing unit that compresses with a smaller intensity than other image areas.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図１は、一実施形態における画像処理システム１０の一例を示す。以下に説明するように、画像処理システム１０は、一実施形態において店舗用の画像処理システムとして機能することができる。
FIG. 1 shows an example of an
画像処理システム１０は、店舗空間１６０を撮像する複数の撮像装置１００ａ−ｂ、店舗サーバ１７０、通信ネットワーク１５０、画像処理装置１１０、処理結果データベース１１２、および端末装置１８０を備える。なお、以下の説明において、撮像装置１００ａおよび撮像装置１００ｂを、撮像装置１００と総称する場合がある。同様に、以後の説明においては、末尾の英文字など、数字符号に続く文字を省略することで、数字符号が指し示すものを総称することがある。
The
撮像装置１００ａは店舗空間１６０を撮像する。撮像装置１００ａは、店舗空間１６０内の人物１６４ａおよび人物１６４ｂを、店舗空間１６０内の商品棚１６２ａ、商品棚１６２ｂなどとともに撮像して、動画を生成する。撮像装置１００ａは、店舗空間１６０を撮像して得られた動画を、店舗サーバ１７０に供給する。なお、撮像装置１００ｂは、撮像装置１００ａと異なる位置に設けられている。その他の点においては、撮像装置１００ｂの機能および動作は撮像装置１００ａの機能および動作と略同一であるので、撮像装置１００ｂについては説明を省略する。
The
店舗サーバ１７０は、撮像装置１００ａおよび撮像装置１００ｂから供給された動画を、画像処理装置１１０に向けて通信ネットワーク１５０に送出する。通信ネットワーク１５０としては、インターネットなどの電気通信回線を例示することができる。店舗サーバ１７０は、例えば撮像装置１００の近傍に設けられる。他の形態において、店舗サーバ１７０は店舗空間１６０内に設けられてもよい。
The
また、店舗サーバ１７０は、撮像装置１００の撮像動作を制御する。例えば、店舗サーバ１７０は、撮像装置１００の撮像機能のオン／オフ、撮像レートなどを制御する。撮像装置１００がズーム撮影できる場合には、店舗サーバ１７０は撮像装置１００のズーム値を制御してもよい。また、撮像装置１００の撮像方向が可変である場合には、店舗サーバ１７０は撮像装置１００の撮像方向を制御してもよい。
Further, the
画像処理装置１１０は、店舗空間１６０とは異なる空間に設けられ、撮像装置１００がそれぞれ撮像した動画を、通信ネットワーク１５０を通じて店舗サーバ１７０から取得する。画像処理装置１１０は、動画を処理して、処理結果を端末装置１８０に向けて通信ネットワーク１５０に送出する。
The
なお、画像処理装置１１０は、処理結果を処理結果データベース１１２に出力してもよい。画像処理装置１１０は、処理結果を処理結果データベース１１２から読み出して、読み出した処理結果を端末装置１８０に送信してもよい。なお、処理結果データベース１１２は、画像処理装置１１０が有してもよい。他にも、処理結果データベース１１２は、画像処理装置１１０が設けられた空間とは異なる空間に設けられてよい。この場合、画像処理装置１１０は、通信ネットワーク１５０を介して処理結果データベース１１２に処理結果を送信してもよい。
Note that the
端末装置１８０は、画像処理装置１１０による処理結果を、通信ネットワーク１５０を通じて画像処理装置１１０から取得する。端末装置１８０は、処理結果をユーザの指示に応じて加工して表示する。端末装置１８０は、画像処理装置１１０が設けられた空間とは異なる空間に設けられてよい。端末装置１８０は、店舗空間１６０の近傍または店舗空間１６０内に設けられてもよい。
The
以下に、画像処理装置１１０の動作の一例を概略的に説明する。画像処理装置１１０は、画像処理装置１１０が撮像した動画に含まれる複数のフレーム画像のそれぞれから、人物１６４が撮像されたオブジェクトを抽出する。そして、画像処理装置１１０は、フレーム画像の内容から、人物１６４の視線方向を特定する。
Hereinafter, an example of the operation of the
そして、画像処理装置１１０は、フレーム画像の画像領域上における人物１６４の視線方向から、人物１６４が注目している物体の像である注目オブジェクトを特定する。画像処理装置１１０は、特定した注目オブジェクトの領域を強調する処理を施す。例えば、画像処理装置１１０は、注目オブジェクトを枠で囲むなどの強調処理を動画に施す。他にも、画像処理装置１１０は、注目オブジェクトの領域以外の領域を低解像度化する圧縮処理を動画に施す。
Then, the
そして、端末装置１８０は、画像処理装置１１０により処理された動画を取得して表示する。画像処理装置１１０により注目オブジェクトの領域が強調されているので、端末装置１８０が表示された動画を観察することで人物１６４がいずれの商品に興味を持ったかを容易に特定することができる。
Then, the
なお、画像処理装置１１０は、撮像装置１００ａが撮像したフレーム画像から、人物１６４の視線方向を特定してよい。そして、画像処理装置１１０は、撮像装置１００ｂが撮像したフレーム画像から、人物１６４が注目した物体の像である注目オブジェクトを特定してよい。この場合、異なる方向から撮像されたフレーム画像を利用することで、例えば人物１６４が注目した商品と人物１６４の正面の顔とを適切に対応づけることができる。
Note that the
なお、記憶媒体９０は、画像処理装置１１０用のプログラムを記憶している。記憶媒体９０が記憶しているプログラムは、本実施形態に係る画像処理装置１１０として機能するコンピュータなどの電子情報処理装置に提供される。当該コンピュータが有するＣＰＵは、当該プログラムの内容に応じて動作して、当該コンピュータの各部を制御する。ＣＰＵが実行するプログラムは、本図および以後の図に関連して説明される画像処理装置１１０などとして当該コンピュータを機能させる。
Note that the
記憶媒体９０としては、ＣＤ−ＲＯＭの他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＯまたはＭＤなどの光磁気記録媒体、テープ媒体またはハードディスク装置などの磁気記録媒体、半導体メモリ、磁気メモリなどを例示することができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置が記憶媒体９０として機能することもできる。
Examples of the
また、記憶媒体９０は、画像処理システム１０用のプログラムを記憶してよい。画像処理システム１０用のプログラムは、画像処理装置１１０の他に、本図および以後の図に関連して説明される処理結果データベース１１２、店舗サーバ１７０、端末装置１８０、および撮像装置１００の少なくともいずれかとして、コンピュータを機能させることができる。
The
図２は、画像処理装置１１０のブロック構成の一例を示す。画像処理装置１１０は、画像取得部２００、特徴領域特定部２０２、視線特定部２０４、視線領域解析部２２０、画像処理部２３０、撮像範囲情報格納部２４０、および出力部２９０を有する。視線領域解析部２２０は、視線領域特定部２２２、対象領域特定部２２４、時間特定部２２６、選択部２２８を含む。
FIG. 2 shows an example of a block configuration of the
画像取得部２００は、撮像装置１００が撮像した動画を、通信ネットワーク１５０を通じて店舗サーバ１７０から取得する。このように、画像取得部２００は、複数の撮像装置１００がそれぞれ撮像したフレーム画像を取得する。なお、フレーム画像は、この発明において画像取得部２００が取得する画像の一例であって、画像取得部２００が取得する画像は、静止画であってもよい。画像取得部２００が取得した動画は、視線特定部２０４および特徴領域特定部２０２、および画像処理部２３０に供給される。
The
視線特定部２０４は、フレーム画像内に撮像されている人物の視線方向を特定する。ここで、視線特定部２０４は、フレーム画像の画像領域における視線方向を特定してよい。視線特定部２０４が特定した視線方向は、視線領域解析部２２０に供給される。
The line-of-
視線領域特定部２２２は、撮像装置１００により撮像されたフレーム画像における、人物の視線方向の領域が撮像された画像領域である視線領域を特定する。対象領域特定部２２４は、人物の視線方向に基づき、人物の視線方向の画像領域のうち、人物が見た対象物が撮像された画像領域である視線領域を特定する。例えば、対象領域特定部２２４は、人物の視線方向の画像領域のうち、人物が見た予め定められた特定の対象物が撮像された画像領域を視線領域として特定する。
The line-of-sight
例えば、対象領域特定部２２４は、人物の視線方向およびフレーム画像として撮像された空間の情報である撮像空間情報に基づき、視線領域を特定することができる。他にも、対象領域特定部２２４は、人物の視線方向に存在する特定の対象物のオブジェクトを抽出することによって、視線領域を特定してもよい。例えば、特定の対象物は、店舗内の特定の商品であってよい。
For example, the target
なお、撮像範囲情報格納部２４０は、撮像空間情報を格納している。具体的には、撮像範囲情報格納部２４０は、店舗空間１６０内の商品棚１６２などのレイアウト情報、および、複数の撮像装置１００のそれぞれが撮像する撮像範囲を特定する情報を格納している。例えば、撮像範囲情報格納部２４０は、複数の撮像装置１００の位置および複数の撮像装置１００のそれぞれの撮像方向を含む撮像範囲情報を格納してよい。対象領域特定部２２４は、撮像範囲情報格納部２４０が格納している撮像空間情報に基づき、視線領域を特定することができる。
The imaging range
選択部２２８は、視線特定部２０４が特定した視線方向の領域が撮像されたフレーム画像を選択する。このとき、選択部２２８は、複数の撮像装置１００がそれぞれ撮像した複数のフレーム画像の中から、視線方向の領域が撮像されたフレーム画像を選択してよい。視線領域特定部２２２は、選択部２２８が選択したフレーム画像における視線領域を特定してよい。また、対象領域特定部２２４は、選択部２２８が選択したフレーム画像から、人物が見た対象物が撮像された画像領域である視線領域を特定してよい。
The
画像処理部２３０は、対象領域特定部２２４が特定した視線領域を、他の画像領域の画像より強調する。具体的には、画像処理部２３０は、視線領域を、他の画像領域より小さい強度で圧縮する。
The
出力部２９０は、画像処理部２３０が圧縮して得られた画像を出力する。このとき、出力部２９０は、人物を特定する情報と、人物の視線方向の領域に撮像された領域とを対応づけて出力してよい。例えば、人物が撮像された領域を特定する座標情報と、人物の視線方向の領域に撮像された領域を特定する座標情報とを対応づけて出力してよい。
The
画像処理装置１１０によると、視線領域が他の画像領域より強調されたフレーム画像を提供することができる。このため、人物の視線の先に存在する物体が何であるかが一見して分かる動画を提供することができる。
According to the
なお、他の画像領域とは、視線領域以外の全画像領域であってよいが、視線領域以外の一部の画像領域であってもよい。例えば、他の画像領域とは、視線領域以外の画像領域のうち、人物が撮像された領域以外の画像領域であってよい。 The other image area may be the entire image area other than the line-of-sight area, but may be a part of the image area other than the line-of-sight area. For example, the other image area may be an image area other than the area where the person is imaged among the image areas other than the line-of-sight area.
特徴領域特定部２０２は、画像における特徴的な領域である特徴領域を特定する。画像処理部２３０は、特徴領域特定部２０２が特定した特徴領域および視線領域を、他の領域より小さい強度で圧縮してよい。例えば、特徴領域特定部２０２は、予め定められた条件に適合するオブジェクトを含む領域を、特徴領域として特定してよい。より具体的には、特徴領域特定部２０２は、人物のオブジェクトを含む領域を、特徴領域として特定してよい。
The feature
ここで、視線特定部２０４は、特徴領域特定部２０２が特定したオブジェクトが示す人物の視線方向を特定してよい。このため、画像処理装置１１０によると、人物が注目している商品の画像情報量と、当該人物の画像情報とを維持しつつ、画像のデータ量を削減することができる。このため、どのような人物が何の商品に興味を持ったかを後で容易に特定することができる。このように、画像処理装置１１０によると、顧客の年齢・性別を分析したり、顧客の購買動向を分析したりするのに有用な画像データを提供することができる。
Here, the line-of-
時間特定部２２６は、人物が上記視線方向を向いていた時間長さである注視時間を特定する。例えば、注視時間とは、人物が上記視線方向を継続して向いていた時間長さであってよい。上記視線方向を継続して向いていた時間長さとは、人物の視線が上記視線方向に完全に一致していた時間長さを意味しているのではなく、人物の視線が上記視線方向に略一致する方向に向いていた時間長さであってよい。言い換えると、注視時間とは、視線方向の角度変化幅が所定値より小さい期間の時間長さであってよい。
The
他にも、時間特定部２２６は、人物の視線が上記視線方向に向いていた複数の期間の合計の時間長さを、注視時間として特定してもよい。そして、画像処理部２３０は、当該注視時間さが長いほど、視線領域をより強調してよい。例えば、画像処理部２３０は、当該注視時間さが長いほど、視線領域をより小さい強度で圧縮してよい。このように、画像処理装置１１０によると、注視時間が長いほど人物が注視した領域の画像情報を多くすることができるので、人物がより強く興味を抱いた物体を適切に解析することができる。
In addition, the
以上説明したように、視線特定部２０４が動画内に撮像されている人物の視線方向を特定して、視線領域解析部２２０が、視線方向に基づき動画における視線領域を特定する。そして、画像処理部２３０は、動画における視線領域を、他の画像領域より小さい強度で圧縮する。
As described above, the line-of-
図３は、視線領域および特徴領域の一例を示す。フレーム画像３００は、画像取得部２００が取得した動画の一フレームを示す。フレーム画像３００には、人物オブジェクト３５０および商品台オブジェクト３６０が含まれている。
FIG. 3 shows an example of the line-of-sight region and the feature region. A
特徴領域特定部２０２は、フレーム画像３００の画像内容から、人物が撮像された領域を抽出することにより、人物のオブジェクトである人物オブジェクト３５０を抽出する。特徴領域特定部２０２は、テンプレートマッチングなどの種々の方法を用いて人物オブジェクト３５０を抽出することができる。
The feature
特徴領域特定部２０２は、人物の頭部のオブジェクトを含む頭部領域３１０を、特徴領域として特定する。また、特徴領域特定部２０２は、人物の体部のオブジェクトを含む体部領域３２０を、特徴領域として特定する。
The feature
視線特定部２０４は、人物オブジェクト３５０中の頭部のオブジェクトの領域から、人物オブジェクト３５０の人物の視線方向３８０を特定する。例えば、視線特定部２０４は、頭部のオブジェクト中における目のオブジェクトの位置、目のオブジェクトと他のオブジェクトとの間の位置関係などに基づき、視線方向を特定してよい。
The line-of-
例えば、視線特定部２０４は、頭部のオブジェクト中において右よりに目のオブジェクトが存在している場合には、フレーム画像３００において右方に向かう向きを視線方向として特定することができる。また、頭部のオブジェクト中に、口、鼻、耳など、頭部のオブジェクト中においてランドマークとなり得る特定オブジェクトが含まれている場合には、視線特定部２０４は、当該特定オブジェクトと目のオブジェクトとの間の位置関係に基づき、視線方向を判断することもできる。なお、視線特定部２０４は、目のオブジェクトが含まれていない場合であっても、特定オブジェクトの位置関係に基づき顔の向きを判断できる場合には、当該顔の方向を視線方向として特定してもよい。
For example, the line-of-
なお、視線特定部２０４は、目のオブジェクトの画像内容にさらに基づき、視線方向を特定してもよい。例えば、視線特定部２０４は、目のオブジェクト中における瞳のオブジェクトの位置、白目のオブジェクトの位置などにさらに基づき、視線方向を特定してもよい。
Note that the line-of-
視線領域特定部２２２は、視線特定部２０４が特定した視線方向３８０に基づき、フレーム画像３００において頭部のオブジェクトから視線方向３８０に位置する領域を、視線領域３３０として特定する。視線領域特定部２２２は、人物の視野角に応じて視線方向３８０に広がる視線領域３３０を特定してよい。
The line-of-sight
視線領域３３０を特定する場合に、フレーム画像３００内における視線方向の領域を視線領域３３０とすることの他、人物の視線方向の領域を３次元空間において特定して、特定した３次元空間での領域が撮像されたフレーム画像３００上の領域を、視線領域３３０として特定することもできる。全方位カメラ（全周カメラ）で撮像されたフレーム画像３００から視線領域３３０を特定する場合のように、より広い画角で撮像されたフレーム画像３００から視線領域３３０を特定する場合には、視線方向の領域を３次元空間で特定することで視線領域３３０をより正確に特定することができる。
When the line-of-
具体的には、視線特定部２０４は、人物の視線方向として、例えば３次元空間での人物位置から撮像装置１００の位置への方向に対する、３次元空間での人物の視線方向の角度を特定する。そして、視線領域特定部２２２は、人物頭部のオブジェクトのフレーム画像３００内での位置およびサイズと、撮像装置１００の画角とから、撮像装置１００に対する人物頭部の相対位置（例えば、撮像装置１００から人物頭部の位置への方向、および、撮像装置１００から人物頭部までの距離）を算出する。視線領域特定部２２２は、算出した相対位置と撮像装置１００のワールド座標系での位置とに基づき、人物頭部のワールド座標系での人物頭部の位置座標を算出することができる。
Specifically, the line-of-
視線領域特定部２２２は、算出したワールド座標系での人物頭部の位置座標から、視線特定部２０４が特定した視線の角度の方向を中心に所定の立体角に収まる空間を、ワールド座標系において特定する。所定の立体角は人物の全視野角であってもよいが、人物が注目できる程度のより狭い立体角が所定の立体角として予め定められていてよい。そして、視線領域特定部２２２は、ワールド座標系での撮像装置１００の位置、撮像装置１００の画角、および、特定したワールド座標系での視線方向の空間に基づき、当該視線方向の空間が撮像されているフレーム画像３００上の領域を、視線領域３３０として特定する。
The line-of-sight
画像処理部２３０は、特徴領域の一例としての頭部領域３１０および体部領域３２０、ならびに、視線領域３３０を、他の領域より強調したフレーム画像を生成する。強調処理としては、特徴領域および視線領域３３０をそれぞれ枠で囲む処理など視覚的な強調処理、特徴領域および視線領域３３０をそれぞれ切り出すトリミング処理、特徴領域および視線領域３３０を他の領域より高画質化するなど画像情報量を他の領域より高める処理などを例示することができる。
The
特徴領域および視線領域３３０をそれぞれ枠で囲む処理を施す場合には、頭部領域３１０と視線領域３３０とを同じ色の枠で囲んでもよい。視覚的な強調処理としては、その他にも、他の領域より彩度を高める処理などを例示することができる。
When the process of enclosing the feature area and the line-of-
また、画像情報量を他の領域より高める処理としては、解像度、階調数、色数を他の領域より高める処理であったり、特徴領域および視線領域３３０の実質的なフレームレートを他の領域より高める処理などを例示することができる。なお、画像処理部２３０がフレーム画像３００を圧縮する場合には、上記他の領域の画像情報量を低減することにより、圧縮してよい。
Further, the process for increasing the amount of image information over other areas is a process for increasing the resolution, the number of gradations, and the number of colors over other areas, or the substantial frame rate of the feature area and the line-of-
このように、画像処理部２３０は、他の画像領域における画質を視線領域３３０より低減することにより、フレーム画像３００を圧縮する。具体的には、画像処理部２３０は、他の画像領域における解像度を視線領域３３０より低減したり、他の画像領域における画素値の階調数を視線領域３３０より低減したり、他の画像領域に含まれる色数を視線領域３３０より低減したりすることにより、フレーム画像３００を圧縮してよい。
As described above, the
また、画像処理部２３０は、動画として圧縮する場合には、他の画像領域における動画のフレームレートを視線領域３３０より低減することにより、画像取得部２００が取得した動画を圧縮してよい。このように、画像処理部２３０は、視線領域３３０における時間解像度を他の領域における時間解像度より高めてよい。
In addition, when compressing as a moving image, the
なお、画像処理部２３０は、特徴領域および視線領域３３０に対して超解像処理などを施すことにより、フレーム画像３００における特徴領域および視線領域３３０より解像度、階調数、および色数の少なくともいずれかを高めてもよい。また、画像処理装置１１０は、画像取得部２００が取得した動画に含まれる複数のフレーム画像のそれぞれから、上記のように特徴領域および視線領域を特定してよい。画像処理部２３０は、複数のフレーム画像のそれぞれに対して、特定した特徴領域および視線領域に上記した画像処理を施してよい。
Note that the
以上説明したように、画像処理装置１１０によると、頭部領域３１０、体部領域３２０、および視線領域３３０を、他の領域より高めることができる。このため、人物が何に興味を持っているかを一見して確認することができる動画を提供することができる。
As described above, according to the
図４は、撮像範囲情報格納部２４０が格納しているレイアウト情報の一例を２次元的に示す。撮像範囲情報格納部２４０は、店舗空間１６０のレイアウト情報として、撮像範囲情報格納部２４０は、本図に示すように、店舗内平面４００における商品棚４１０、商品台４２０、およびレジ４３０が存在する範囲を格納している。また、レイアウト情報としては、商品棚４１０、商品台４２０、およびレジ４３０などの立体物の高さ情報を含んでよい。このように、撮像範囲情報格納部２４０は、店舗空間１６０の３次元のレイアウトを示すレイアウト情報を格納してよい。
FIG. 4 two-dimensionally shows an example of layout information stored in the imaging range
また、撮像範囲情報格納部２４０は、撮像装置１００が撮像する撮像方向および画角情報、ならびに撮像装置１００の位置を示す位置情報を格納している。位置情報としては、店舗空間１６０における３次元の座標値などを例示することができる。撮像方向および画角情報としては、店舗空間１６０における３次元のベクトル情報などを例示することができる。撮像装置１００の撮像方向、画角、位置情報、およびレイアウト情報は、店舗空間１６０の空間全体をあらわすワールド座標系で定められてよい。撮像範囲情報格納部２４０が格納している撮像方向および画角情報、位置情報、ならびにレイアウト情報により、店舗空間１６０において撮像装置１００が撮像する範囲が特定され得る。
In addition, the imaging range
このように、撮像範囲情報格納部２４０は、複数の撮像装置１００がそれぞれ撮像する撮像範囲を特定する撮像範囲情報を格納している。これにより、対象領域特定部２２４は、視線領域３３０から人物の視線方向において物体が存在しない空間の領域を除くことができ、人物が見た対象物が撮像された画像領域を特定することができる。
As described above, the imaging range
図５は、視線領域および特徴領域の他の一例を示す。本図に示す視線領域および特徴領域は、視線領域の範囲が異なる点を除いて、図３に関連して説明した視線領域および特徴領域と同じであるので、以下の説明ではその相違点を説明する。なお、本図において図３に示したものと同じものには、図３で付した符号と同じ符号が付されている。 FIG. 5 shows another example of the line-of-sight region and the feature region. The line-of-sight area and feature area shown in this figure are the same as the line-of-sight area and feature area described in relation to FIG. 3 except that the range of the line-of-sight area is different. To do. In this figure, the same reference numerals as those shown in FIG. 3 are attached to the same elements as those shown in FIG.
対象領域特定部２２４は、図４に関連して説明した撮像範囲情報に基づき、図３に関連して説明した視線領域３３０から人物の視線方向において物体が存在しない空間の領域を除くことにより、人物が見た対象物が撮像された画像領域である視線領域３３２を対象領域として特定する。これにより、視線領域の範囲をより限定することができるので、画像処理部２３０による処理後の画像情報量をより低減することができる。
Based on the imaging range information described in relation to FIG. 4, the target
具体的には、対象領域特定部２２４は、図３に関連して説明したワールド座標系での視線方向の空間と、ワールド座標系でのレイアウト情報から特定される商品棚４１０または商品台４２０（簡単のため、陳列器として総称する。）の占める空間とに基づき、視線方向の空間と、陳列器が占める空間との双方に含まれる空間を、ワールド座標系において特定する。なお、他の立体物により人物の視野が遮られることにより、特定した空間の一部の空間しか人物の視野に収まらない場合がある。この場合、対象領域特定部２２４は、人物の視野に収まっている空間を、ワールド座標系での人物の位置座標と、立体物のレイアウト情報とに基づき、ワールド座標系において注視空間として特定することができる。他の立体物で視野が遮られていない場合には、特定した空間を注視空間とすることができる。
Specifically, the target
対象領域特定部２２４は、ワールド座標系での撮像装置１００の位置、撮像装置１００の画角、および、ワールド座標系での注視空間に基づき、当該注視空間が撮像されているフレーム画像３００上の領域を、視線領域３３２として特定する。このように、対象領域特定部２２４は、人物が実際に見ている商品などの物体が存在する空間に対応するフレーム画像３００上の領域を、視線領域３３２として特定することができる。
The target
図６は、画像処理部２３０により生成される動画の一例を示す。動画６０２は画像取得部２００が取得した動画を示しており、人物の頭部の領域の動画６１２、人物の体部の領域の動画６２２、背景の動画６３２、および視線領域の動画６４２は、画像処理部２３０が動画６０２を圧縮することにより生成した動画を示している。
FIG. 6 shows an example of a moving image generated by the
画像処理部２３０は、フレーム画像６００−１の画素値を、特徴領域特定部２０２がフレーム画像６００−１において特定した人物の頭部領域以外の領域において所定の値に変換することにより、人物の頭部領域だけ被写体の画像情報を有するフレーム画像６１０−１を生成する。同様にして、画像処理部２３０は、フレーム画像６００−２〜５から、それぞれフレーム画像６００−２〜５において特定した人物の頭部領域だけ被写体の画像情報を有するフレーム画像６１０−２〜５を生成する。
The
また、画像処理部２３０は、フレーム画像６００−１を所定の解像度に低減するとともに、特徴領域特定部２０２がフレーム画像６００−１において特定した人物の体部領域に対応する領域以外の領域を所定の画素値に変換することにより、人物の体部領域だけ被写体の画像情報を有するフレーム画像６２０−１を生成する。同様にして、画像処理部２３０は、フレーム画像６００−３およびフレーム画像６００−５から、それぞれフレーム画像６００−３およびフレーム画像６００−５において特定した人物の頭部領域だけ被写体の画像情報を有するフレーム画像６２０−２およびフレーム画像６２０−３を生成する。
Further, the
なお、画像処理部２３０は、フレーム画像６００の画素を間引くことにより解像度を１／２にしたフレーム画像６２０を生成してよい。また、画像処理部２３０は、フレーム画像６００−２およびフレーム画像６００−４を間引くことにより、フレームレートが１／２の動画６２２を生成してよい。
Note that the
また、画像処理部２３０は、フレーム画像６００−１を所定の解像度に低減することで、フレーム画像６３０−１およびフレーム画像６３０−２を生成する。フレーム画像６３０の解像度は、フレーム画像６２０よりさらに低くてよい。例えば、画像処理部２３０は、フレーム画像６００の解像度を１／４にすることにより、フレーム画像６３０を生成してよい。また、画像処理部２３０は、画像処理部２３０は、フレーム画像６００−２〜４を間引くことにより、フレームレートが１／４の動画６４２を生成してよい。
Further, the
また、画像処理部２３０は、フレーム画像６００−１の画素値を、特徴領域特定部２０２がフレーム画像６００−１において特定した視線領域以外の領域において所定の値に変換することにより、視線領域だけ被写体の画像情報を有するフレーム画像６４０−１を生成する。同様にして、画像処理部２３０は、フレーム画像６００−２〜５から、それぞれフレーム画像６００−２〜５において特定した視線領域だけ被写体の画像情報を有するフレーム画像６４０−２〜５を生成する。
Further, the
本図の例では、画像処理部２３０は、複数のフレーム画像６００のそれぞれから、フレーム画像６００と同じ解像度のフレーム画像６４０を生成したが、画像処理部２３０は、フレーム画像６００より低い解像度のフレーム画像６４０を生成してもよい。また、画像処理部２３０は、動画６０２のフレームレートと異なるフレームレートの動画６４２を生成してもよい。なお、本図の例のようにフレーム画像６１０とフレーム画像６４０との間で解像度およびフレームレートが同じである場合には、画像処理部２３０は、頭部領域６１１および視線領域６４１においてだけ被写体の画像情報を有するフレーム画像を生成してもよい。
In the example of this figure, the
また、本図の例では、画像処理部２３０が制御する画質の一例として、解像度およびフレームレートを例に挙げて画像処理部２３０の動作を説明した。画質としては、解像度およびフレームレートの他に、階調数、色数、およびダイナミックレンジなど種々のパラメータを例示することができる。また、画像処理部２３０は、上述したように、頭部領域６１１、体部領域６２１、および視線領域６４１に、彩度などの視覚的な強調処理を施してもよい。
Further, in the example of this figure, the operation of the
画像処理部２３０は、フレーム画像６１０に対してＭＰＥＧ符号化などにより符号化して、ＭＰＥＧ符号化された動画６１２を生成することができる。同様に、画像処理部２３０は、フレーム画像６２０、フレーム画像６３０、およびフレーム画像６４０をそれぞれＭＰＥＧ符号化することにより、動画６２２、動画６３２、および動画６４２を生成してよい。
The
図７は、画像処理部２３０により生成される動画の他の一例を示す。画像処理部２３０は、画像取得部２００が取得した動画に含まれるフレーム画像７００から、画質の異なる複数のフレーム画像７５０ａ〜ｃを生成する。そして、画像処理部２３０は、フレーム画像７５０ａ〜ｃの間で差分処理をすることにより、フレーム画像を圧縮する。
FIG. 7 shows another example of a moving image generated by the
具体的には、画像処理部２３０は、頭部領域用および視線領域用のフレーム画像７５０ａを、フレーム画像７００を複製することにより生成する。また、画像処理部２３０は、フレーム画像７００を体部領域用の解像度に低減することにより、体部領域用のフレーム画像７５０ｂを生成する。また、画像処理部２３０は、フレーム画像７００を背景領域用の解像度に低減することにより、体部領域用のフレーム画像７５０ｂを生成する。体部領域用の解像度はフレーム画像７００の１／２の解像度であってよく、背景領域用の解像度はフレーム画像７００の１／４の解像度であってよい。
Specifically, the
ここで、画像処理部２３０は、フレーム画像７００を体部領域用の解像度に低減した画像と、フレーム画像７５０ｃを体部領域用の解像度に拡大した画像との差分情報を有するフレーム画像７５０ｂを生成する。このとき、画像処理部２３０は、頭部領域７１１ｂ、体部領域７２１、および視線領域７４１ｂにおいて差分情報を有しており、頭部領域７１１ｂ、体部領域７２１、および視線領域７４１ｂ以外の領域において差分値が０であるフレーム画像７５０ｂを生成する。
Here, the
同様に、画像処理部２３０は、フレーム画像７００と同じ解像度の画像と、フレーム画像７５０ｂをフレーム画像７００と同じ解像度に拡大した画像との差分情報を有するフレーム画像７５０ａを生成する。このとき、画像処理部２３０は、頭部領域７１１ａおよび視線領域７４１ａにおいて差分情報を有しており、頭部領域７１１ａおよび視線領域７４１ａ以外の領域において差分値が０であるフレーム画像７５０ｂを生成する。
Similarly, the
これにより、端末装置１８０は、フレーム画像７５０ｃおよびフレーム画像７５０ｂを取得して合成することで、頭部領域７１１ｂ、体部領域７２１ｂ、および視線領域７４１ｂにおいて他の領域より解像度が高いフレーム画像を得ることができる。また、端末装置１８０は、フレーム画像７５０ａ〜ｃを取得して合成することで、頭部領域７１１ａおよび視線領域７４１ａにおいて、他の領域より解像度が高く、体部領域において、頭部領域、体部領域、および視線領域以外の領域より解像度が高いフレーム画像を得ることができる。
As a result, the
以上図６および図７に関連して説明したように、画像処理装置１１０によると、特徴領域の特徴の種類、視線領域に応じて画質を制御して、符号量を低減することができる。このとき、頭部領域および視線領域の画質を維持することができるので、顧客の年齢層を正確に分析したり、顧客が興味を持った商品などを正確に分析することができる映像を提供することができる。
As described above with reference to FIGS. 6 and 7, according to the
図８は、興味に応じた人物の行動の一例を示す。画像処理部２３０は、視線領域の画質を、人物の興味度に応じて決定してよい。
FIG. 8 shows an example of the behavior of a person according to interest. The
興味度を算出する指標としては、視線方向と人体の方向とがなす角を例示することができる。人物が移動している場合、人体の方向としては、人物の移動方向を例示することができる。他にも、人体の方向とは、人物の体部の正面が向く方向であってよい。この場合、静止画からでも人体の方向を特定することができる。 As an index for calculating the degree of interest, an angle formed by the line-of-sight direction and the direction of the human body can be exemplified. When the person is moving, the direction of the human body can be exemplified by the moving direction of the person. In addition, the direction of the human body may be a direction in which the front of the human body part faces. In this case, the direction of the human body can be specified from a still image.
本図を参照して、一のフレーム画像８００には、人物オブジェクト８５０ａおよび人物オブジェクト８５０ｂが含まれるとする。視線特定部２０４は、フレーム画像８００において、人物オブジェクト８５０ａの人物の視線方向８８０ａと、人物オブジェクト８５０ｂの人物の視線方向８８０ｂとを特定する。そして、画像処理部２３０は、人物オブジェクト８５０ａの人物の体の方向である体方向８９０ａを算出して、体方向８９０ａと視線方向８８０ａとがなす角度を算出する。また、画像処理部２３０は、人物オブジェクト８５０ｂの人物の体の方向である体方向８９０ｂを算出して、体方向８９０ｂと視線方向８８０ｂとがなす角度を算出する。そして、画像処理部２３０は、当該角度の大きさが大きいほど、より大きい興味度を算出する。
Referring to this figure, it is assumed that one
人物オブジェクト８５０ａの人物は、特定の商品８６０が位置する方向を向いているが、商品８６０に興味を持っているわけではなく、ただぼんやり見ている場合もある。一方、人物オブジェクト８５０ｂの人物は、体の方向と異なる向きにわざわざ頭を向けて、商品８６０が位置する方向を見ている。この場合、人物オブジェクト８５０ｂの人物は、商品８６０に興味を持っている可能性が高い。このように、顧客が興味を抱いた商品を見つけた場合には、体の向きよりも先に頭部の向きをその商品に向ける場合が多い。画像処理部２３０が、体方向と視線方向とがなす角度の大きさが大きいほど興味度を大きく算出する。このため、画像処理装置１１０は、顧客の興味度が高い商品のオブジェクトを正確に分析することができる画像を提供することができる。
The person of the
興味度の他の算出例を、フレーム画像の画像領域８０５の画像を用いて説明する。画像領域８０５は興味度の他の算出方法を説明するための図であり、３フレームから抽出された人物の頭部のオブジェクトである頭部オブジェクト８５５−１〜３が、同一の画像領域８０５上に重ねて示してある。ここで、画像処理部２３０は、当該人物は体方向の一例として移動方向８９５を特定する。画像処理部２３０は、視線特定部２０４が各フレーム画像から算出した視線方向８８５と、移動方向８９５とがなす角度を算出する。
Another calculation example of the interest level will be described using an image in the
そして、画像処理部２３０は、移動方向８９５と視線方向８８５とがなす角度の時間的な変化量がより大きい場合に、興味度をより大きく算出してよい。例えば、画像処理部２３０は、視線方向８８５が特定の領域を向いており、かつ、上記角度の時間的な変化量の大きさがより大きい場合に、興味度をより大きく算出してよい。本図の下図に示すように、移動しながら商品８６０の方向を見ている人物は、商品８６０により強い興味を抱いていることが予想される。本例では、視線方向８８５と移動方向８９５とがなす角度の大きさが時間的に増加しているので、画像処理部２３０は興味度を比較的に大きく算出して、商品８６０の画像領域をより高画質にする。
Then, the
また、人物が特定の商品の方を見つつ移動方向を当該商品の方向に変えた場合にも、当該人物はその商品により強く興味を抱いていることが予想される。この場合、時間が経過するにつれて、移動方向と視線方向とがなす角度の大きさは時間的に減少していく。画像処理部２３０が上記角度の時間的な変化量の大きさから興味度を算出するので、このような人物についても興味度を適切に算出することができる。
Also, when a person changes the direction of movement to the direction of the product while looking at a specific product, the person is expected to be more interested in the product. In this case, as time passes, the magnitude of the angle formed by the moving direction and the line-of-sight direction decreases with time. Since the
なお、画像処理部２３０は、人物が商品を見た時間をひとつの指標として興味度を算出してもよい。例えば、画像処理部２３０は、時間特定部２２６が特定した時間長さが長いほど、興味度をより大きく算出してよい。そして、画像処理部２３０は、興味度が大きいほど、視線領域の画質を高くしてよい。
Note that the
図９は、画像処理部２３０が記憶しているデータの一例をテーブル形式で示す。画像処理部２３０は、注視時間、角度の大きさ、角度変化量の絶対値に対応づけて、興味度を算出する。注視時間は、時間特定部２２６が算出する時間を示す。角度の大きさは、図８に関連して説明した、体方向と視線方向とがなす角度の大きさを示す。角度変化量の絶対値は、図８の下図に関連して説明した、移動方向と視線方向とがなす角度の単位時間あたりの変化量の絶対値を示す。
FIG. 9 shows an example of data stored in the
画像処理部２３０は、時間特定部２２６が特定した注視時間に対応づけて記憶している興味度、および、体方向と視線方向とがなす角度の大きさに対応づけて記憶している興味度を特定する。また、画像処理部２３０は、人物が移動している場合には、移動方向と視線方向とがなす角度の単位時間あたりの変化量に対応づけて記憶している興味度を特定する。そして、画像処理部２３０は、特定した各興味度を所定の重み付けて合計することなど、特定した各興味度を総合して、総合的な興味度を算出する。他にも、画像処理部２３０は、特定した興味度の最大値を総合的な興味度として算出してよい。そして、画像処理部２３０は、総合的な興味度が大きいほど、視線領域の画質を高くしてよい。
The
図１０は、視線領域情報と人物情報との対応づけの一例を示す。出力部２９０は、人物の頭部領域の情報と、視線領域の情報とを対応づけて出力する。頭部領域の情報とは、フレーム画像内の画像領域を特定する情報であってよい。例えば、頭部領域が矩形である場合、頭部領域の情報としては、矩形の対角の座標値を例示することができる。その他の場合においても、頭部領域を規定するベクトル情報などを、頭部領域の情報として例示することができる。同様に、視線領域の情報としては、視線領域を規定するベクトル情報など、フレーム画像内における画像領域を特定する情報であってよい。
FIG. 10 shows an example of the correspondence between the line-of-sight area information and the person information. The
その他、頭部領域の情報とは、頭部領域の解析結果であってもよい。例えば、頭部領域から抽出した画像の特徴量、頭部領域の画像を画像認識することにより識別した人物を特定する情報であってもよい。同様に、視線領域の情報とは、視線領域の解析結果であってもよい。例えば、視線領域から抽出した画像の特徴量、視線領域の画像を画像認識することにより識別した物体を特定する情報であってもよい。 In addition, the head region information may be an analysis result of the head region. For example, it may be information that identifies a feature amount of an image extracted from the head region or a person identified by image recognition of the image of the head region. Similarly, the line-of-sight area information may be an analysis result of the line-of-sight area. For example, the feature amount of the image extracted from the line-of-sight area, or information specifying an object identified by image recognition of the image of the line-of-sight area may be used.
ここで、本図を参照して、フレーム画像１０００−１は人物オブジェクト１０５０−１および人物オブジェクト１０５１−２を含んでいる。人物オブジェクト１０５０−１の人物の視線方向にある物体は、人物オブジェクト１０５１−１により遮られて、フレーム画像１０００−１内には撮像されていない。 Here, with reference to this figure, frame image 1000-1 includes person object 1050-1 and person object 1051-2. An object in the line-of-sight direction of the person of the person object 1050-1 is blocked by the person object 1051-1 and is not captured in the frame image 1000-1.
一方、他のフレーム画像１０００−５が撮像されたタイミングでは、人物オブジェクト１０５１−５の人物が移動しており、人物オブジェクト１０５０−１の人物の視線方向にある物体はフレーム画像１０００−５内に撮像されている。選択部２２８は、視線特定部２０４が特定した視線領域にある人物以外の物体が撮像されているフレーム画像を、画像取得部２００が取得した動画に含まれるフレーム画像の中から選択する。そして、視線領域特定部２２２は、選択部２２８が選択したフレーム画像１０００−５における視線領域１０３０を特定する。これにより、画像処理装置１１０は、視線の先の物体が他の人物に遮られて撮像されていない場合においても、人物の頭部の画像と当該人物が見た物体の画像とを正確に対応づけることができる。
On the other hand, at the timing when another frame image 1000-5 is captured, the person of the person object 1051-5 is moving, and the object of the person object 1050-1 in the direction of the line of sight of the person is in the frame image 1000-5. An image is being taken. The
図１１は、他の撮像装置１００が撮像したフレーム画像から視線領域を特定する一形態を示す。上記の実施形態においては、特定の撮像装置１００が撮像したフレーム画像から視線領域を抽出したが、画像処理装置１１０は、視線を特定したフレーム画像を撮像した撮像装置１００と異なる撮像装置１００が撮像したフレーム画像から、視線領域を特定してもよい。
FIG. 11 shows an embodiment in which a line-of-sight area is specified from a frame image captured by another image capturing apparatus 100. In the above embodiment, the line-of-sight region is extracted from the frame image captured by the specific image capturing apparatus 100. However, the
図１１を参照して、フレーム画像１１００ａは撮像装置１００ａが撮像したフレーム画像であり、フレーム画像１１００ｂは撮像装置１００ｂが撮像したフレーム画像であるとする。フレーム画像１１００ａには、人物オブジェクト１１５０ａが含まれており、視線特定部２０４は、人物オブジェクト１１５０ａの人物の視線方向１１４０を特定する。
Referring to FIG. 11, it is assumed that
選択部２２８は、撮像装置１００ｂにより撮像された１以上のフレーム画像の中から、予め定められた条件に適合する条件で人物の視線方向１１４０の領域が撮像されたフレーム画像１１００ｂを選択する。予め定められた条件に適合する条件で撮像されたフレーム画像としては、予め定められた大きさより大きく撮像されたフレーム画像、予め定められた画質より高い画質で撮像されたフレーム画像、予め定められた方向に合致する方向から撮像されているフレーム画像などを例示することができる。
The
視線領域特定部２２２は、フレーム画像１１００ｂにおける、人物の視線方向の領域が撮像された画像領域である視線領域１１３０を特定する。そして、画像処理部２３０は、視線領域特定部２２２が特定したフレーム画像１１００ｂにおける画像領域である視線領域１１３０を、フレーム画像１１００ｂにおける他の画像領域より強調する。
The line-of-sight
このように、選択部２２８は、複数の撮像装置１００により撮像された複数のフレーム画像の中から、予め定められた条件に適合する条件で人物の視線方向の領域が撮像されたフレーム画像を選択する。このため、人物の顔を正面近くから撮像した頭部領域１１１０ａの画像情報と、正面近くから撮像された視線領域１１３０の画像情報とを対応づけることができる。
As described above, the
なお、視線特定部２０４は、図３に関連して説明したように、フレーム画像１１００ａを撮像した撮像装置１００の位置および画角から、人物の視線方向の空間をワールド座標系において特定することができる。また、対象領域特定部２２４は、図１１に関連して説明したように、ワールド座標系での注視空間を特定することができる。そして、対象領域特定部２２４は、フレーム画像１１００ｂを撮像した撮像装置１００のワールド座標系での位置および画角と、ワールド座標系での注視空間に基づき、当該注視空間が撮像されているフレーム画像１１００ｂ上の領域を、対象領域として特定することができる。これにより、対象領域特定部２２４は、人物が実際に見ている商品などの物体が存在する空間に対応するフレーム画像１１００ｂ上の領域を、対象領域として特定することができる。
Note that, as described with reference to FIG. 3, the line-of-
なお、図１１に関連して、視線領域特定部２２２が他の撮像装置１００が撮像したフレーム画像から視線領域を特定する場合の機能および動作を説明した。視線領域特定部２２２が視線領域を特定した後の処理については、同じ撮像装置１００が撮像したフレーム画像の視線領域に対する処理と同様の処理をすることができるので、その説明を省略する。
In addition, in relation to FIG. 11, the function and operation in the case where the line-of-sight
以上図１から図１１に関連して説明したように、画像処理システム１０によると、得られた画像から、顧客情報を正確に分析したり、当該顧客が興味を持った商品を正確に分析したりすることができる。このように、画像処理システム１０は、店舗用の画像処理システムとして機能することができる。
As described above with reference to FIGS. 1 to 11, according to the
その他、画像処理システム１０は多様な用途に適用することができる。例えば、画像処理システム１０によると、顧客が興味を持った商品の情報に基づき広告コンテンツを顧客に提供することもでき、この場合、画像処理システム１０はサイネージシステムとして機能することができる。また、画像処理システム１０は、不審者が注目したものを特定する監視システムあるいは防犯システムとして機能することもできる。
In addition, the
また、画像処理装置１１０は、異なる店舗空間１６０の動画を取得して、解析してもよい。これにより、顧客の動向などを店舗間で比較することができる。また、上記においては店舗用のシステムとして画像処理システム１０の機能および動作を説明したが、画像処理システム１０の用途としては、店舗用以外にも種々の用途に利用することができる。
Further, the
なお、画像処理装置１１０の機能は、店舗サーバ１７０が有してもよい。店舗サーバ１７０において動画を圧縮して通信ネットワーク１５０に送信することで、画像のデータ量を低減しつつ、人物・商品の画像領域に後の分析に適した十分な情報量を持たせることができる。
Note that the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
１０ 画像処理システム
９０ 記憶媒体
１００ 撮像装置
１１０ 画像処理装置
１１２ 処理結果データベース
１５０ 通信ネットワーク
１６０ 店舗空間
１６２ 商品棚
１６４ 人物
１７０ 店舗サーバ
１８０ 端末装置
２００ 画像取得部
２０２ 特徴領域特定部
２０４ 視線特定部
２２０ 視線領域解析部
２２２ 視線領域特定部
２２４ 対象領域特定部
２２６ 時間特定部
２２８ 選択部
２３０ 画像処理部
２４０ 撮像範囲情報格納部
２９０ 出力部
３００ フレーム画像
３１０ 頭部領域
３２０ 体部領域
３３０、３３２ 視線領域
３５０ 人物オブジェクト
３６０ 商品台オブジェクト
３８０ 視線方向
４００ 店舗内平面
４１０ 商品棚
４２０ 商品台
４３０ レジ
６０２、６１２、６２２、６３２、６４２ 動画
６００、６１０、６２０、６３０、６４０ フレーム画像
６１１ 頭部領域
６２１ 体部領域
６４１ 視線領域
７００ フレーム画像
７１１ 頭部領域
７２１ 体部領域
７４１ 視線領域
７５０ フレーム画像
８００ フレーム画像
８０５ 画像領域
８５０ 人物オブジェクト
８５５ 頭部オブジェクト
８６０ 商品
８８０、８８５ 視線方向
８９０ 体方向
８９５ 移動方向
１０００ フレーム画像
１０５０、１０５１ 人物オブジェクト
１０３０ 視線領域
１１００ フレーム画像
１１１０ 頭部領域
１１３０ 視線領域
１１４０ 視線方向
１１５０ 人物オブジェクト
DESCRIPTION OF
Claims (17)
前記画像内に撮像されている人物の視線方向を特定する視線特定部と、
前記人物の視線方向の画像領域である視線領域を、他の画像領域より小さい強度で圧縮する画像処理部と
を備える画像処理装置。 An image acquisition unit for acquiring images;
A line-of-sight identifying unit that identifies the line-of-sight direction of the person imaged in the image;
An image processing apparatus comprising: an image processing unit that compresses a line-of-sight area, which is an image area in the line-of-sight direction of the person, with a smaller intensity than other image areas.
をさらに備え、
前記画像処理部は、前記特徴領域特定部が特定した特徴領域および前記視線領域を、他の領域より小さい強度で圧縮する
請求項１に記載の画像処理装置。 A feature region specifying unit for specifying a feature region that is a characteristic region in the image;
The image processing apparatus according to claim 1, wherein the image processing unit compresses the feature region and the line-of-sight region specified by the feature region specifying unit with an intensity smaller than that of other regions.
請求項２に記載の画像処理装置。 The image processing apparatus according to claim 2, wherein the feature region specifying unit specifies a region including an object that meets a predetermined condition as the feature region.
請求項２または３に記載の画像処理装置。 The image processing apparatus according to claim 2, wherein the feature region specifying unit specifies a region including the person object as the feature region.
をさらに備え、
前記画像処理部は、前記対象領域特定部が特定した前記視線領域を、他の画像領域より小さい強度で圧縮する
請求項１乃至４のいずれかに記載の画像処理装置。 Based on the gaze direction of the person and the imaging space information captured as the image, the image area in which the object seen by the person is imaged is specified as the gaze area among the image areas in the gaze direction of the person. It further includes a target area specifying unit,
The image processing apparatus according to claim 1, wherein the image processing unit compresses the line-of-sight region specified by the target region specifying unit with a smaller intensity than other image regions.
請求項５に記載の画像処理装置。 The said target area specific | specification part specifies the image area | region where the predetermined specific object which the said person saw was imaged as the said visual line area | region among the image areas of the said person's gaze direction. Image processing device.
をさらに備え、
前記画像処理部は、前記注視時間さが長いほど、前記視線領域をより小さい強度で圧縮する
請求項１乃至６のいずれかに記載の画像処理装置。 A time specifying unit that specifies a gaze time that is a length of time that the person is facing the line-of-sight direction;
The image processing apparatus according to claim 1, wherein the image processing unit compresses the line-of-sight region with a smaller intensity as the gaze time is longer.
請求項７に記載の画像処理装置。 The image processing apparatus according to claim 7, wherein the time specifying unit specifies the length of time that the person is continuously facing the line of sight as the gaze time.
請求項７に記載の画像処理装置。 The image processing apparatus according to claim 7, wherein the time specifying unit specifies a total time length of a plurality of periods in which the line of sight of the person is directed in the line of sight as the gaze time.
前記視線特定部は、前記動画内に撮像されている前記人物の視線方向を特定し、
前記画像処理部は、前記動画における前記視線領域を、前記他の画像領域より小さい強度で圧縮する
請求項１乃至９のいずれかに記載の画像処理装置。 The image acquisition unit acquires a video,
The line-of-sight specifying unit specifies the line-of-sight direction of the person imaged in the moving image,
The image processing apparatus according to claim 1, wherein the image processing unit compresses the line-of-sight region in the moving image with a smaller intensity than the other image regions.
請求項１乃至１０のいずれかに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the image processing unit reduces image quality in the other image area from that of the line-of-sight area.
請求項１乃至１１のいずれかに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the image processing unit reduces the resolution in the other image area from the line-of-sight area.
請求項１乃至１１のいずれかに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the image processing unit reduces the number of gradations of pixel values in the other image area from the line-of-sight area.
請求項１乃至１１のいずれかに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the image processing unit reduces the number of colors included in the other image area from the line-of-sight area.
請求項１０に記載の画像処理装置。 The image processing device according to claim 10, wherein the image processing unit reduces a frame rate of a moving image in the other image area from the line-of-sight area.
前記画像内に撮像されている人物の視線方向を特定する視線特定段階と、
前記人物の視線方向の画像領域である視線領域を、他の画像領域より小さい強度で圧縮する画像処理段階と
を備える画像処理方法。 An image acquisition stage for acquiring images;
A line-of-sight identifying step for identifying a line-of-sight direction of a person imaged in the image;
An image processing method comprising: compressing a line-of-sight area, which is an image area in the line-of-sight direction of the person, with a smaller intensity than other image areas.
画像を取得する画像取得部、
前記画像内に撮像されている人物の視線方向を特定する視線特定部、
前記人物の視線方向の画像領域である視線領域を、他の画像領域より小さい強度で圧縮する画像処理部
として機能させるプログラム。 A program for an image processing apparatus, comprising:
An image acquisition unit for acquiring images;
A line-of-sight identifying unit that identifies the line-of-sight direction of the person imaged in the image,
A program that causes a line-of-sight area that is an image area in the line-of-sight direction of the person to function as an image processing unit that compresses the line-of-sight area with a smaller intensity than other image areas.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009116977A JP5096409B2 (en) | 2009-05-13 | 2009-05-13 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009116977A JP5096409B2 (en) | 2009-05-13 | 2009-05-13 | Image processing apparatus, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010268157A true JP2010268157A (en) | 2010-11-25 |
| JP5096409B2 JP5096409B2 (en) | 2012-12-12 |
Family
ID=43364791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009116977A Expired - Fee Related JP5096409B2 (en) | 2009-05-13 | 2009-05-13 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5096409B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014059788A (en) * | 2012-09-19 | 2014-04-03 | Fujitsu Ltd | Gazing action estimation device, gazing action estimation method and gazing action estimation program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1048008A (en) * | 1996-08-02 | 1998-02-20 | Omron Corp | Attention information measuring method, instrument for the method and various system using the instrument |
| JP2007286995A (en) * | 2006-04-19 | 2007-11-01 | Hitachi Ltd | Attention level measurement device and attention level measurement system |
| JP2009048620A (en) * | 2007-07-20 | 2009-03-05 | Fujifilm Corp | Image processor, image processing method, and program |
-
2009
- 2009-05-13 JP JP2009116977A patent/JP5096409B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1048008A (en) * | 1996-08-02 | 1998-02-20 | Omron Corp | Attention information measuring method, instrument for the method and various system using the instrument |
| JP2007286995A (en) * | 2006-04-19 | 2007-11-01 | Hitachi Ltd | Attention level measurement device and attention level measurement system |
| JP2009048620A (en) * | 2007-07-20 | 2009-03-05 | Fujifilm Corp | Image processor, image processing method, and program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014059788A (en) * | 2012-09-19 | 2014-04-03 | Fujitsu Ltd | Gazing action estimation device, gazing action estimation method and gazing action estimation program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5096409B2 (en) | 2012-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2010268158A (en) | Image processing system, method of processing image, and program | |
| US20240013458A1 (en) | Image processing system, image processing method and program, and device | |
| KR101490016B1 (en) | Person image processing apparatus and person image processing method | |
| US20140152530A1 (en) | Multimedia near to eye display system | |
| US10887548B2 (en) | Scaling image of speaker's face based on distance of face and size of display | |
| JP4061379B2 (en) | Information processing apparatus, portable terminal, information processing method, information processing program, and computer-readable recording medium | |
| JP6362085B2 (en) | Image recognition system, image recognition method and program | |
| JP2008199549A (en) | Monitor image processing method, monitoring system, and monitor image processing program | |
| CN108141568B (en) | OSD information generation camera, synthesis terminal device and sharing system | |
| US11068699B2 (en) | Image processing device, image processing method, and telecommunication system to generate an output image for telecommunication | |
| KR101856546B1 (en) | Method for removing processing target object in image and apparatus for performing the method | |
| US11315360B2 (en) | Live facial recognition system and method | |
| KR101540113B1 (en) | Method, apparatus for gernerating image data fot realistic-image and computer-readable recording medium for executing the method | |
| JP5088463B2 (en) | Monitoring system | |
| JP2014064083A (en) | Monitoring device and method | |
| WO2020056769A1 (en) | Method and system of facial resolution upsampling for image processing | |
| CN112073640B (en) | Panoramic information acquisition pose acquisition method, device and system | |
| JP5096409B2 (en) | Image processing apparatus, image processing method, and program | |
| CN110321782B (en) | System for detecting human body characteristic signals | |
| JP7297455B2 (en) | Image processing device, image processing method, and program | |
| US20140016859A1 (en) | Systems, methods, and media for optical recognition | |
| JP6355146B1 (en) | Medical safety system | |
| JP6858007B2 (en) | Image processing system, image processing method | |
| JP5242827B2 (en) | Face image processing apparatus, face image processing method, electronic still camera, digital image processing apparatus, and digital image processing method | |
| US11587321B2 (en) | Enhanced person detection using face recognition and reinforced, segmented field inferencing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111202 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120831 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120904 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120920 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5096409 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150928 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |