JP2004133805A - 動画像処理方法、動画像処理装置およびその方法をコンピュータに実行させるプログラム - Google Patents
動画像処理方法、動画像処理装置およびその方法をコンピュータに実行させるプログラム Download PDFInfo
- Publication number
- JP2004133805A JP2004133805A JP2002299535A JP2002299535A JP2004133805A JP 2004133805 A JP2004133805 A JP 2004133805A JP 2002299535 A JP2002299535 A JP 2002299535A JP 2002299535 A JP2002299535 A JP 2002299535A JP 2004133805 A JP2004133805 A JP 2004133805A
- Authority
- JP
- Japan
- Prior art keywords
- person
- image
- staying
- area
- predetermined area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】動画像情報の２次利用を促進するための効率的な検索と効果的な利用とを可能とすること。
【解決手段】所定のエリアに滞留していた人物だけの画像データを生成する滞留人物画像出力部４３と、滞留人物画像出力部４３で生成された画像データの孤立画像に着目して個々の人物を識別し、この識別された人物の画像領域を特定する孤立画像領域処理部４４と、この孤立画像領域処理部４４で特定された人物の画像領域の情報と所定のエリアの画像情報とから所定のエリアに滞留しているか否かを判定する滞留人物処理部４５と、人物の画像領域を表す座標群を記録する滞留人物動線記録処理部５３と、人物の滞留時間を更新および記録する滞留時間算出処理部５２と、人物の行動を定義するためのタグを生成するデータベース作成部５４とを備える。
【選択図】 図２
【解決手段】所定のエリアに滞留していた人物だけの画像データを生成する滞留人物画像出力部４３と、滞留人物画像出力部４３で生成された画像データの孤立画像に着目して個々の人物を識別し、この識別された人物の画像領域を特定する孤立画像領域処理部４４と、この孤立画像領域処理部４４で特定された人物の画像領域の情報と所定のエリアの画像情報とから所定のエリアに滞留しているか否かを判定する滞留人物処理部４５と、人物の画像領域を表す座標群を記録する滞留人物動線記録処理部５３と、人物の滞留時間を更新および記録する滞留時間算出処理部５２と、人物の行動を定義するためのタグを生成するデータベース作成部５４とを備える。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
この発明は、動画像情報を処理する方法に関するものであり、特に、動画像情報の２次利用を促進するための効率的な検索と効果的な利用とを可能とする動画像処理方法、動画像処理装置およびその方法をコンピュータに実行させるプログラムに関するものである。
【０００２】
【従来の技術】
近年、高速光通信網の急速な発展により、ネットワーク通信はブロードバンド時代を迎え、通信される情報の種類もテキストもしくは静止画像などを主体とした通信に加え、動画像の伝送も行われるようになっている。必然的に、大量の動画像情報が氾濫することになり、これらの大容量の動画像情報の効率的な管理や、この動画像情報からの２次情報生成の要求も高まってきている。
【０００３】
身近な例として、コンビニエンス・ストアでは、防犯カメラを設置して、日夜、来店する人々の行動を監視している。このコンビニエンス・ストアが展開する全国のチェーン店には膨大な動画像があるが、来店する人々の行動と商品の売り方との関係が明らかになれば、さらなる売上げ向上が期待できる。また、他の例として、街頭では、街頭に設置されたカメラで車や人の行動が撮影されているが、リアルタイムで物体の行動が検索できれば事故発生や迂回路の提案などができる。
【０００４】
しかしながら、実際には、これらの防犯カメラや街頭カメラなどは、動画像を蓄積しているだけであり、特に２次情報を生成して活用されているわけではない。もし、動画像からの物体の行動に関するデータの検索、利用等が効率的かつ効果的にできれば用途が広がるはずである。
【０００５】
一方、画像内の人物の行動を検索するにはそれなりのテクニックが必要であるが、名前や年齢と違って画像の行動を定義することは難しく、また大量の動画像を効率的に管理することも難しい。
【０００６】
特開２０００−３５７１７７号公報（先行技術１）には、店舗内の購買者の動線データを把握する動線把握システムが記載されている。なお、「動線」とは、一般的には、建物の内外で人やモノが移動する経路を「線」で表したものである。この先行技術１に記載された動線把握システムは、固有の位置識別データを記録するＩＤタグを陳列棚などに設け、このＩＤタグから発せられた位置識別データを受信するデータ識別装置をカートに搭載するとともに、購買者はこのカートを帯同して売場に入り、カートに搭載されたデータ識別装置が所定領域内に入ったＩＤタグから送信されてくるデータを順次蓄積し、この蓄積されたデータを最終的にコンピュータに伝送することで、人物の動線情報を把握するようにしている。
【０００７】
また、特開２０００−２００３５７号公報（先行技術２）には、人物動線情報の収集方法および収集装置が記載されている。この先行技術２に示された人物動線情報の収集方法および収集装置では、顧客の入店、退店および店内の移動をすべてカメラで撮影し、撮影した画像から人物像の特徴ベクトルを生成し、この生成した特徴ベクトルを照合して同一の顧客か否かを判定し、同一の顧客のときには同一の識別ＩＤを付してこの顧客の動線情報を記憶し、後で同一の識別ＩＤの情報を集計することで、この顧客の動線を得るようにしている。
【０００８】
【特許文献１】
特開２０００−３５７１７７号公報（第５頁、図２）
【特許文献２】
特開２０００−２００３５７号公報（第１０頁、図４）
【０００９】
【発明が解決しようとする課題】
しかしながら、先行技術１に記載された技術では、動線データを収集する受信手段をカートに搭載するなど、データ収集装置を顧客が携帯しなければならず顧客に何らかの負担をかけるという問題点があった。また、カートを持たない顧客のデータが収集できないという問題点もあった。
【００１０】
また、先行技術２に記載された技術は、顧客をＩＤにより識別し、この顧客ＩＤ別の動線情報を収集して蓄積しているに過ぎなかった。例えば、このように収集された動線情報だけでは、ある顧客がある陳列棚の前を通過しただけなのか、あるいは、陳列された商品に目を触れたのかを判別することができなかった。したがって、店舗レイアウト、商品陳列などの経営戦略プランを建てるための重要な資料とはなり得なかった。
【００１１】
この発明は、上記に鑑みてなされたものであり、単に蓄積されただけの防犯カメラや街頭カメラなどの動画像の情報に関し、これらの動画像の情報を再利用するとともに、店舗レイアウト、商品陳列などの戦略的な経営意志決定に活用できる動画像処理方法、動画像処理装置およびその方法をコンピュータに実行させるプログラムを得ることを目的とする。
【００１２】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するために、この発明にかかる動画像処理方法においては、複数の人物の行動が撮影された動画像を処理してこれら複数の人物の行動を把握するために必要な情報を抽出する動画像処理方法において、前記複数の人物の行動を定義するためのタグを生成するタグ生成ステップと、前記動画像から抽出された所定のエリアに滞留していた人物が、この所定のエリアと異なるエリアに滞留していたか否かを判定する判定ステップとを備え、前記タグ生成ステップは、前記所定のエリアから前記所定のエリアと異なるエリアに向かう人物の行動に対して前記タグを付与することを特徴とする。
【００１３】
この発明によれば、タグ生成ステップは、複数の人物の行動を定義するためのタグを生成し、判定ステップは、動画像から抽出された所定のエリアに滞留していた人物がこの所定のエリアと異なるエリアに滞留していたか否かを判定するようにしている。また、このタグ生成ステップは、所定のエリアからこの所定のエリアと異なるエリアに向かう人物の行動に対してタグを付与するようにしている。
【００１４】
つぎの発明にかかる動画像処理方法においては、前記所定のエリアに滞留している滞留時間を算出する滞留時間算出処理ステップをさらに備え、前記判定ステップは、前記滞留時間算出処理ステップが算出した滞留時間が所定の時間以上である場合に、前記所定のエリアに滞留していたと判定することを特徴とする。
【００１５】
この発明によれば、滞留時間算出処理ステップは、所定のエリアに滞留している滞留時間を算出するようにしている。また、判定ステップは、この滞留時間が所定の時間以上である場合に所定のエリアに滞留していたと判定するようにしている。
【００１６】
つぎの発明にかかる動画像処理方法においては、前記所定のエリアに滞留していた人物だけの画像データを生成する滞留人物画像出力ステップと、前記滞留人物画像出力ステップで生成された画像データの孤立画像に着目して個々の人物を識別し、この識別された人物の画像領域を特定する孤立画像領域処理ステップと、前記孤立画像領域処理ステップで特定された人物の画像領域の情報と前記所定のエリアの画像情報とから前記所定のエリアに滞留しているか否かを判定する滞留人物処理ステップと、前記所定のエリアに滞留していた人物の行動を定義するためのタグを生成し、前記所定のエリアから前記所定のエリアと異なるエリアに向かう人物の行動に対してこの生成したタグを付与するタグ生成ステップとを備えることを特徴とする。
【００１７】
この発明によれば、滞留人物画像出力ステップは、所定のエリアに滞留していた人物だけの画像データを生成し、孤立画像領域処理ステップは、滞留人物画像出力ステップで生成された画像データの孤立画像に着目して個々の人物を識別し、かつ、この識別された人物の画像領域を特定し、滞留人物処理ステップは、孤立画像領域処理ステップで特定された人物の画像領域の情報と所定のエリアの画像情報とから所定のエリアに滞留しているか否かを判定するようにしている。また、タグ生成ステップは、所定のエリアに滞留していた人物の行動を定義するためのタグを生成するとともに所定のエリアから所定のエリアと異なるエリアに向かう人物の行動に対してこの生成したタグを付与するようにしている。
【００１８】
つぎの発明にかかる動画像処理方法においては、前記滞留人物処理ステップで判定された人物の画像領域を表す座標群を記録する滞留人物動線記録処理ステップと、この判定された人物の滞留時間を更新および記録する滞留時間算出処理ステップとをさらに備えることを特徴とする。
【００１９】
この発明によれば、滞留人物動線記録処理ステップは、滞留人物処理ステップで判定された人物の画像領域を表す座標群を記録し、滞留時間算出処理ステップは、この判定された人物の滞留時間を更新および記録するようにしている。
【００２０】
つぎの発明にかかる動画像処理方法においては、撮影中の動画像フレームから抽出された人物に関する情報を入力する入力ステップをさらに備え、この入力された人物に関する情報を前記撮影中の動画像フレームに関連付けて記録することを特徴とする。
【００２１】
この発明によれば、撮影中の動画像フレームに、入力ステップによって入力された人物に関する情報を関連付けて記録するようにしているので、識別した人物とこの入力された人物に関する情報との照合をとることができる。
【００２２】
つぎの発明にかかる動画像処理方法においては、撮影中の動画像フレームから抽出された人物に関する情報を会員カード等から入力するカード読み取りステップをさらに備え、この入力された人物に関する情報を前記撮影中の動画像フレームに関連付けて記録することを特徴とする。
【００２３】
この発明によれば、撮影中の動画像フレームに、カード読み取りステップによって入力された会員カード等の情報を関連付けて記録するようにしているので、識別した人物とこの入力された人物に関する情報との照合をとることができる。
【００２４】
つぎの発明にかかる動画像処理装置においては、所定のエリアに滞留していた人物だけの画像データを生成する滞留人物画像出力手段と、前記滞留人物画像出力手段で生成された画像データの孤立画像に着目して個々の人物を識別し、この識別された人物の画像領域を特定する孤立画像領域処理手段と、前記孤立画像領域処理手段で特定された人物の画像領域の情報と前記所定のエリアの画像情報とから前記所定のエリアに滞留しているか否かを判定する滞留人物処理手段と、前記所定のエリアに滞留していた人物の行動を定義するためのタグを生成し、前記所定のエリアから前記所定のエリアと異なるエリアに向かう人物の行動に対してこの生成したタグを付与するタグ生成手段とを備えることを特徴とする。
【００２５】
この発明によれば、滞留人物画像出力手段は、所定のエリアに滞留していた人物だけの画像データを生成し、孤立画像領域処理手段は、滞留人物画像出力手段で生成された画像データの孤立画像に着目して個々の人物を識別し、かつ、この識別された人物の画像領域を特定し、滞留人物処理手段は、孤立画像領域処理手段で特定された人物の画像領域の情報と所定のエリアの画像情報とから所定のエリアに滞留しているか否かを判定するようにしている。また、タグ生成手段は、所定のエリアに滞留していた人物の行動を定義するためのタグを生成するとともに所定のエリアから所定のエリアと異なるエリアに向かう人物の行動に対してこの生成したタグを付与するようにしている。
【００２６】
つぎの発明にかかる動画像処理装置においては、前記滞留人物処理手段で判定された人物の画像領域を表す座標群を記録する滞留人物動線記録処理手段と、この判定された人物の滞留時間を更新および記録する滞留時間算出処理手段とをさらに備えることを特徴とする。
【００２７】
この発明によれば、滞留人物動線記録処理手段は、滞留人物処理手段で判定された人物の画像領域を表す座標群を記録し、滞留時間算出処理手段は、この判定された人物の滞留時間を更新および記録するようにしている。
【００２８】
つぎの発明にかかるプログラムは、上記の発明のいずれか一つに記載された方法をコンピュータに実行させるプログラムであり、そのプログラムがコンピュータ読み取り可能となり、これによって、上記の発明のいずれか一つの動作をコンピュータによって実行することができる。
【００２９】
【発明の実施の形態】
以下、この発明にかかる動画像処理方法、動画像処理装置およびその方法をコンピュータに実行させるプログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００３０】
実施の形態１．
図１は、ある店舗内のレイアウトおよびこの店舗内を移動する顧客の動線の一例を示す上面図である。同図において、顧客１１が店舗１０の入口２１から来店する。顧客１１は、商品棚２２に目を配りながら、店舗１０内を移動する。ときにはある商品棚２２に注目してその場所に滞留し、商品を手に取りながらその商品についての情報を得ようとする。また、ある商品棚２２には単に目を向けるだけで素通りする場合もある。顧客１１は、これらのような行動を取りながら最終的にはレジ２３で支払いを済ませ、あるいは支払いをせずに店舗１０から出て行く。
【００３１】
上記の例のように、店舗内を移動する顧客は、ただ単に漠然と動いているのではなく、陳列商品という誘因にしたがって行動する。いま、このような特徴ある顧客の行動を利用して、顧客の行動を検索するための２次情報を作成することを考える。具体的には、ある商品棚からある商品棚へと向かう行動にタグを付け、このタグに基づいたデータベースを作成する。このようなタグ付けされたデータベースが作成されれば、このデータベースを検索することによって顧客のある時間帯での行動を特定することができる。また、単に蓄積されているだけの画像情報に付加価値を付けることが可能となる。
【００３２】
図２は、この発明の実施の形態１にかかる物体移動画像の動画像処理装置の構成を示すブロック図である。前提条件として、店舗内の人物の行動は、店舗内の天井に取り付けられたビデオカメラなどの撮像装置２５によって店内が撮影されているものとする。また、撮像装置２５によって撮影された画像は、動画像データ記憶部２６に、ＭＰＥＧ形式のように静止画としてアクセスできるように記憶されているものとする。なお、撮像装置２５は、取り付け位置が解っていて、他のカメラとほぼ同一時刻にセットされており、かつ、店舗内の全域を撮影できるものであれば、一つの装置であっても、複数の装置を備えていても特に構わない。
【００３３】
図２において、この動画像処理装置は、画像データ記憶部３１と、データ記憶部３２と、画像処理部４１と、データ処理部５１とを備えている。画像データ記憶部３１は、動画像データ記憶部２６に記録された画像情報をフレーム単位の静止画として保持するとともに、画像処理部４１が画像処理を行う際に必要なマスク画像データ、店舗内の背景画像などの画像データや画像処理部４１が処理した画像データを保持する。データ記憶部３２は、データ処理部５１が処理したデータベースの構成情報を保持するとともに、データ記憶部３２に記録された情報と画像データ記憶部３１に記録されたフレーム画像データとのリンク情報を保持する。
【００３４】
図２において、画像処理部４１は、滞留人物画像出力部４３と、孤立画像領域処理部４４と、滞留人物処理部４５とを備えている。滞留人物画像出力部４３は、タグ付けのための着目エリア（発エリアおよび着エリア）の画像データを生成し、画像データ記憶部３１に記録する。また、滞留人物画像出力部４３は、着目エリアに留まっている人物を含む画像データを生成し、画像データ記憶部３１に記録する。孤立画像領域処理部４４は、滞留人物画像出力部４３で生成された画像の人物画像領域（有色画素領域）に着目して個々の人物ごとの画像データを処理する。滞留人物処理部４５は、滞留人物画像出力部４３で生成された画像データと孤立画像領域処理部４４が処理した画像データとから個々の人物ごとの動線を求める際に必要な画像データに基づいて滞留人物か否かを判定し、後述するデータ処理部５１に通知する。
【００３５】
さらに、図２において、データ処理部５１は、滞留時間算出処理部５２と、滞留人物動線記録処理部５３と、データベース作成部５４とを備えている。滞留時間算出処理部５２は、着目エリアに滞留している人物の滞留時間を算出する。滞留人物動線記録処理部５３は、着目エリアに滞留していた人物動線（人物座標の軌跡）の記録処理を行う。データベース作成部５４は、発エリアと着エリアとを識別したタグを付与し、このタグに基づいて所定のデータに関するデータベースを作成し、データ記憶部３２に記録する。
【００３６】
図３および図４は、図２の処理手順の続きを示すフローチャートである。以下、図２、図３および図４を用いてこの動画像処理装置の処理手順について説明する。なお、この動画像処理装置の全体の制御は図示しない制御手段によって制御されるものとする。また、動画像処理装置の画像データ記憶部３１には、予めつぎのような条件で画像が撮影され、記録されているものとする。
【００３７】
（撮影条件および記録内容）
▲１▼ 撮影画像は、人の行動が判別しやすいように頭上から行う。頭上から撮影すれば背景色に髪の黒さと間違える色はあまりないので、人物を識別しやすくなるといった利点がある。
▲２▼ 撮影速度は、１０フレーム／秒の間隔で撮影されているものとする。なお、この撮影速度は、人の歩く速さよりも速いフレーム数で撮影する限りにおいて任意に設定することができる。
▲３▼ 撮影フレーム数はＴフレーム（Ｔは任意の自然数）とする。
▲４▼ 店内には商品棚２２ａおよび２２ｂ（図６参照）が設置されており、予め人がいない状態での背景画像Ｈ（図６参照）が撮影され、記録されている。
▲５▼ 人間が商品棚の周辺で滞留しているものと判断される領域が予め決められている（図７に示す領域３０ａおよび３０ｂ）。なお、これらの領域の大きさは任意に設定することができる。
▲６▼ 人間が興味を持って滞留していると判定する時間を最低３秒（Ｗフレーム）と仮定する。なお、この滞留判定時間も任意に設定することができる。いま、この実施の形態において、この滞留判定時間を３秒と仮定すれば、滞留判定に要するフレーム数Ｗは、Ｗ＝３０フレームである。
【００３８】
図２および図３において、まず、滞留人物画像出力部４３は、画像データ記憶部３１から動画像フレームＭ１〜ＭＷ（図８参照）を読み込む（ステップＳ１０１）。また、滞留人物画像出力部４３は、画像データ記憶部３１に記録されている発着エリアマスク画像Ｒ（図７参照）を読み込み、これらの動画像フレームＭ１〜ＭＷと発着エリアマスク画像Ｒとの論理積をとり、これらの論理積画像すべての論理積をとった画像Ｐ０（図９参照）を出力して画像データ記憶部３１に記録する。（ステップＳ１０２）。なお、この画像Ｐ０には、Ｗフレームの間に領域３０ａ内に滞留していた人物が背景画像とともに映し出されている。
【００３９】
つぎに、滞留人物画像出力部４３は、上記ステップＳ１０２で得られた発着エリアマスク処理画像Ｐ０から、予め人物がいない状態での発着エリア付近の背景画像Ｈ（図６参照）を差し引いて画像Ｐ１（図１０参照）を出力し、画像データ記憶部３１に記録する（ステップＳ１０３）。なお、この画像Ｐ１には、領域３０ａ内に滞留している人物の画像が含まれており、図１０の例では３名の人物の画像が示されている。
【００４０】
上記のステップＳ１０１〜Ｓ１０３の処理によって発着エリア付近に滞留していた人物の画像が得られたので、つぎに、フレーム番号２からＴの間のフレーム画像を用いて、この滞留人物だけが写っている画像の作成処理を行う。
【００４１】
まず、動画像フレームのフレーム数を指定する変数ｉが２に設定される（ステップＳ１０４）。滞留人物画像出力部４３は、動画像Ｍ２（ｉ＝２）から背景画像Ｈを差し引き、残った画像と１フレーム前の画像（この場合はＰ１）との論理積をとり、この論理積出力である画像Ｐ２を出力し、画像データ記憶部３１に記録する（ステップＳ１０５）。
【００４２】
その後、フレーム数ｉが逐次インクリメントされ（ステップＳ１０７）、動画像フレーム数ｉと撮影フレーム数Ｔとが比較され（ステップＳ１０６）、動画像フレーム数ｉが撮影フレーム数Ｔに等しくなるまで、ステップＳ１０５〜Ｓ１０７の処理が実行される。なお、このステップＳ１０５で出力される画像Ｐｉは、画像Ｐ１に映し出された人物、すなわち滞留人物が、フレーム番号２からＴの間に移動した軌跡が記録されている。
【００４３】
つぎに、図４において、データベース作成部５４は、データベース作成のためのタグ名をデータ記憶部３２に生成する（ステップＳ１０８）。このタグ名は、ある商品棚からある商品棚へと向かう人物の行動に関するデータベース作成のために生成される。いま、図６に示す商品棚２２ａを「Ｕ」とし、商品棚２２ｂを「Ｖ」として、これらの商品棚Ｐから商品棚Ｓへと向かう人物の行動に関して生成されるデータベースのタグ名を「ｍｏｖｉｎｇＵＶ」とする。
【００４４】
一方、孤立画像領域処理部４４は、画像Ｐ１の人物画像領域（有色画素領域）に着目して孤立画像を１人の人物とみなして画像領域を特定するとともに、これらの特定された人物画像領域にＩＤを振る（ステップＳ１０９）。このとき、データベース作成部５４は、識別された人物画像領域を表す座標群と滞留時間とを含むデータを記憶するための記憶領域Ｌｉ，ｊ（ｉ＝１〜Ｔ、ｊ＝１〜３）をデータ記憶部３２に設ける（ステップＳ１１０）。なお、このｊは識別されたＩＤを示す変数である。
【００４５】
孤立画像領域処理部４４は、ステップＳ１０９で識別された人物画像領域を表す座標群を滞留人物動線記録処理部５３に通知する。滞留人物動線記録処理部５３は、この通知された座標群を記憶領域Ｌ１，ｊ（ｊ＝１〜３）にそれぞれ記録する（ステップＳ１１１）。データベース作成部５４は、Ｌ１，ｊ（ｊ＝１〜３）に確保された滞留時間項目の数値を初期化する（ステップＳ１１１）。
【００４６】
なお、図１２（ａ）は、記憶領域Ｌｉ，ｊのデータ構造と記憶領域Ｌｉ，ｊに格納されたデータの一例を示す図表であり、同図（ｂ）は、記憶領域Ｌｉ，ｊに格納された座標群Ｆｉ，ｊの記録例を示す図表である。同図（ａ）に示すように、記憶領域Ｌｉ，ｊは、識別ＩＤごとに各フレーム画像に対応した人物画像領域の座標群と発着エリアそれぞれの滞留時間を記録する領域とを有している。また、同図（ｂ）に示すように、座標群Ｆｉ，ｊはｎ点の座標の集合として記憶領域Ｌｉ，ｊに関連づけされて記録されている。
【００４７】
なお、図１２では、記憶領域Ｌ１，ｊに記録される座標は識別された人物画像領域を表す座標群（複数の座標）として記録することとしているが、単一の座標、例えば、人物画像領域の重心座標だけを記録してもよい。ただし、この場合には、各フレームにおいて、ステップＳ１０９で処理した識別ＩＤごとの人物画像領域の画像を記録しておき、この人物画像領域の画像と重心座標とを関連付けておく必要がある。
【００４８】
つぎに、識別ＩＤを指定する変数ｊが１に設定され（ステップＳ１１２）、動画像フレームのフレーム数を指定する変数ｉが１に設定される（ステップＳ１１３）。このとき、孤立画像領域処理部４４は、画像Ｐ１において記憶領域Ｌ１，１に記録されている座標群が示す画像領域とステップＳ１０５で出力された１フレーム後の画像Ｐ２との間で論理積をとる（ステップＳ１１４）。このとき、この論理積画像において、画像Ｐ２における孤立画像の中で重なりの大きいものを選び、この重なりの大きい孤立画像の画像領域を記憶領域Ｌ２，１に記録する（ステップＳ１１４）。さらに、滞留人物処理部４５は、ステップＳ１１４で処理され記録された画像領域Ｌ２，１と発エリアのマスク画像ＲＡ（図１３（ａ）参照）との論理積をとり、重なる部分があればデータ処理部５１の滞留時間算出処理部５２に通知し、滞留時間算出処理部５２は滞留時間を１／１０秒増やす処理を行う（ステップＳ１１５）。
【００４９】
その後、フレーム数ｉが逐次インクリメントされ（ステップＳ１１７）、動画像フレーム数ｉと撮影フレーム数Ｔとが比較され（ステップＳ１１６）、動画像フレーム数ｉが撮影フレーム数Ｔに等しくなるまで、ステップＳ１１４およびＳ１１５の処理が継続される。
【００５０】
また、ＩＤを指定する変数ｊが逐次インクリメントされ（ステップＳ１１９）、この変数ｊと識別されたＩＤの数（＝３）とが比較され（ステップＳ１１８）、この変数ｊが識別されたＩＤの数（＝３）に等しくなるまで、ステップＳ１１３〜Ｓ１１７の処理が継続される。なお、図５に示すように、必要があれば、ＩＤごとに肖像権保護ビットを立てる処理を行う（ステップＳ１２０）。
【００５１】
この実施の形態では、発エリアＡに滞留している例を示したが、着エリアＢに滞留している人物の処理も同様な手順で実施できる。すなわち、ステップＳ１１５において、ステップＳ１１４の処理で選択された人物画像と着エリアマスク画像ＲＢ（図１３（ｂ）参照）との論理積をとり、重なる部分があれば滞留時間を１／１０秒増やす処理を実施すればよい。
【００５２】
また、図１２に示す図表は、発エリアＡから着エリアＢに向かう顧客の動線をデータベース化するための構成例を示しているが、これらの発エリアＡと着エリアＢとの経路上にエリアＣを設け、このエリアＣに滞留する顧客に対しても上述した手順をこのエリアＣに適用するだけで処理することができる。この場合、「ｍｏｖｉｎｇＡＢ」というタグの他に、「ｍｏｖｉｎｇＡＣ」、「ｍｏｖｉｎｇＢＣ」というタグ付けも可能となる。
【００５３】
さらに、物体移動画像のデータが図１２に示すような形で構成されていれば、種々の形式での出力が可能である。図１４は、発エリアＡと着エリアＢとに滞留する顧客に関する情報を帳票形式で出力した例を示す図である。図１４に示した出力形式以外にも、例えば、発エリアＡに滞留した後、着エリアＢに向かう顧客数に関する情報などを出力することが可能である。
【００５４】
なお、上述してきた処理手順は、予め撮影された動画像データが画像データ記憶部３１に記憶されていることを前提としているが、動画像処理装置として高性能な装置を用いれば、リアルタイムでの処理も可能となる。
【００５５】
以上説明したように、この実施の形態によれば、タグ生成ステップは複数の人物の行動を定義するためのタグを生成し、判定ステップは動画像から抽出された所定のエリアに滞留していた人物がこの所定のエリアと異なるエリアに滞留していたか否かを判定し、また、このタグ生成ステップは所定のエリアからこの所定のエリアと異なるエリアに向かう人物の行動に対してタグを付与するようにしているので、動画像情報の２次利用を促進するための効率的な検索と効果的な利用とが図れる。
【００５６】
また、この実施の形態によれば、滞留時間算出処理ステップは、所定のエリアに滞留している滞留時間を算出するようにしている。また、判定ステップは、この滞留時間が所定の時間以上である場合に所定のエリアに滞留していたと判定するようにしているので、動画像情報の２次利用が促進されるとともに、作成された２次情報を店舗レイアウト、商品陳列などの戦略的な経営意志決定に活用することができる。
【００５７】
また、この実施の形態によれば、滞留人物画像出力ステップは所定のエリアに滞留していた人物だけの画像データを生成し、孤立画像領域処理ステップは滞留人物画像出力ステップで生成された画像データの孤立画像に着目して個々の人物を識別し、かつ、この識別された人物の画像領域を特定し、滞留人物処理ステップは孤立画像領域処理ステップで特定された人物の画像領域の情報と所定のエリアの画像情報とから所定のエリアに滞留しているか否かを判定し、また、タグ生成ステップは所定のエリアに滞留していた人物の行動を定義するためのタグを生成するとともに所定のエリアから所定のエリアと異なるエリアに向かう人物の行動に対してこの生成したタグを付与するようにしているので、動画像情報の２次利用が促進されるとともに、作成された２次情報を店舗レイアウト、商品陳列などの戦略的な経営意志決定に活用することができる。
【００５８】
また、この実施の形態によれば、滞留人物動線記録処理ステップは、滞留人物処理ステップで判定された人物の画像領域を表す座標群を記録し、滞留時間算出処理ステップは、この判定された人物の滞留時間を更新および記録するようにしているので、動画像情報の２次利用が促進されるとともに、作成された２次情報を店舗レイアウト、商品陳列などの戦略的な経営意志決定に活用することができる。
【００５９】
なお、ここでいうところのタグ生成ステップは、データベース作成部５４が行う処理に対応する。同様に、判定ステップは、滞留時間算出処理部５２の処理結果に基づき図示しない制御手段が行う処理に対応する。さらに、滞留時間算出処理ステップは、滞留時間算出処理部５２が行う処理に対応し、滞留人物画像出力ステップは、滞留人物画像出力部４３が行う処理に対応し、孤立画像領域処理ステップは、孤立画像領域処理部４４が行う処理に対応し、滞留人物処理ステップは、滞留人物処理部４５が行う処理に対応し、滞留人物動線記録処理ステップは、滞留人物動線記録処理部５３が行う処理に対応する。
【００６０】
また、図２の各部の機能の一部またはすべてを実現し、あるいは、図３および図４の処理手順の一部またはすべてを処理するためのプログラムをコンピュータシステムに読み込ませ、実行させることにより実現させてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、このプログラムは、前述の機能または機能の一部、あるいは、前述の処理手順の一部またはすべてをコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるものであってもよい。
【００６１】
実施の形態２．
図１５は、この発明の実施の形態２にかかる動画像処理装置の構成を示すブロック図である。この実施の形態２においては、画像表示部６２と、データ入力部６３とを備えたＰＯＳレジスタ６１の出力をデータ処理部５１に出力するようにしている。その他の構成については、図２と同様であり、同一部分には同一符号を付している。
【００６２】
この動画像処理装置では、ある顧客に関する情報を動画像データに関連付けることができる。具体的には、つぎのような操作を行う。図１５において、画像表示部６２は撮像装置２５で撮影されたレジ周辺の画像を表示する。レジにいる店員は、画像表示部６２に表示された画像から、ある顧客を特定する。この顧客を特定する手段は、タッチパネルなどを利用すれば簡単に実現できる。つぎに、データ入力部６３により、この特定の顧客に関する情報、例えば、性別、年齢層、職業等に関する情報を入力する。この操作はメニュー形式を利用すれば簡易に入力できる。このように入力されたデータが、データ処理部５１に送信される。データベース作成部５４は、この送信データをデータ記憶部３２に記録するとともに、顧客を特定する際に用いたフレーム画像のフレーム数（時間情報）と顧客の位置情報とからこのフレーム画像を特定することができ、記録データとのリンクを張ることができる。
【００６３】
いま、実施の形態１で説明した処理手順に基づいたデータベースの生成と比較すると、フレーム画像上の顧客画像を処理する際に、顧客に関する情報にアクセスすることができるので、さらに詳細な情報を持ったデータベースを構成することができ、画像情報にさらに付加価値を付与することができる。
【００６４】
なお、この実施の形態では画像表示部６２とデータ入力部６３とを異なる処理部としているが、画像表示部上にデータ入力画面を構築してもよい。このように構成しても、同一の作用および効果が得られることは言うまでもない。
【００６５】
以上説明したように、この実施の形態によれば、撮影中の動画像フレームに、入力ステップによって入力された人物に関する情報を関連付けて記録し、識別した人物とこの入力された人物に関する情報との照合をとるようにしているので、さらに詳細な情報を持ったデータベースを構成することができ、画像情報にさらに付加価値を付与することができる。なお、ここでいうところの入力ステップは、ＰＯＳレジスタ６１のデータ入力部６３が行う処理に対応する。
【００６６】
実施の形態３．
図１６は、この発明の実施の形態３にかかる動画像処理装置の構成を示すブロック図である。この実施の形態３においては、ＰＯＳレジスタ６１にカード読取部６４を備えていることを特徴とする。なお、その他の構成については、図１５と同様であり、同一部分には同一符号を付している。
【００６７】
この実施の形態では、会員カードや、ＩＣカードなどを用いて、ユーザ情報を自動的に読み込ませることによって、データ入力の効率化および省力化を実現することができる。なお、その他の動作については、実施の形態２と同様であり、その作用および効果についても実施の形態２と同様である。
【００６８】
以上説明したように、この実施の形態によれば、撮影中の動画像フレームに、カード読み取りステップによって入力された会員カード等の情報を関連付けて記録し、識別した人物とこの入力された人物に関する情報との照合をとるようにしているので、データ入力の効率化および省力化を実現することができる。なお、ここでいうところのカード読み取りステップは、ＰＯＳレジスタ６１のデータ入力部６３が行う処理に対応する。
【００６９】
【発明の効果】
以上説明したように、この発明によれば、動画像から抽出された所定のエリアに滞留していた人物がこの所定のエリアと異なるエリアに滞留していたか否かを判定し、複数の人物の行動を定義するためのタグを生成し、所定のエリアからこの所定のエリアと異なるエリアに向かう人物の行動に対してこの生成されたタグを付与するようにしているので、動画像情報の２次利用を促進するための効率的な検索と効果的な利用とが図れるという効果を奏する。
【００７０】
また、この発明によれば、所定のエリアに滞留している滞留時間を算出し、この滞留時間が所定の時間以上である場合に所定のエリアに滞留していたと判定するようにしているので、動画像情報の２次利用が促進されるとともに、作成された２次情報を店舗レイアウト、商品陳列などの戦略的な経営意志決定に活用することができるという効果を奏する。
【００７１】
つぎの発明にかかるプログラムによれば、上記の発明のいずれか一つに記載された方法をコンピュータに実行させるようにしたので、そのプログラムがコンピュータ読み取り可能となり、これによって、上記の発明のいずれか一つの動作をコンピュータによって実行することができるという効果を奏する。
【図面の簡単な説明】
【図１】ある店舗内のレイアウトおよびこの店舗内を移動する顧客の動線の一例を示す上面図である。
【図２】この発明の実施の形態１にかかる物体移動画像の動画像処理装置の構成を示すブロック図である。
【図３】図２の動画像処理装置の処理手順を示すフローチャートである。
【図４】図３の処理手順の続きを示すフローチャートである。
【図５】図４の処理手順の続きを示すフローチャートである。
【図６】予め人がいない状態で撮影された背景画像を示す図である。
【図７】発着エリアのマスク画像を示す図である。
【図８】動画像フレームの一例を示す図である。
【図９】発着エリアのマスク画像によって抽出された画像を示す図である。
【図１０】発着エリアに滞留する可能性のある人物画像を示す図である。
【図１１】ＩＤごとに識別された人物画像領域を示す図である。
【図１２】
（ａ）は記憶領域Ｌｉ，ｊのデータ構造と記憶領域Ｌｉ，ｊに格納されたデータの一例を示す図表であり、（ｂ）は記憶領域Ｌｉ，ｊに格納された座標群Ｆｉ，ｊの記録例を示す図表である。
【図１３】
（ａ）は発エリアのマスク画像であり、（ｂ）は着エリアのマスク画像を示す図である。
【図１４】発エリアＡと着エリアＢとに滞留する顧客に関する情報を帳票形式で出力した例を示す図である。
【図１５】この発明の実施の形態２にかかる動画像処理装置の構成を示すブロック図である。
【図１６】この発明の実施の形態３にかかる動画像処理装置の構成を示すブロック図である。
【符号の説明】
１０ 店舗
１１ 顧客
２１ 入口
２２，２２ａ，２２ｂ 商品棚
２３ レジ
２５ 撮像装置
２６ 動画像データ記憶部
３０ａ，３０ｂ 領域
３１ 画像データ記憶部
３２ データ記憶部
４１ 画像処理部
４３ 滞留人物画像出力部
４４ 孤立画像領域処理部
４５ 滞留人物処理部
５１ データ処理部
５２ 滞留時間算出処理部
５３ 滞留人物動線記録処理部
５４ データベース作成部
６１ ＰＯＳレジスタ
６２ 画像表示部
６３ データ入力部
６４ カード読取部
Ａ 発エリア
Ｂ 着エリア
Ｃ エリア
Ｈ 背景画像
Ｆｉ，ｊ 座標群
Ｌｉ，ｊ 記憶領域
Ｍｉ 動画像フレーム
Ｐ０ 発着エリアマスク処理画像
Ｐ１ 滞留人物画像
Ｐｉ 滞留候補人物移動画像
Ｑｊ 孤立領域画像
Ｒ 発着エリアマスク画像
ＲＡ 発エリアマスク画像
ＲＢ 着エリアマスク画像
Ｔ 撮影フレーム
Ｕ，Ｖ 商品棚
Ｗ フレーム数
【発明の属する技術分野】
この発明は、動画像情報を処理する方法に関するものであり、特に、動画像情報の２次利用を促進するための効率的な検索と効果的な利用とを可能とする動画像処理方法、動画像処理装置およびその方法をコンピュータに実行させるプログラムに関するものである。
【０００２】
【従来の技術】
近年、高速光通信網の急速な発展により、ネットワーク通信はブロードバンド時代を迎え、通信される情報の種類もテキストもしくは静止画像などを主体とした通信に加え、動画像の伝送も行われるようになっている。必然的に、大量の動画像情報が氾濫することになり、これらの大容量の動画像情報の効率的な管理や、この動画像情報からの２次情報生成の要求も高まってきている。
【０００３】
身近な例として、コンビニエンス・ストアでは、防犯カメラを設置して、日夜、来店する人々の行動を監視している。このコンビニエンス・ストアが展開する全国のチェーン店には膨大な動画像があるが、来店する人々の行動と商品の売り方との関係が明らかになれば、さらなる売上げ向上が期待できる。また、他の例として、街頭では、街頭に設置されたカメラで車や人の行動が撮影されているが、リアルタイムで物体の行動が検索できれば事故発生や迂回路の提案などができる。
【０００４】
しかしながら、実際には、これらの防犯カメラや街頭カメラなどは、動画像を蓄積しているだけであり、特に２次情報を生成して活用されているわけではない。もし、動画像からの物体の行動に関するデータの検索、利用等が効率的かつ効果的にできれば用途が広がるはずである。
【０００５】
一方、画像内の人物の行動を検索するにはそれなりのテクニックが必要であるが、名前や年齢と違って画像の行動を定義することは難しく、また大量の動画像を効率的に管理することも難しい。
【０００６】
特開２０００−３５７１７７号公報（先行技術１）には、店舗内の購買者の動線データを把握する動線把握システムが記載されている。なお、「動線」とは、一般的には、建物の内外で人やモノが移動する経路を「線」で表したものである。この先行技術１に記載された動線把握システムは、固有の位置識別データを記録するＩＤタグを陳列棚などに設け、このＩＤタグから発せられた位置識別データを受信するデータ識別装置をカートに搭載するとともに、購買者はこのカートを帯同して売場に入り、カートに搭載されたデータ識別装置が所定領域内に入ったＩＤタグから送信されてくるデータを順次蓄積し、この蓄積されたデータを最終的にコンピュータに伝送することで、人物の動線情報を把握するようにしている。
【０００７】
また、特開２０００−２００３５７号公報（先行技術２）には、人物動線情報の収集方法および収集装置が記載されている。この先行技術２に示された人物動線情報の収集方法および収集装置では、顧客の入店、退店および店内の移動をすべてカメラで撮影し、撮影した画像から人物像の特徴ベクトルを生成し、この生成した特徴ベクトルを照合して同一の顧客か否かを判定し、同一の顧客のときには同一の識別ＩＤを付してこの顧客の動線情報を記憶し、後で同一の識別ＩＤの情報を集計することで、この顧客の動線を得るようにしている。
【０００８】
【特許文献１】
特開２０００−３５７１７７号公報（第５頁、図２）
【特許文献２】
特開２０００−２００３５７号公報（第１０頁、図４）
【０００９】
【発明が解決しようとする課題】
しかしながら、先行技術１に記載された技術では、動線データを収集する受信手段をカートに搭載するなど、データ収集装置を顧客が携帯しなければならず顧客に何らかの負担をかけるという問題点があった。また、カートを持たない顧客のデータが収集できないという問題点もあった。
【００１０】
また、先行技術２に記載された技術は、顧客をＩＤにより識別し、この顧客ＩＤ別の動線情報を収集して蓄積しているに過ぎなかった。例えば、このように収集された動線情報だけでは、ある顧客がある陳列棚の前を通過しただけなのか、あるいは、陳列された商品に目を触れたのかを判別することができなかった。したがって、店舗レイアウト、商品陳列などの経営戦略プランを建てるための重要な資料とはなり得なかった。
【００１１】
この発明は、上記に鑑みてなされたものであり、単に蓄積されただけの防犯カメラや街頭カメラなどの動画像の情報に関し、これらの動画像の情報を再利用するとともに、店舗レイアウト、商品陳列などの戦略的な経営意志決定に活用できる動画像処理方法、動画像処理装置およびその方法をコンピュータに実行させるプログラムを得ることを目的とする。
【００１２】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するために、この発明にかかる動画像処理方法においては、複数の人物の行動が撮影された動画像を処理してこれら複数の人物の行動を把握するために必要な情報を抽出する動画像処理方法において、前記複数の人物の行動を定義するためのタグを生成するタグ生成ステップと、前記動画像から抽出された所定のエリアに滞留していた人物が、この所定のエリアと異なるエリアに滞留していたか否かを判定する判定ステップとを備え、前記タグ生成ステップは、前記所定のエリアから前記所定のエリアと異なるエリアに向かう人物の行動に対して前記タグを付与することを特徴とする。
【００１３】
この発明によれば、タグ生成ステップは、複数の人物の行動を定義するためのタグを生成し、判定ステップは、動画像から抽出された所定のエリアに滞留していた人物がこの所定のエリアと異なるエリアに滞留していたか否かを判定するようにしている。また、このタグ生成ステップは、所定のエリアからこの所定のエリアと異なるエリアに向かう人物の行動に対してタグを付与するようにしている。
【００１４】
つぎの発明にかかる動画像処理方法においては、前記所定のエリアに滞留している滞留時間を算出する滞留時間算出処理ステップをさらに備え、前記判定ステップは、前記滞留時間算出処理ステップが算出した滞留時間が所定の時間以上である場合に、前記所定のエリアに滞留していたと判定することを特徴とする。
【００１５】
この発明によれば、滞留時間算出処理ステップは、所定のエリアに滞留している滞留時間を算出するようにしている。また、判定ステップは、この滞留時間が所定の時間以上である場合に所定のエリアに滞留していたと判定するようにしている。
【００１６】
つぎの発明にかかる動画像処理方法においては、前記所定のエリアに滞留していた人物だけの画像データを生成する滞留人物画像出力ステップと、前記滞留人物画像出力ステップで生成された画像データの孤立画像に着目して個々の人物を識別し、この識別された人物の画像領域を特定する孤立画像領域処理ステップと、前記孤立画像領域処理ステップで特定された人物の画像領域の情報と前記所定のエリアの画像情報とから前記所定のエリアに滞留しているか否かを判定する滞留人物処理ステップと、前記所定のエリアに滞留していた人物の行動を定義するためのタグを生成し、前記所定のエリアから前記所定のエリアと異なるエリアに向かう人物の行動に対してこの生成したタグを付与するタグ生成ステップとを備えることを特徴とする。
【００１７】
この発明によれば、滞留人物画像出力ステップは、所定のエリアに滞留していた人物だけの画像データを生成し、孤立画像領域処理ステップは、滞留人物画像出力ステップで生成された画像データの孤立画像に着目して個々の人物を識別し、かつ、この識別された人物の画像領域を特定し、滞留人物処理ステップは、孤立画像領域処理ステップで特定された人物の画像領域の情報と所定のエリアの画像情報とから所定のエリアに滞留しているか否かを判定するようにしている。また、タグ生成ステップは、所定のエリアに滞留していた人物の行動を定義するためのタグを生成するとともに所定のエリアから所定のエリアと異なるエリアに向かう人物の行動に対してこの生成したタグを付与するようにしている。
【００１８】
つぎの発明にかかる動画像処理方法においては、前記滞留人物処理ステップで判定された人物の画像領域を表す座標群を記録する滞留人物動線記録処理ステップと、この判定された人物の滞留時間を更新および記録する滞留時間算出処理ステップとをさらに備えることを特徴とする。
【００１９】
この発明によれば、滞留人物動線記録処理ステップは、滞留人物処理ステップで判定された人物の画像領域を表す座標群を記録し、滞留時間算出処理ステップは、この判定された人物の滞留時間を更新および記録するようにしている。
【００２０】
つぎの発明にかかる動画像処理方法においては、撮影中の動画像フレームから抽出された人物に関する情報を入力する入力ステップをさらに備え、この入力された人物に関する情報を前記撮影中の動画像フレームに関連付けて記録することを特徴とする。
【００２１】
この発明によれば、撮影中の動画像フレームに、入力ステップによって入力された人物に関する情報を関連付けて記録するようにしているので、識別した人物とこの入力された人物に関する情報との照合をとることができる。
【００２２】
つぎの発明にかかる動画像処理方法においては、撮影中の動画像フレームから抽出された人物に関する情報を会員カード等から入力するカード読み取りステップをさらに備え、この入力された人物に関する情報を前記撮影中の動画像フレームに関連付けて記録することを特徴とする。
【００２３】
この発明によれば、撮影中の動画像フレームに、カード読み取りステップによって入力された会員カード等の情報を関連付けて記録するようにしているので、識別した人物とこの入力された人物に関する情報との照合をとることができる。
【００２４】
つぎの発明にかかる動画像処理装置においては、所定のエリアに滞留していた人物だけの画像データを生成する滞留人物画像出力手段と、前記滞留人物画像出力手段で生成された画像データの孤立画像に着目して個々の人物を識別し、この識別された人物の画像領域を特定する孤立画像領域処理手段と、前記孤立画像領域処理手段で特定された人物の画像領域の情報と前記所定のエリアの画像情報とから前記所定のエリアに滞留しているか否かを判定する滞留人物処理手段と、前記所定のエリアに滞留していた人物の行動を定義するためのタグを生成し、前記所定のエリアから前記所定のエリアと異なるエリアに向かう人物の行動に対してこの生成したタグを付与するタグ生成手段とを備えることを特徴とする。
【００２５】
この発明によれば、滞留人物画像出力手段は、所定のエリアに滞留していた人物だけの画像データを生成し、孤立画像領域処理手段は、滞留人物画像出力手段で生成された画像データの孤立画像に着目して個々の人物を識別し、かつ、この識別された人物の画像領域を特定し、滞留人物処理手段は、孤立画像領域処理手段で特定された人物の画像領域の情報と所定のエリアの画像情報とから所定のエリアに滞留しているか否かを判定するようにしている。また、タグ生成手段は、所定のエリアに滞留していた人物の行動を定義するためのタグを生成するとともに所定のエリアから所定のエリアと異なるエリアに向かう人物の行動に対してこの生成したタグを付与するようにしている。
【００２６】
つぎの発明にかかる動画像処理装置においては、前記滞留人物処理手段で判定された人物の画像領域を表す座標群を記録する滞留人物動線記録処理手段と、この判定された人物の滞留時間を更新および記録する滞留時間算出処理手段とをさらに備えることを特徴とする。
【００２７】
この発明によれば、滞留人物動線記録処理手段は、滞留人物処理手段で判定された人物の画像領域を表す座標群を記録し、滞留時間算出処理手段は、この判定された人物の滞留時間を更新および記録するようにしている。
【００２８】
つぎの発明にかかるプログラムは、上記の発明のいずれか一つに記載された方法をコンピュータに実行させるプログラムであり、そのプログラムがコンピュータ読み取り可能となり、これによって、上記の発明のいずれか一つの動作をコンピュータによって実行することができる。
【００２９】
【発明の実施の形態】
以下、この発明にかかる動画像処理方法、動画像処理装置およびその方法をコンピュータに実行させるプログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００３０】
実施の形態１．
図１は、ある店舗内のレイアウトおよびこの店舗内を移動する顧客の動線の一例を示す上面図である。同図において、顧客１１が店舗１０の入口２１から来店する。顧客１１は、商品棚２２に目を配りながら、店舗１０内を移動する。ときにはある商品棚２２に注目してその場所に滞留し、商品を手に取りながらその商品についての情報を得ようとする。また、ある商品棚２２には単に目を向けるだけで素通りする場合もある。顧客１１は、これらのような行動を取りながら最終的にはレジ２３で支払いを済ませ、あるいは支払いをせずに店舗１０から出て行く。
【００３１】
上記の例のように、店舗内を移動する顧客は、ただ単に漠然と動いているのではなく、陳列商品という誘因にしたがって行動する。いま、このような特徴ある顧客の行動を利用して、顧客の行動を検索するための２次情報を作成することを考える。具体的には、ある商品棚からある商品棚へと向かう行動にタグを付け、このタグに基づいたデータベースを作成する。このようなタグ付けされたデータベースが作成されれば、このデータベースを検索することによって顧客のある時間帯での行動を特定することができる。また、単に蓄積されているだけの画像情報に付加価値を付けることが可能となる。
【００３２】
図２は、この発明の実施の形態１にかかる物体移動画像の動画像処理装置の構成を示すブロック図である。前提条件として、店舗内の人物の行動は、店舗内の天井に取り付けられたビデオカメラなどの撮像装置２５によって店内が撮影されているものとする。また、撮像装置２５によって撮影された画像は、動画像データ記憶部２６に、ＭＰＥＧ形式のように静止画としてアクセスできるように記憶されているものとする。なお、撮像装置２５は、取り付け位置が解っていて、他のカメラとほぼ同一時刻にセットされており、かつ、店舗内の全域を撮影できるものであれば、一つの装置であっても、複数の装置を備えていても特に構わない。
【００３３】
図２において、この動画像処理装置は、画像データ記憶部３１と、データ記憶部３２と、画像処理部４１と、データ処理部５１とを備えている。画像データ記憶部３１は、動画像データ記憶部２６に記録された画像情報をフレーム単位の静止画として保持するとともに、画像処理部４１が画像処理を行う際に必要なマスク画像データ、店舗内の背景画像などの画像データや画像処理部４１が処理した画像データを保持する。データ記憶部３２は、データ処理部５１が処理したデータベースの構成情報を保持するとともに、データ記憶部３２に記録された情報と画像データ記憶部３１に記録されたフレーム画像データとのリンク情報を保持する。
【００３４】
図２において、画像処理部４１は、滞留人物画像出力部４３と、孤立画像領域処理部４４と、滞留人物処理部４５とを備えている。滞留人物画像出力部４３は、タグ付けのための着目エリア（発エリアおよび着エリア）の画像データを生成し、画像データ記憶部３１に記録する。また、滞留人物画像出力部４３は、着目エリアに留まっている人物を含む画像データを生成し、画像データ記憶部３１に記録する。孤立画像領域処理部４４は、滞留人物画像出力部４３で生成された画像の人物画像領域（有色画素領域）に着目して個々の人物ごとの画像データを処理する。滞留人物処理部４５は、滞留人物画像出力部４３で生成された画像データと孤立画像領域処理部４４が処理した画像データとから個々の人物ごとの動線を求める際に必要な画像データに基づいて滞留人物か否かを判定し、後述するデータ処理部５１に通知する。
【００３５】
さらに、図２において、データ処理部５１は、滞留時間算出処理部５２と、滞留人物動線記録処理部５３と、データベース作成部５４とを備えている。滞留時間算出処理部５２は、着目エリアに滞留している人物の滞留時間を算出する。滞留人物動線記録処理部５３は、着目エリアに滞留していた人物動線（人物座標の軌跡）の記録処理を行う。データベース作成部５４は、発エリアと着エリアとを識別したタグを付与し、このタグに基づいて所定のデータに関するデータベースを作成し、データ記憶部３２に記録する。
【００３６】
図３および図４は、図２の処理手順の続きを示すフローチャートである。以下、図２、図３および図４を用いてこの動画像処理装置の処理手順について説明する。なお、この動画像処理装置の全体の制御は図示しない制御手段によって制御されるものとする。また、動画像処理装置の画像データ記憶部３１には、予めつぎのような条件で画像が撮影され、記録されているものとする。
【００３７】
（撮影条件および記録内容）
▲１▼ 撮影画像は、人の行動が判別しやすいように頭上から行う。頭上から撮影すれば背景色に髪の黒さと間違える色はあまりないので、人物を識別しやすくなるといった利点がある。
▲２▼ 撮影速度は、１０フレーム／秒の間隔で撮影されているものとする。なお、この撮影速度は、人の歩く速さよりも速いフレーム数で撮影する限りにおいて任意に設定することができる。
▲３▼ 撮影フレーム数はＴフレーム（Ｔは任意の自然数）とする。
▲４▼ 店内には商品棚２２ａおよび２２ｂ（図６参照）が設置されており、予め人がいない状態での背景画像Ｈ（図６参照）が撮影され、記録されている。
▲５▼ 人間が商品棚の周辺で滞留しているものと判断される領域が予め決められている（図７に示す領域３０ａおよび３０ｂ）。なお、これらの領域の大きさは任意に設定することができる。
▲６▼ 人間が興味を持って滞留していると判定する時間を最低３秒（Ｗフレーム）と仮定する。なお、この滞留判定時間も任意に設定することができる。いま、この実施の形態において、この滞留判定時間を３秒と仮定すれば、滞留判定に要するフレーム数Ｗは、Ｗ＝３０フレームである。
【００３８】
図２および図３において、まず、滞留人物画像出力部４３は、画像データ記憶部３１から動画像フレームＭ１〜ＭＷ（図８参照）を読み込む（ステップＳ１０１）。また、滞留人物画像出力部４３は、画像データ記憶部３１に記録されている発着エリアマスク画像Ｒ（図７参照）を読み込み、これらの動画像フレームＭ１〜ＭＷと発着エリアマスク画像Ｒとの論理積をとり、これらの論理積画像すべての論理積をとった画像Ｐ０（図９参照）を出力して画像データ記憶部３１に記録する。（ステップＳ１０２）。なお、この画像Ｐ０には、Ｗフレームの間に領域３０ａ内に滞留していた人物が背景画像とともに映し出されている。
【００３９】
つぎに、滞留人物画像出力部４３は、上記ステップＳ１０２で得られた発着エリアマスク処理画像Ｐ０から、予め人物がいない状態での発着エリア付近の背景画像Ｈ（図６参照）を差し引いて画像Ｐ１（図１０参照）を出力し、画像データ記憶部３１に記録する（ステップＳ１０３）。なお、この画像Ｐ１には、領域３０ａ内に滞留している人物の画像が含まれており、図１０の例では３名の人物の画像が示されている。
【００４０】
上記のステップＳ１０１〜Ｓ１０３の処理によって発着エリア付近に滞留していた人物の画像が得られたので、つぎに、フレーム番号２からＴの間のフレーム画像を用いて、この滞留人物だけが写っている画像の作成処理を行う。
【００４１】
まず、動画像フレームのフレーム数を指定する変数ｉが２に設定される（ステップＳ１０４）。滞留人物画像出力部４３は、動画像Ｍ２（ｉ＝２）から背景画像Ｈを差し引き、残った画像と１フレーム前の画像（この場合はＰ１）との論理積をとり、この論理積出力である画像Ｐ２を出力し、画像データ記憶部３１に記録する（ステップＳ１０５）。
【００４２】
その後、フレーム数ｉが逐次インクリメントされ（ステップＳ１０７）、動画像フレーム数ｉと撮影フレーム数Ｔとが比較され（ステップＳ１０６）、動画像フレーム数ｉが撮影フレーム数Ｔに等しくなるまで、ステップＳ１０５〜Ｓ１０７の処理が実行される。なお、このステップＳ１０５で出力される画像Ｐｉは、画像Ｐ１に映し出された人物、すなわち滞留人物が、フレーム番号２からＴの間に移動した軌跡が記録されている。
【００４３】
つぎに、図４において、データベース作成部５４は、データベース作成のためのタグ名をデータ記憶部３２に生成する（ステップＳ１０８）。このタグ名は、ある商品棚からある商品棚へと向かう人物の行動に関するデータベース作成のために生成される。いま、図６に示す商品棚２２ａを「Ｕ」とし、商品棚２２ｂを「Ｖ」として、これらの商品棚Ｐから商品棚Ｓへと向かう人物の行動に関して生成されるデータベースのタグ名を「ｍｏｖｉｎｇＵＶ」とする。
【００４４】
一方、孤立画像領域処理部４４は、画像Ｐ１の人物画像領域（有色画素領域）に着目して孤立画像を１人の人物とみなして画像領域を特定するとともに、これらの特定された人物画像領域にＩＤを振る（ステップＳ１０９）。このとき、データベース作成部５４は、識別された人物画像領域を表す座標群と滞留時間とを含むデータを記憶するための記憶領域Ｌｉ，ｊ（ｉ＝１〜Ｔ、ｊ＝１〜３）をデータ記憶部３２に設ける（ステップＳ１１０）。なお、このｊは識別されたＩＤを示す変数である。
【００４５】
孤立画像領域処理部４４は、ステップＳ１０９で識別された人物画像領域を表す座標群を滞留人物動線記録処理部５３に通知する。滞留人物動線記録処理部５３は、この通知された座標群を記憶領域Ｌ１，ｊ（ｊ＝１〜３）にそれぞれ記録する（ステップＳ１１１）。データベース作成部５４は、Ｌ１，ｊ（ｊ＝１〜３）に確保された滞留時間項目の数値を初期化する（ステップＳ１１１）。
【００４６】
なお、図１２（ａ）は、記憶領域Ｌｉ，ｊのデータ構造と記憶領域Ｌｉ，ｊに格納されたデータの一例を示す図表であり、同図（ｂ）は、記憶領域Ｌｉ，ｊに格納された座標群Ｆｉ，ｊの記録例を示す図表である。同図（ａ）に示すように、記憶領域Ｌｉ，ｊは、識別ＩＤごとに各フレーム画像に対応した人物画像領域の座標群と発着エリアそれぞれの滞留時間を記録する領域とを有している。また、同図（ｂ）に示すように、座標群Ｆｉ，ｊはｎ点の座標の集合として記憶領域Ｌｉ，ｊに関連づけされて記録されている。
【００４７】
なお、図１２では、記憶領域Ｌ１，ｊに記録される座標は識別された人物画像領域を表す座標群（複数の座標）として記録することとしているが、単一の座標、例えば、人物画像領域の重心座標だけを記録してもよい。ただし、この場合には、各フレームにおいて、ステップＳ１０９で処理した識別ＩＤごとの人物画像領域の画像を記録しておき、この人物画像領域の画像と重心座標とを関連付けておく必要がある。
【００４８】
つぎに、識別ＩＤを指定する変数ｊが１に設定され（ステップＳ１１２）、動画像フレームのフレーム数を指定する変数ｉが１に設定される（ステップＳ１１３）。このとき、孤立画像領域処理部４４は、画像Ｐ１において記憶領域Ｌ１，１に記録されている座標群が示す画像領域とステップＳ１０５で出力された１フレーム後の画像Ｐ２との間で論理積をとる（ステップＳ１１４）。このとき、この論理積画像において、画像Ｐ２における孤立画像の中で重なりの大きいものを選び、この重なりの大きい孤立画像の画像領域を記憶領域Ｌ２，１に記録する（ステップＳ１１４）。さらに、滞留人物処理部４５は、ステップＳ１１４で処理され記録された画像領域Ｌ２，１と発エリアのマスク画像ＲＡ（図１３（ａ）参照）との論理積をとり、重なる部分があればデータ処理部５１の滞留時間算出処理部５２に通知し、滞留時間算出処理部５２は滞留時間を１／１０秒増やす処理を行う（ステップＳ１１５）。
【００４９】
その後、フレーム数ｉが逐次インクリメントされ（ステップＳ１１７）、動画像フレーム数ｉと撮影フレーム数Ｔとが比較され（ステップＳ１１６）、動画像フレーム数ｉが撮影フレーム数Ｔに等しくなるまで、ステップＳ１１４およびＳ１１５の処理が継続される。
【００５０】
また、ＩＤを指定する変数ｊが逐次インクリメントされ（ステップＳ１１９）、この変数ｊと識別されたＩＤの数（＝３）とが比較され（ステップＳ１１８）、この変数ｊが識別されたＩＤの数（＝３）に等しくなるまで、ステップＳ１１３〜Ｓ１１７の処理が継続される。なお、図５に示すように、必要があれば、ＩＤごとに肖像権保護ビットを立てる処理を行う（ステップＳ１２０）。
【００５１】
この実施の形態では、発エリアＡに滞留している例を示したが、着エリアＢに滞留している人物の処理も同様な手順で実施できる。すなわち、ステップＳ１１５において、ステップＳ１１４の処理で選択された人物画像と着エリアマスク画像ＲＢ（図１３（ｂ）参照）との論理積をとり、重なる部分があれば滞留時間を１／１０秒増やす処理を実施すればよい。
【００５２】
また、図１２に示す図表は、発エリアＡから着エリアＢに向かう顧客の動線をデータベース化するための構成例を示しているが、これらの発エリアＡと着エリアＢとの経路上にエリアＣを設け、このエリアＣに滞留する顧客に対しても上述した手順をこのエリアＣに適用するだけで処理することができる。この場合、「ｍｏｖｉｎｇＡＢ」というタグの他に、「ｍｏｖｉｎｇＡＣ」、「ｍｏｖｉｎｇＢＣ」というタグ付けも可能となる。
【００５３】
さらに、物体移動画像のデータが図１２に示すような形で構成されていれば、種々の形式での出力が可能である。図１４は、発エリアＡと着エリアＢとに滞留する顧客に関する情報を帳票形式で出力した例を示す図である。図１４に示した出力形式以外にも、例えば、発エリアＡに滞留した後、着エリアＢに向かう顧客数に関する情報などを出力することが可能である。
【００５４】
なお、上述してきた処理手順は、予め撮影された動画像データが画像データ記憶部３１に記憶されていることを前提としているが、動画像処理装置として高性能な装置を用いれば、リアルタイムでの処理も可能となる。
【００５５】
以上説明したように、この実施の形態によれば、タグ生成ステップは複数の人物の行動を定義するためのタグを生成し、判定ステップは動画像から抽出された所定のエリアに滞留していた人物がこの所定のエリアと異なるエリアに滞留していたか否かを判定し、また、このタグ生成ステップは所定のエリアからこの所定のエリアと異なるエリアに向かう人物の行動に対してタグを付与するようにしているので、動画像情報の２次利用を促進するための効率的な検索と効果的な利用とが図れる。
【００５６】
また、この実施の形態によれば、滞留時間算出処理ステップは、所定のエリアに滞留している滞留時間を算出するようにしている。また、判定ステップは、この滞留時間が所定の時間以上である場合に所定のエリアに滞留していたと判定するようにしているので、動画像情報の２次利用が促進されるとともに、作成された２次情報を店舗レイアウト、商品陳列などの戦略的な経営意志決定に活用することができる。
【００５７】
また、この実施の形態によれば、滞留人物画像出力ステップは所定のエリアに滞留していた人物だけの画像データを生成し、孤立画像領域処理ステップは滞留人物画像出力ステップで生成された画像データの孤立画像に着目して個々の人物を識別し、かつ、この識別された人物の画像領域を特定し、滞留人物処理ステップは孤立画像領域処理ステップで特定された人物の画像領域の情報と所定のエリアの画像情報とから所定のエリアに滞留しているか否かを判定し、また、タグ生成ステップは所定のエリアに滞留していた人物の行動を定義するためのタグを生成するとともに所定のエリアから所定のエリアと異なるエリアに向かう人物の行動に対してこの生成したタグを付与するようにしているので、動画像情報の２次利用が促進されるとともに、作成された２次情報を店舗レイアウト、商品陳列などの戦略的な経営意志決定に活用することができる。
【００５８】
また、この実施の形態によれば、滞留人物動線記録処理ステップは、滞留人物処理ステップで判定された人物の画像領域を表す座標群を記録し、滞留時間算出処理ステップは、この判定された人物の滞留時間を更新および記録するようにしているので、動画像情報の２次利用が促進されるとともに、作成された２次情報を店舗レイアウト、商品陳列などの戦略的な経営意志決定に活用することができる。
【００５９】
なお、ここでいうところのタグ生成ステップは、データベース作成部５４が行う処理に対応する。同様に、判定ステップは、滞留時間算出処理部５２の処理結果に基づき図示しない制御手段が行う処理に対応する。さらに、滞留時間算出処理ステップは、滞留時間算出処理部５２が行う処理に対応し、滞留人物画像出力ステップは、滞留人物画像出力部４３が行う処理に対応し、孤立画像領域処理ステップは、孤立画像領域処理部４４が行う処理に対応し、滞留人物処理ステップは、滞留人物処理部４５が行う処理に対応し、滞留人物動線記録処理ステップは、滞留人物動線記録処理部５３が行う処理に対応する。
【００６０】
また、図２の各部の機能の一部またはすべてを実現し、あるいは、図３および図４の処理手順の一部またはすべてを処理するためのプログラムをコンピュータシステムに読み込ませ、実行させることにより実現させてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、このプログラムは、前述の機能または機能の一部、あるいは、前述の処理手順の一部またはすべてをコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるものであってもよい。
【００６１】
実施の形態２．
図１５は、この発明の実施の形態２にかかる動画像処理装置の構成を示すブロック図である。この実施の形態２においては、画像表示部６２と、データ入力部６３とを備えたＰＯＳレジスタ６１の出力をデータ処理部５１に出力するようにしている。その他の構成については、図２と同様であり、同一部分には同一符号を付している。
【００６２】
この動画像処理装置では、ある顧客に関する情報を動画像データに関連付けることができる。具体的には、つぎのような操作を行う。図１５において、画像表示部６２は撮像装置２５で撮影されたレジ周辺の画像を表示する。レジにいる店員は、画像表示部６２に表示された画像から、ある顧客を特定する。この顧客を特定する手段は、タッチパネルなどを利用すれば簡単に実現できる。つぎに、データ入力部６３により、この特定の顧客に関する情報、例えば、性別、年齢層、職業等に関する情報を入力する。この操作はメニュー形式を利用すれば簡易に入力できる。このように入力されたデータが、データ処理部５１に送信される。データベース作成部５４は、この送信データをデータ記憶部３２に記録するとともに、顧客を特定する際に用いたフレーム画像のフレーム数（時間情報）と顧客の位置情報とからこのフレーム画像を特定することができ、記録データとのリンクを張ることができる。
【００６３】
いま、実施の形態１で説明した処理手順に基づいたデータベースの生成と比較すると、フレーム画像上の顧客画像を処理する際に、顧客に関する情報にアクセスすることができるので、さらに詳細な情報を持ったデータベースを構成することができ、画像情報にさらに付加価値を付与することができる。
【００６４】
なお、この実施の形態では画像表示部６２とデータ入力部６３とを異なる処理部としているが、画像表示部上にデータ入力画面を構築してもよい。このように構成しても、同一の作用および効果が得られることは言うまでもない。
【００６５】
以上説明したように、この実施の形態によれば、撮影中の動画像フレームに、入力ステップによって入力された人物に関する情報を関連付けて記録し、識別した人物とこの入力された人物に関する情報との照合をとるようにしているので、さらに詳細な情報を持ったデータベースを構成することができ、画像情報にさらに付加価値を付与することができる。なお、ここでいうところの入力ステップは、ＰＯＳレジスタ６１のデータ入力部６３が行う処理に対応する。
【００６６】
実施の形態３．
図１６は、この発明の実施の形態３にかかる動画像処理装置の構成を示すブロック図である。この実施の形態３においては、ＰＯＳレジスタ６１にカード読取部６４を備えていることを特徴とする。なお、その他の構成については、図１５と同様であり、同一部分には同一符号を付している。
【００６７】
この実施の形態では、会員カードや、ＩＣカードなどを用いて、ユーザ情報を自動的に読み込ませることによって、データ入力の効率化および省力化を実現することができる。なお、その他の動作については、実施の形態２と同様であり、その作用および効果についても実施の形態２と同様である。
【００６８】
以上説明したように、この実施の形態によれば、撮影中の動画像フレームに、カード読み取りステップによって入力された会員カード等の情報を関連付けて記録し、識別した人物とこの入力された人物に関する情報との照合をとるようにしているので、データ入力の効率化および省力化を実現することができる。なお、ここでいうところのカード読み取りステップは、ＰＯＳレジスタ６１のデータ入力部６３が行う処理に対応する。
【００６９】
【発明の効果】
以上説明したように、この発明によれば、動画像から抽出された所定のエリアに滞留していた人物がこの所定のエリアと異なるエリアに滞留していたか否かを判定し、複数の人物の行動を定義するためのタグを生成し、所定のエリアからこの所定のエリアと異なるエリアに向かう人物の行動に対してこの生成されたタグを付与するようにしているので、動画像情報の２次利用を促進するための効率的な検索と効果的な利用とが図れるという効果を奏する。
【００７０】
また、この発明によれば、所定のエリアに滞留している滞留時間を算出し、この滞留時間が所定の時間以上である場合に所定のエリアに滞留していたと判定するようにしているので、動画像情報の２次利用が促進されるとともに、作成された２次情報を店舗レイアウト、商品陳列などの戦略的な経営意志決定に活用することができるという効果を奏する。
【００７１】
つぎの発明にかかるプログラムによれば、上記の発明のいずれか一つに記載された方法をコンピュータに実行させるようにしたので、そのプログラムがコンピュータ読み取り可能となり、これによって、上記の発明のいずれか一つの動作をコンピュータによって実行することができるという効果を奏する。
【図面の簡単な説明】
【図１】ある店舗内のレイアウトおよびこの店舗内を移動する顧客の動線の一例を示す上面図である。
【図２】この発明の実施の形態１にかかる物体移動画像の動画像処理装置の構成を示すブロック図である。
【図３】図２の動画像処理装置の処理手順を示すフローチャートである。
【図４】図３の処理手順の続きを示すフローチャートである。
【図５】図４の処理手順の続きを示すフローチャートである。
【図６】予め人がいない状態で撮影された背景画像を示す図である。
【図７】発着エリアのマスク画像を示す図である。
【図８】動画像フレームの一例を示す図である。
【図９】発着エリアのマスク画像によって抽出された画像を示す図である。
【図１０】発着エリアに滞留する可能性のある人物画像を示す図である。
【図１１】ＩＤごとに識別された人物画像領域を示す図である。
【図１２】
（ａ）は記憶領域Ｌｉ，ｊのデータ構造と記憶領域Ｌｉ，ｊに格納されたデータの一例を示す図表であり、（ｂ）は記憶領域Ｌｉ，ｊに格納された座標群Ｆｉ，ｊの記録例を示す図表である。
【図１３】
（ａ）は発エリアのマスク画像であり、（ｂ）は着エリアのマスク画像を示す図である。
【図１４】発エリアＡと着エリアＢとに滞留する顧客に関する情報を帳票形式で出力した例を示す図である。
【図１５】この発明の実施の形態２にかかる動画像処理装置の構成を示すブロック図である。
【図１６】この発明の実施の形態３にかかる動画像処理装置の構成を示すブロック図である。
【符号の説明】
１０ 店舗
１１ 顧客
２１ 入口
２２，２２ａ，２２ｂ 商品棚
２３ レジ
２５ 撮像装置
２６ 動画像データ記憶部
３０ａ，３０ｂ 領域
３１ 画像データ記憶部
３２ データ記憶部
４１ 画像処理部
４３ 滞留人物画像出力部
４４ 孤立画像領域処理部
４５ 滞留人物処理部
５１ データ処理部
５２ 滞留時間算出処理部
５３ 滞留人物動線記録処理部
５４ データベース作成部
６１ ＰＯＳレジスタ
６２ 画像表示部
６３ データ入力部
６４ カード読取部
Ａ 発エリア
Ｂ 着エリア
Ｃ エリア
Ｈ 背景画像
Ｆｉ，ｊ 座標群
Ｌｉ，ｊ 記憶領域
Ｍｉ 動画像フレーム
Ｐ０ 発着エリアマスク処理画像
Ｐ１ 滞留人物画像
Ｐｉ 滞留候補人物移動画像
Ｑｊ 孤立領域画像
Ｒ 発着エリアマスク画像
ＲＡ 発エリアマスク画像
ＲＢ 着エリアマスク画像
Ｔ 撮影フレーム
Ｕ，Ｖ 商品棚
Ｗ フレーム数
Claims (9)
- 複数の人物の行動が撮影された動画像を処理してこれら複数の人物の行動を把握するために必要な情報を抽出する動画像処理方法において、前記複数の人物の行動を定義するためのタグを生成するタグ生成ステップと、前記動画像から抽出された所定のエリアに滞留していた人物が、この所定のエリアと異なるエリアに滞留していたか否かを判定する判定ステップと、
を備え、
前記タグ生成ステップは、前記所定のエリアから前記所定のエリアと異なるエリアに向かう人物の行動に対して前記タグを付与することを特徴とする動画像処理方法。 - 前記所定のエリアおよび前記所定のエリアと異なるエリアそれぞれに滞留している滞留時間を算出する滞留時間算出処理ステップをさらに備え、
前記判定ステップは、前記滞留時間算出処理ステップが算出した滞留時間が所定の時間以上である場合に、前記所定のエリアに滞留していたと判定することを特徴とする請求項１に記載の動画像処理方法。 - 前記所定のエリアに滞留していた人物だけの画像データを生成する滞留人物画像出力ステップと、
前記滞留人物画像出力ステップで生成された画像データの孤立画像に着目して個々の人物を識別し、この識別された人物の画像領域を特定する孤立画像領域処理ステップと、
前記孤立画像領域処理ステップで特定された人物の画像領域の情報と前記所定のエリアの画像情報とから前記所定のエリアに滞留しているか否かを判定する滞留人物処理ステップと、
前記所定のエリアに滞留していた人物の行動を定義するためのタグを生成し、前記所定のエリアから前記所定のエリアと異なるエリアに向かう人物の行動に対してこの生成したタグを付与するタグ生成ステップと、
を備えることを特徴とする動画像処理方法。 - 前記滞留人物処理ステップで判定された人物の画像領域を表す座標群を記録する滞留人物動線記録処理ステップと、
この判定された人物の滞留時間を更新および記録する滞留時間算出処理ステップと、
をさらに備えることを特徴とする請求項３に記載の動画像処理方法。 - 撮影中の動画像フレームから抽出された人物に関する情報を入力する入力ステップをさらに備え、
この入力された人物に関する情報を前記撮影中の動画像フレームに関連付けて記録することを特徴とする請求項３または４に記載の動画像処理方法。 - 撮影中の動画像フレームから抽出された人物に関する情報を会員カード等から入力するカード読み取りステップをさらに備え、
この入力された人物に関する情報を前記撮影中の動画像フレームに関連付けて記録することを特徴とする請求項３または４に記載の動画像処理方法。 - 前記所定のエリアに滞留していた人物だけの画像データを生成する滞留人物画像出力手段と、
前記滞留人物画像出力手段で生成された画像データの孤立画像に着目して個々の人物を識別し、この識別された人物の画像領域を特定する孤立画像領域処理手段と、
前記孤立画像領域処理手段で特定された人物の画像領域の情報と前記所定のエリアの画像情報とから前記所定のエリアに滞留しているか否かを判定する滞留人物処理手段と、
前記所定のエリアに滞留していた人物の行動を定義するためのタグを生成し、前記所定のエリアから前記所定のエリアと異なるエリアに向かう人物の行動に対してこの生成したタグを付与するタグ生成手段と、
を備えることを特徴とする動画像処理装置。 - 前記滞留人物処理手段で判定された人物の画像領域を表す座標群を記録する滞留人物動線記録処理手段と、
この判定された人物の滞留時間を更新および記録する滞留時間算出処理手段と、
をさらに備えることを特徴とする請求項７に記載の動画像処理装置。 - 請求項１〜６のいずれか一つに記載された方法をコンピュータに実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002299535A JP2004133805A (ja) | 2002-10-11 | 2002-10-11 | 動画像処理方法、動画像処理装置およびその方法をコンピュータに実行させるプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002299535A JP2004133805A (ja) | 2002-10-11 | 2002-10-11 | 動画像処理方法、動画像処理装置およびその方法をコンピュータに実行させるプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004133805A true JP2004133805A (ja) | 2004-04-30 |
Family
ID=32288640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002299535A Pending JP2004133805A (ja) | 2002-10-11 | 2002-10-11 | 動画像処理方法、動画像処理装置およびその方法をコンピュータに実行させるプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004133805A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006215842A (ja) * | 2005-02-04 | 2006-08-17 | Hitachi Omron Terminal Solutions Corp | 人物動線追跡システム及び広告表示制御システム |
| JP2009230565A (ja) * | 2008-03-24 | 2009-10-08 | Laurel Bank Mach Co Ltd | 行動管理装置 |
| JP2010002962A (ja) * | 2008-06-18 | 2010-01-07 | Laurel Bank Mach Co Ltd | 行動管理システム |
| JP2010055594A (ja) * | 2008-07-31 | 2010-03-11 | Nec Software Kyushu Ltd | 動線管理システムおよびプログラム |
| JP2010206364A (ja) * | 2009-03-02 | 2010-09-16 | Mitsubishi Electric Corp | 画像監視システム |
| JP2012134700A (ja) * | 2010-12-21 | 2012-07-12 | Nippon Telegr & Teleph Corp <Ntt> | 軌跡・場所履歴データ作成装置と動画像表示装置と動画像オブジェクト探索システムと、それらの方法とプログラム |
| JP5838371B1 (ja) * | 2014-06-30 | 2016-01-06 | パナソニックＩｐマネジメント株式会社 | 動線分析システム、カメラ装置及び動線分析方法 |
| JP5866564B1 (ja) * | 2014-08-27 | 2016-02-17 | パナソニックＩｐマネジメント株式会社 | モニタリング装置、モニタリングシステムおよびモニタリング方法 |
| JP2016062372A (ja) * | 2014-09-19 | 2016-04-25 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
| CN105787756A (zh) * | 2016-02-19 | 2016-07-20 | 龚齐伟 | 人体行为分析装置、方法及系统 |
| WO2019106997A1 (ja) * | 2017-11-29 | 2019-06-06 | 日本電気株式会社 | 検索システム、サーバ、端末装置、サーバの動作方法、端末装置の動作方法及びプログラム |
-
2002
- 2002-10-11 JP JP2002299535A patent/JP2004133805A/ja active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006215842A (ja) * | 2005-02-04 | 2006-08-17 | Hitachi Omron Terminal Solutions Corp | 人物動線追跡システム及び広告表示制御システム |
| JP2009230565A (ja) * | 2008-03-24 | 2009-10-08 | Laurel Bank Mach Co Ltd | 行動管理装置 |
| JP2010002962A (ja) * | 2008-06-18 | 2010-01-07 | Laurel Bank Mach Co Ltd | 行動管理システム |
| JP2010055594A (ja) * | 2008-07-31 | 2010-03-11 | Nec Software Kyushu Ltd | 動線管理システムおよびプログラム |
| JP2010206364A (ja) * | 2009-03-02 | 2010-09-16 | Mitsubishi Electric Corp | 画像監視システム |
| JP2012134700A (ja) * | 2010-12-21 | 2012-07-12 | Nippon Telegr & Teleph Corp <Ntt> | 軌跡・場所履歴データ作成装置と動画像表示装置と動画像オブジェクト探索システムと、それらの方法とプログラム |
| JP5838371B1 (ja) * | 2014-06-30 | 2016-01-06 | パナソニックＩｐマネジメント株式会社 | 動線分析システム、カメラ装置及び動線分析方法 |
| JP5866564B1 (ja) * | 2014-08-27 | 2016-02-17 | パナソニックＩｐマネジメント株式会社 | モニタリング装置、モニタリングシステムおよびモニタリング方法 |
| JP2016048834A (ja) * | 2014-08-27 | 2016-04-07 | パナソニックＩｐマネジメント株式会社 | モニタリング装置、モニタリングシステムおよびモニタリング方法 |
| US10965913B2 (en) | 2014-08-27 | 2021-03-30 | Panasonic Intellectual Property Management Co., Ltd. | Monitoring apparatus, monitoring system and monitoring method |
| JP2016062372A (ja) * | 2014-09-19 | 2016-04-25 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
| CN105787756A (zh) * | 2016-02-19 | 2016-07-20 | 龚齐伟 | 人体行为分析装置、方法及系统 |
| WO2019106997A1 (ja) * | 2017-11-29 | 2019-06-06 | 日本電気株式会社 | 検索システム、サーバ、端末装置、サーバの動作方法、端末装置の動作方法及びプログラム |
| JPWO2019106997A1 (ja) * | 2017-11-29 | 2020-12-17 | 日本電気株式会社 | 検索システム、端末装置の動作方法及びプログラム |
| JP7014232B2 (ja) | 2017-11-29 | 2022-02-01 | 日本電気株式会社 | 検索システム、端末装置の動作方法及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11756367B2 (en) | Investigation generation in an observation and surveillance system | |
| JP7038543B2 (ja) | 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム | |
| JP5851651B2 (ja) | 映像監視システム、映像監視方法、および映像監視装置 | |
| US11138420B2 (en) | People stream analysis method, people stream analysis apparatus, and people stream analysis system | |
| US10657755B2 (en) | Investigation generation in an observation and surveillance system | |
| JP2003087771A (ja) | 監視システム及び方法 | |
| CN101243470A (zh) | 对象追踪系统 | |
| US20160350600A1 (en) | Visual monitoring of queues using auxillary devices | |
| US20150088637A1 (en) | Information processing system, information processing method, and non-transitory computer readable storage medium | |
| JP2011170565A (ja) | 顧客動向収集方法、装置及びプログラム | |
| JP2004133805A (ja) | 動画像処理方法、動画像処理装置およびその方法をコンピュータに実行させるプログラム | |
| CN109544595B (zh) | 一种顾客路径追踪方法及系统 | |
| US20230410558A1 (en) | Information processing device | |
| JP2012252613A (ja) | 顧客行動追跡型映像配信システム | |
| EP3683757A1 (en) | Investigation generation in an observation and surveillance system | |
| EP3570207A1 (en) | Video cookies | |
| JP2001268657A (ja) | 遠隔監視方法、装置、および遠隔監視プログラムを記録した記録媒体 | |
| JP7327458B2 (ja) | セルフレジシステム、購入商品管理方法および購入商品管理プログラム | |
| TWI613601B (zh) | 智慧型影像辨識動態規劃之系統及方法 | |
| JP7092205B2 (ja) | 顧客情報登録装置 | |
| JP7107597B2 (ja) | 駅監視装置、駅監視方法及びプログラム | |
| JP7440332B2 (ja) | 事象解析システムおよび事象解析方法 | |
| EP4290468A1 (en) | Information processing device, information processing method, and program | |
| WO2023238614A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
| US20230038059A1 (en) | Systems and methods for collecting video clip evidence from a plurality of video streams of a video surveillance system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050331 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050412 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050816 |