JP2022142623A - Information processing system, information processing method and program - Google Patents
Information processing system, information processing method and program Download PDFInfo
- Publication number
- JP2022142623A JP2022142623A JP2021042868A JP2021042868A JP2022142623A JP 2022142623 A JP2022142623 A JP 2022142623A JP 2021042868 A JP2021042868 A JP 2021042868A JP 2021042868 A JP2021042868 A JP 2021042868A JP 2022142623 A JP2022142623 A JP 2022142623A
- Authority
- JP
- Japan
- Prior art keywords
- information
- attention
- person
- information presentation
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 132
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000012545 processing Methods 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims description 54
- 238000003384 imaging method Methods 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 25
- 241000282412 Homo Species 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 32
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 5
- 230000000391 smoking effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、情報処理システム、情報処理方法およびプログラムに関する。 The present invention relates to an information processing system, an information processing method, and a program.
近年、看板その他の各種屋外広告や交通広告等の広告的効果を評価するためのシステムを提供する技術が開示されている（特許文献１）。 In recent years, there has been disclosed a technique for providing a system for evaluating the advertising effectiveness of billboards and other outdoor advertisements, traffic advertisements, and the like (Patent Document 1).
しかしながら、上記の従来技術では、通行量に基づいて、対象となる屋外広告や交通広告等を見たと推定される有効人数を演算することにより、広告的効果を評価していた。すなわち、従来技術では、屋外広告や交通広告等の近傍に実際にいる人間の行動分析による評価方法ではなかったため、信頼性の高い評価結果が得られていなかった。 However, in the conventional technology described above, the advertising effect is evaluated by calculating the effective number of people who are estimated to have seen the target outdoor advertisement, traffic advertisement, or the like, based on the traffic volume. That is, in the prior art, since the evaluation method was not based on behavioral analysis of people actually in the vicinity of outdoor advertisements, traffic advertisements, etc., highly reliable evaluation results were not obtained.
本発明では上記事情を鑑み、屋外広告等の近傍に実際にいる人間一人ひとりの移動を分析することにより、屋外広告等の視認性を評価することができる技術を提供することとした。 In view of the above circumstances, the present invention provides a technique capable of evaluating the visibility of an outdoor advertisement or the like by analyzing the movement of each individual person who is actually in the vicinity of the outdoor advertisement or the like.
本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、次の各ステップを実行するように構成される。受付ステップでは、ヒトを含む撮像画像を時系列で受け付ける。推定ステップでは、撮像画像の時系列変化に基づいて、所定時間ごとのヒトの移動方向を推定する。第１の算出ステップでは、複数の、所定時間ごとの移動方向に対して、予め定められた第１の処理を適用することで、ヒトの、情報提示物への注目度を算出する。 According to one aspect of the invention, an information processing system is provided. This information processing system is configured to perform the following steps. In the receiving step, captured images including humans are received in chronological order. In the estimating step, the moving direction of the person is estimated for each predetermined time based on the time-series change of the captured image. In the first calculation step, a predetermined first process is applied to a plurality of moving directions at predetermined time intervals to calculate the degree of human attention to the information presentation object.
本開示によれば、屋外広告等の近傍に実際にいる人間一人ひとりの移動を分析することにより、屋外広告等の視認性を評価する技術を提供することができる。 Advantageous Effects of Invention According to the present disclosure, it is possible to provide a technique for evaluating the visibility of an outdoor advertisement or the like by analyzing the movement of each person actually present in the vicinity of the outdoor advertisement or the like.
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。 Embodiments of the present invention will be described below with reference to the drawings. Various features shown in the embodiments shown below can be combined with each other.
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。 By the way, the program for realizing the software appearing in this embodiment may be provided as a non-transitory computer-readable medium (Non-Transitory Computer-Readable Medium), or may be downloaded from an external server. It may be provided as possible, or may be provided so that the program is activated on an external computer and the function is realized on the client terminal (so-called cloud computing).
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現され得るソフトウェアの情報処理とを合わせたものも含み得る。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０または１で構成される２進数のビット集合体としての信号値の高低、または量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行され得る。 Further, in the present embodiment, the term "unit" may include, for example, a combination of hardware resources implemented by circuits in a broad sense and software information processing that can be specifically realized by these hardware resources. . In addition, various information is handled in the present embodiment, and these information include, for example, physical values of signal values representing voltage and current, and signal values as binary bit aggregates composed of 0 or 1. Represented by high and low, or quantum superposition (so-called qubits), communication and operations can be performed on circuits in a broad sense.
また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、およびメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、およびフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。 A circuit in a broad sense is a circuit realized by at least appropriately combining circuits, circuits, processors, memories, and the like. Application Specific Integrated Circuits (ASICs), programmable logic devices (e.g., Simple Programmable Logic Devices (SPLDs), Complex Programmable Logic Devices (CPLDs), and field It includes a programmable gate array (Field Programmable Gate Array: FPGA).
１．ハードウェア構成
本節では、第１の実施形態（以下、本実施形態と称する）のハードウェア構成について説明する。
1. Hardware Configuration This section describes the hardware configuration of the first embodiment (hereinafter referred to as the present embodiment).
１．１ 情報処理システム１
図１は、本実施形態に係る情報処理システム１を表す構成図である。情報処理システム１は、撮像装置２と、情報処理装置３とを備え、これらがネットワークを通じて接続されている。これらの構成要素についてさらに説明する。ここで、情報処理システム１に例示されるシステムとは、１つまたはそれ以上の装置または構成要素からなるものである。
1.1
FIG. 1 is a configuration diagram showing an
１．２ 撮像装置２
撮像装置２は、外界の情報を撮像可能に構成される、いわゆるビジョンセンサ（カメラ）である。撮像装置２は、例えば、情報提示物ＩＧの前の一定領域を情報提示物ＩＧ側から撮像できるように、情報提示物ＩＧの近傍に設置されているカメラである。撮像装置２として、エッジＡＩカメラを用いてもよいし、サーバやクラウド側で映像や画像のＡＩ処理を行うカメラを用いることもできる。
1.2
The
撮像装置２は、情報提示物ＩＧの前の一定領域を撮影することで撮像画像ＩＭを生成するように構成される。撮像装置２は、後述の情報処理装置３における通信部３１とネットワークを介して接続され、撮像画像ＩＭを情報処理装置３に転送可能に構成される。なお、撮像装置２と情報処理装置３とを直接接続するように実施してもよい。
The
撮像装置２のフレームレートは、特に限定されないが、例えば１０ｆｐｓ以上であり、好ましくは、３０ｆｐｓ以上であり、より好ましくは６０ｆｐｓ以上であり、具体的には例えば、１０，２０，３０，４０，５０，６０，７０，８０，９０，１００，１１０，１２０，１３０，１４０，１５０，１６０，１７０，１８０，１９０，２００，２１０，２２０，２３０，２４０，２５０ｆｐｓであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。フレームレートを高くすることで、ヒトの動作に対しての頑健性が向上し、後述のヒトの移動や顔の向きの特定の精度を向上させることができる。
The frame rate of the
また、撮像装置２として、可視光だけではなく紫外域や赤外域といったヒトが知覚できない帯域を計測可能なものを採用してもよい。このような撮像装置２を採用することによって、暗視野であっても本実施形態に係る情報処理システム１を実施することができる。
Further, as the
１．３ 情報処理装置３
図２は、情報処理装置３のハードウェア構成を示すブロック図である。情報処理装置３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素が情報処理装置３の内部において通信バス３０を介して電気的に接続されている。各構成要素についてさらに説明する。
1.3
FIG. 2 is a block diagram showing the hardware configuration of the
通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、ＬＴＥ／３Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、情報処理装置３は、通信部３１を介して、撮像装置２とネットワークを介して種々の情報を通信する。特に、情報処理装置３は、ヒトを含む撮像画像ＩＭを撮像装置２から受け付けるように構成される。これらの詳細は後述する。
The
記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部３３によって実行される情報処理装置３に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。特に、記憶部３２は、撮像画像ＩＭ、ヒトの位置情報、参照情報６等を記憶する。記憶部３２は、これ以外にも制御部３３によって実行される情報処理装置３に係る種々のプログラム等を記憶している。
The
制御部３３は、情報処理装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、情報処理装置３に係る種々の機能を実現する。すなわち、記憶部３２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部３３によって具体的に実現されることで、制御部３３に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部３３は単一であることに限定されず、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。
The
２．機能構成
本節では、本実施形態の機能構成について説明する。前述の通り、記憶部３２に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部３３によって具体的に実現されることで、制御部３３に含まれる各機能部として実行されうる。
2. Functional Configuration This section describes the functional configuration of this embodiment. As described above, information processing by software stored in the
図３は、情報処理装置３（制御部３３）によって実現される機能を示すブロック図である。具体的には、情報処理システム１の一例である情報処理装置３（制御部３３）は、受付部３３１と、推定部３３２と、検出部３３３と、算出部３３４とを備える。
FIG. 3 is a block diagram showing functions realized by the information processing device 3 (control unit 33). Specifically, the information processing device 3 (controller 33 ), which is an example of the
受付部３３１は、種々の情報を受け付けるように構成される。例えば、受付部３３１は、撮像装置２で撮像された撮像画像ＩＭを受け付けるように構成される。詳細については、後述する。
The
推定部３３２は、受付部３３１が受け付けた撮像画像ＩＭに基づいて、ヒトの移動方向、移動速度および顔の向きと、ヒトの目の位置と情報提示物ＩＧとの間の距離および高さの差と、ヒトが滞在している場所の属性とを推定するように構成される。詳細については、後述する。
Based on the captured image IM received by the receiving
検出部３３３は、撮像画像ＩＭに含まれる、ヒトの視線を遮る障害物を検出するように構成される。詳細については、後述する。
The
算出部３３４は、ヒトの、情報提示物ＩＧへの注目度ＤＡを算出するように構成される。第１の算出部の一例である算出部３３４は、情報提示物ＩＧへの注目度ＤＡをヒトごとに算出するように構成される。第２の算出部の一例である算出部３３４は、大衆の情報提示物ＩＧへの注目度ＤＡを算出するように構成される。詳細については、後述する。
The
３．情報処理方法
本節では、前述した情報処理システム１の第１の実施形態（以下、本実施形態と称する）に係る情報処理方法について説明する。
3. Information Processing Method In this section, an information processing method according to the first embodiment (hereinafter referred to as the present embodiment) of the
また、本節で参照する各図は、以下の通りである。図４は、情報提示物ＩＧの前の一定領域が撮像された、時系列の撮像画像ＩＭを概念的に複数重ね合わせた、重ね合わせ画像４の一例である。図５は、所定時間におけるヒトの移動方向の一例である。図６は、記憶部３２に予め記憶された参照情報６を説明するための概念図である。図７は、情報処理システム１によって実行される情報処理の流れの一例を示すアクティビティ図である。
The figures referred to in this section are as follows. FIG. 4 is an example of a
ここで、情報提示物ＩＧには、大衆への情報の提供を目的としたあらゆる物品が含まれる。例えば、情報提示物ＩＧとして、屋外広告物、特定屋内広告物、駅構内や屋内の大規模展示場内に表示または設置される広告および掲示物が挙げられる。 Here, the information presenter IG includes any article intended to provide information to the public. Examples of the information presentation material IG include outdoor advertisements, specific indoor advertisements, and advertisements and notices displayed or installed in station premises or indoor large-scale exhibition halls.
以下では、図７のアクティビティ図に沿って、情報処理システム１によって実行される情報処理の流れを説明するものとする。なお、図７において、ｋは、ヒトの移動方向の推定回数を表し、ｔは時刻を表す。
In the following, the flow of information processing executed by the
ところで、本情報処理方法を実行するにあたっては、第１の算出部３３４は、撮像画像ＩＭを撮像した撮像装置２と、情報提示物ＩＧとの位置関係にさらに基づいて、ヒトの、情報提示物ＩＧへの注目度ＤＡを算出することが好ましい。具体的には、このような位置関係を予め取得しておいて、適宜、後述の参照情報６をキャリブレーションするように実施してもよいし、撮像画像ＩＭにおけるヒトの態様から推定して、情報処理システム１の動作中にキャリブレーションするように実施してもよい。このような態様によれば、撮像装置２と情報提示物ＩＧとの位置関係を加味することにより、情報提示物ＩＧの視認性をより適正に評価することができる。
By the way, in executing this information processing method, the
しかしながら、本態様では、より説明をわかりやすくするため、情報提示物ＩＧが撮像装置２を備えている場合、つまり、撮像装置２と情報提示物ＩＧとが同一位置に位置するとみなせるか、または、撮像装置２が情報提示物ＩＧに包含される位置関係にある場合について説明する。このような態様であれば、後述の参照情報６のキャリブレーションがほとんど不要となり、より容易に情報提示物ＩＧの注目度ＤＡを評価できるためである。
However, in this aspect, in order to make the explanation easier to understand, when the information presentation object IG is provided with the
まず、情報処理装置３の制御部３３において、ヒトの移動方向の推定１回目として、ｋ＝１が設定される（アクティビティＡ１００）。次いで、制御部３３において、ヒトの移動を分析する所定期間の始まりとして、ｔ＝０が設定される（アクティビティＡ１０１）。
First, in the
一方、撮像装置２は、情報提示物ＩＧの前の一定領域を、一定のフレームレートで撮像を継続している（アクティビティＡ１０２）。なお、撮像装置２の撮像が開始されるのは、情報処理装置３の制御部３３においてｔ＝０が設定される前であってもよい。
On the other hand, the
情報処理装置３の制御部３３において、ｔ＝０が設定されると、受付部３３１は、ヒトを含む撮像画像ＩＭを時系列で受け付ける。つまり、情報処理装置３における通信部３１が、撮像画像ＩＭを撮像装置２から受信し、情報処理装置３における制御部３３が、受信した撮像画像ＩＭを時系列で記憶部３２に記憶させる（アクティビティＡ１０３）。
When t=0 is set in the
続いて、情報処理装置３の制御部３３は、１フレーム毎の撮像画像ＩＭに基づいて、当該領域中に含まれるヒトを抽出し、ヒトごとにラベリング処理を行って識別する。ヒトの抽出に関するアルゴリズムとしては、例えば撮像画像ＩＭを二値化したものをテンプレートと比較するテンプレートマッチング処理を採用してもよいし、予め撮像された背景を減算する背景差分処理を採用してもよい。好ましくは、予め撮像画像ＩＭ中におけるヒトの特徴を学習させた学習済みモデルに基づいて、ヒトを抽出するとよい。このような手法を用いることで、認識遅延の少ない、ほぼリアルタイムの抽出を実現することができる。
Subsequently, the
例えば、図４に示されるように、１フレーム中に５人のヒトが存在する場合、ヒトの色、大きさ、高さ等の特徴に基づいて、ヒト４１ａ、ヒト４１ｂ、ヒト４１ｃ、ヒト４１ｄおよびヒト４１ｅを識別する。そして、情報処理装置３の制御部３３は、ヒト４１ａ、ヒト４１ｂ、ヒト４１ｃ、ヒト４１ｄおよびヒト４１ｅの当該領域中における座標を位置情報として、ヒトごとに特定する。情報処理装置３の制御部３３は、このようなヒトの識別情報と位置情報とを時系列で記憶部３２に記憶させる（アクティビティＡ１０４）。
For example, as shown in FIG. 4, when there are five people in one frame, human 41a, human 41b, human 41c, and human 41d are determined based on the characteristics of the human, such as color, size, and height. and human 41e. Then, the
上述したアクティビティＡ１０３およびＡ１０４の情報処理を、ヒトの移動を分析する所定期間が終わるまで、すなわち、ｔ≧τとなるまで繰り返す（アクティビティＡ１０５）。 The information processing of the activities A103 and A104 described above is repeated until the predetermined period for analyzing the movement of the person ends, that is, until t≧τ (activity A105).
ここで、τは、特に限定されないが、例えば、１，２，３，４，５，１０，１５，２０，２５，３０，３５，４０，４５，５０，５５，６０，６５，７０，７５，８０，８５，９０，９５，１００，１０５，１１０，１１５，１２０秒であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。なお、ヒトの平均的な歩行速度を考慮すると、τ＝５秒であることが好ましい。 Here, τ is not particularly limited, but for example, , 80, 85, 90, 95, 100, 105, 110, 115, 120 seconds, and may be in the range between any two of the values exemplified herein. Considering the average walking speed of humans, it is preferable that τ=5 seconds.
ヒトの移動を分析する所定期間が終わると、すなわち、時間条件ｔ≧τが満たされると、情報処理装置３の推定部３３２は、撮像画像ＩＭの時系列変化（図５）に基づいて、所定時間ごとのヒトの移動方向を推定する（アクティビティＡ１０６）。
When the predetermined period for analyzing the movement of the person ends, that is, when the time condition t≧τ is satisfied, the estimating
ここで、図５の例を使用して、所定時間におけるヒトの移動方向の推定について説明することとする。図５において、ヒト５１とヒト５２は同一人物であって、ｔ＝０で撮像された当該人物を示すのがヒト５１であり、ｔ＝τで撮像された当該人物を示すのがヒト５２である。ヒト５１の位置とヒト５２の位置とを結ぶことによって得られるものが、ベクトル５４である。すなわち、ベクトル５４は、０≦ｔ≦τという所定期間における移動方向を示す。また、情報提示物ＩＧに垂直なベクトルが、ベクトル５３である。そして、移動方向のベクトル５４と情報提示物ＩＧに垂直なベクトル５３とは、角度θをなす。このようにして、推定部３３２は、所定時間ごとのヒトの移動方向の推定結果を、角度θとして表すことが、好ましい。
Here, using the example of FIG. 5, the estimation of the moving direction of a person at a predetermined time will be described. In FIG. 5, the
上述したアクティビティＡ１０１～Ａ１０６の情報処理を、移動方向の推定が所定回数終わるまで、すなわち、ｋ＝ｎとなるまで繰り返す（アクティビティＡ１０７）。 The information processing of activities A101 to A106 described above is repeated until the movement direction is estimated a predetermined number of times, that is, until k=n (activity A107).
ここで、ｎは、特に限定されないが、例えば、２，３，４，５，６，７，８，９，１０，２０，３０，４０，５０，６０，７０，８０，９０，１００回であり、ここで例示した数値の何れか２つの間の範囲内に含まれる整数値であってもよい。なお、移動方向の推定を３回行ったｋ＝３の場合が、図４に示されている。 Here, n is not particularly limited, but is, for example, 2, 3, 4, 5, 6, 7, 8, 9, 10, 20, 30, 40, 50, 60, 70, 80, 90, 100 times. Yes, and may be an integer value that falls within a range between any two of the numerical values exemplified herein. FIG. 4 shows the case of k=3 in which the moving direction is estimated three times.
移動方向の推定が所定回数行われると、すなわち、回数条件ｋ＝ｎが満たされると、情報処理装置３の第１の算出部３３４は、複数の、所定時間ごとの移動方向に対して、予め定められた第１の処理を適用することで、ヒトの、情報提示物ＩＧへの注目度ＤＡを算出する（アクティビティＡ１０８）。
When the movement direction is estimated a predetermined number of times, that is, when the number of times condition k=n is satisfied, the
ここで、第１の処理は、複数の移動方向のベクトル５４と情報提示物ＩＧに垂直なベクトル５３とがなす角度θに関して、平均角度を算出し、平均角度と、予め設定された参照情報６とに基づいて、情報提示物ＩＧへの注目度ＤＡを求める処理であることが好ましい。なお、参照情報６は、角度θと、情報提示物ＩＧへの注目度ＤＡとが対応付けられた情報であり、例えば、ルックアップテーブル等のデータベースとして実施されうる。このような態様によれば、所定時間の間の移動を平均角度として捉え、平均角度に基づいて注目度ＤＡを算出することにより、情報提示物ＩＧに向かった移動であるほど、注目度ＤＡが高く算出されるようにすることができる。
Here, the first process is to calculate the average angle with respect to the angle θ formed by the
本態様の第１の処理を、図４の具体例を使用して説明することとする。また、説明の都合上、５秒間の移動の分析による移動方向の推定を３回行った場合、すなわち、τ＝５秒かつｎ＝３回の場合を想定する。これに伴い、図４では、ｋ＝１のｔ＝０からの経過時間をＴとして、Ｔ＝０、Ｔ＝５、Ｔ＝１０、Ｔ＝１５において撮像された４枚の撮像画像ＩＭを概念的に重ね合わせた重ね合わせ画像４が示されているものとする。
The first processing of this aspect will be described using the specific example of FIG. Also, for the convenience of explanation, it is assumed that the movement direction is estimated three times by analysis of movement for 5 seconds, that is, τ=5 seconds and n=3 times. Along with this, in FIG. 4, the elapsed time from t=0 at k=1 is set to T, and four captured images IM captured at T=0, T=5, T=10, and T=15 are conceptually Assume that a
図４に示されているように、情報提示物ＩＧの前の一定領域内には、５人のヒト、すなわち、ヒト４１ａ、ヒト４１ｂ、ヒト４１ｃ、ヒト４１ｄおよびヒト４１ｅが存在する。０≦Ｔ≦５における移動方向は、移動をしなかったヒト４１ｅを除き、ヒト４１ａ、ヒト４１ｂ、ヒト４１ｃ、ヒト４１ｄそれぞれについて、移動方向４２ａ、移動方向４２ｂ、移動方向４２ｃ、移動方向４２ｄとして示されている。同様に、５≦Ｔ≦１０における移動方向は、ヒト４１ａ、ヒト４１ｂ、ヒト４１ｃ、ヒト４１ｄそれぞれについて、移動方向４３ａ、移動方向４３ｂ、移動方向４３ｃ、移動方向４３ｄとして示されている。１０≦Ｔ≦１５における移動方向は、ヒト４１ａ、ヒト４１ｂ、ヒト４１ｃ、ヒト４１ｄそれぞれについて、移動方向４４ａ、移動方向４４ｂ、移動方向４４ｃ、移動方向４４ｄとして示されている。
As shown in FIG. 4, within a certain region in front of information presenter IG, there are five humans, namely human 41a, human 41b, human 41c, human 41d and human 41e. The movement directions at 0≦T≦5 are defined as
ヒト４１ａの移動方向４２ａ、移動方向４３ａ、移動方向４４ａそれぞれについて、情報提示物ＩＧに垂直なベクトル５３となす角度θは、順に１２０度、２００度、２００度である。ヒト４１ｂの移動方向４２ｂ、移動方向４３ｂ、移動方向４４ｂそれぞれについて、情報提示物ＩＧに垂直なベクトル５３となす角度θは、順に１８０度、２２０度、１８０度である。ヒト４１ｃの移動方向４２ｃ、移動方向４３ｃ、移動方向４４ｃそれぞれについて、情報提示物ＩＧに垂直なベクトル５３となす角度θは、順に１４０度、１４０度、１４０度である。ヒト４１ｄの移動方向４２ｄ、移動方向４３ｄ、移動方向４４ｄそれぞれについて、情報提示物ＩＧに垂直なベクトル５３となす角度θは、順に３００度、２０度、１００度である。
The angles θ between the moving
これらの各移動方向の角度θから求められる平均角度は、以下の通りである。ヒト４１ａについて、平均角度は、（１２０＋２００＋２００）÷３＝１７３度である。ヒト４１ｂについて、平均角度は、（１８０＋２２０＋１８０）÷３＝１９３度である。ヒト４１ｃついて、平均角度は、（１４０＋１４０＋１４０）÷３＝１４０度である。ヒト４１ｄついて、平均角度は、（３００＋２０＋１００）÷３＝１４０度である。 The average angle obtained from the angle θ of each movement direction is as follows. For human 41a, the average angle is (120+200+200)/3=173 degrees. For human 41b, the average angle is (180+220+180)/3=193 degrees. For human 41c, the average angle is (140+140+140)/3=140 degrees. For human 41d, the average angle is (300+20+100)/3=140 degrees.
次いで、このように算出された平均角度と、予め設定された参照情報６とに基づいて、情報提示物ＩＧへの注目度ＤＡを求める処理について説明することとする。ここで、参照情報６（図６）は、情報提示物ＩＧを基準として移動方向が正面方向６１ｆ、背面方向６１ｂ、斜め方向６１ｄおよび横方向６１ｈにある場合と、移動方向のベクトル５４と情報提示物ＩＧに垂直なベクトル５３とが角度θをなさない場合、例えば滞留６１ｓの場合とに対して、それぞれ情報提示物ＩＧへの注目度ＤＡが対応付けられた情報であることが好ましい。このような態様によれば、移動方向の情報を角度θの情報に変換し、さらに、角度θの情報から注目度ＤＡを算出することができる。
Next, the process of obtaining the degree of attention DA to the information presentation object IG based on the average angle calculated in this manner and the
好ましい参照情報６の一例である図６の参照情報６によれば、移動方向のベクトル５４と情報提示物ＩＧに垂直なベクトル５３とがなす角度θについて、１６０°＜θ≦２００°が正面方向６１ｆ、０°≦θ≦９０°および２７０°＜θ≦３６０°が背面方向６１ｂ、１２０°＜θ≦１６０°および２００°＜θ≦２４０°が斜め方向６１ｄ、９０°＜θ≦１２０°および２４０°＜θ≦２７０°が横方向６１ｈである。そして、注目度ＤＡは、正面方向６１ｆが１００ポイント、背面方向６１ｂが０ポイント、斜め方向６１ｄが７５ポイント、横方向６１ｈが５０ポイントとして設定されている。また、移動方向のベクトル５４と情報提示物ＩＧに垂直なベクトル５３とが角度θをなさない場合、例えば滞留６１ｓの場合は、２００ポイントとして設定されている。
According to the
ここで、滞留とは、異なる時点で撮像された撮像画像ＩＭを重ね合わせて得られる重ね合わせ画像４において、同一人物と識別されたヒトの位置の変化が、所定のピクセル数以下である場合を指す。所定のピクセル数は、例えば、１，２，３，４，５，６，７，８，９，１０である。好ましくは、所定のピクセル数は、情報提示物ＩＧの設置場所や、撮像装置２と情報提示物ＩＧとの位置関係等を考慮して定められる。
Here, staying means a case where the change in the position of a person identified as the same person in the
このような参照情報６に基づき、図４に示されているヒトごとに注目度ＤＡを求めると、以下のようになる。ヒト４１ａについては、平均角度が１７３度であるため、移動方向は、正面方向６１ｆとなり、注目度ＤＡは、１００ポイントであると求められる。ヒト４１ｂについては、平均角度が１９３度であるため、移動方向は、正面方向６１ｆとなり、注目度ＤＡは、１００ポイントであると求められる。ヒト４１ｃついては、平均角度が１４０度であるため、移動方向は、斜め方向６１ｄとなり、注目度ＤＡは、７５ポイントであると求められる。ヒト４１ｄついては、平均角度が１４０度であるため、移動方向は、斜め方向６１ｄとなり、注目度ＤＡは、７５ポイントであると求められる。ヒト４１ｅは、５秒間の移動の分析による移動方向の推定を３回行っている間、移動をしていないため、滞留６１ｓの場合となり、注目度ＤＡは、２００ポイントであると求められる。
Based on
このようにして、撮像画像ＩＭに複数のヒトが含まれている場合において、ヒトごとに情報提示物ＩＧへの注目度ＤＡが算出されると、第２の算出部３３４は、ヒトごとに算出された情報提示物ＩＧへの注目度ＤＡそれぞれに対して、予め定められた第２の処理を適用することで、大衆の情報提示物ＩＧへの注目度ＤＡを算出する（アクティビティＡ１０９）。このような態様によれば、人間一人ひとりの移動の分析に基づいて、大衆の情報提示物ＩＧへの注目度ＤＡを算出することができる。
In this way, when a plurality of people are included in the captured image IM, when the degree of attention DA to the information presentation object IG is calculated for each person, the
ここで、第２の処理は、情報提示物ＩＧへの注目度ＤＡと、その注目度ＤＡを有するヒトの人数とを掛け合わせて得られる値を全ての注目度ＤＡについて足し合わせ、得られた合計値をヒトの人数で割る処理であることが好ましい。このような態様によれば、大衆の情報提示物ＩＧへの注目度ＤＡを、平均の注目度ＤＡにより表すことができる。 Here, in the second process, the value obtained by multiplying the attention level DA to the information presentation object IG by the number of people having the attention level DA is added for all the attention levels DA, and the obtained It is preferable to divide the total value by the number of people. According to this aspect, the attention level DA of the general public to the information presentation object IG can be represented by the average attention level DA.
本態様の第２の処理を、図４の具体例を使用して説明することとする。上記で算出されたヒトごとの注目度ＤＡをまとめると、ヒト４１ａが１００ポイント、ヒト４１ｂが１００ポイント、ヒト４１ｃが７５ポイント、ヒト４１ｄが７５ポイント、ヒト４１ｅが２００ポイントである。よって、７５ポイントが２人、１００ポイントが２人、２００ポイントが１人である。したがって、第２の処理をこれらの値に適用すると、大衆の情報提示物ＩＧへの注目度ＤＡは、（７５×２＋１００×２＋２００×１）÷５＝１１０と求められる。
The second processing of this aspect will be described using the specific example of FIG. Summarizing the attention degree DA for each person calculated above, the
以上をまとめると、本実施形態の情報処理方法は、受付ステップと、推定ステップと、第１の算出ステップとを備える。受付ステップでは、ヒトを含む撮像画像ＩＭを時系列で受け付ける。推定ステップでは、撮像画像ＩＭの時系列変化に基づいて、所定時間ごとのヒトの移動方向を推定する。第１の算出ステップでは、複数の、所定時間ごとの移動方向に対して、予め定められた第１の処理を適用することで、ヒトの、情報提示物ＩＧへの注目度ＤＡを算出する。 In summary, the information processing method of this embodiment includes a receiving step, an estimating step, and a first calculating step. In the receiving step, captured images IM including humans are received in chronological order. In the estimation step, the moving direction of the person is estimated for each predetermined time based on the time-series change of the captured image IM. In the first calculation step, a predetermined first process is applied to a plurality of moving directions at predetermined time intervals, thereby calculating the degree of human attention DA to the information presentation object IG.
本実施形態によれば、屋外広告等の近傍に実際にいる人間一人ひとりの移動を分析することにより、屋外広告等の視認性を評価することができる。 According to this embodiment, the visibility of an outdoor advertisement or the like can be evaluated by analyzing the movement of each individual person who is actually in the vicinity of the outdoor advertisement or the like.
続いて、その他の好ましい第１の処理について、以下詳述する。 Next, other preferred first processing will be described in detail below.
第１の処理は、複数の移動方向それぞれに関して、移動方向のベクトル５４と情報提示物ＩＧに垂直なベクトル５３とがなす角度θと、予め設定された参照情報６とに基づいて、情報提示物ＩＧへの注目度ＤＡを求め、求められた複数の注目度ＤＡのうち、最大値の注目度ＤＡを、ヒトの、情報提示物ＩＧへの注目度ＤＡとして決定する処理であることも好ましい。このような態様によれば、情報提示物ＩＧへ最も注目していたと考えられる所定期間の移動に基づいて、情報提示物ＩＧへの注目度ＤＡを算出することができる。
In the first process, for each of a plurality of moving directions, based on the angle θ between the moving
ここで、本態様の第１の処理を、図４の具体例を使用して説明することとする。上述したように、ヒト４１ａの移動方向を、移動方向のベクトル５４と情報提示物ＩＧに垂直なベクトル５３とがなす角度θで表すと、１２０度、２００度および２００度である。これらの角度θそれぞれについて、図６に示される参照情報６に基づいて注目度ＤＡを求めると、５０ポイント、１００ポイント、１００ポイントとなる。よって、最大値の注目度ＤＡは、１００ポイントであるため、ヒト４１ａの情報提示物ＩＧへの注目度ＤＡは、１００ポイントであると決定される。
Here, the first processing of this aspect will be described using the specific example of FIG. As described above, the movement direction of the
同様にして、ヒト４１ｂの移動方向は、角度θで表すと、１８０度、２２０度および１８０度である。これらの角度θそれぞれについて注目度ＤＡを求めると、１００ポイント、７５ポイント、１００ポイントとなる。よって、最大値の注目度ＤＡは、１００ポイントであるため、ヒト４１ｂの情報提示物ＩＧへの注目度ＤＡは、１００ポイントであると決定される。
Similarly, the moving directions of the
同様にして、ヒト４１ｃの移動方向は、角度θで表すと、１４０度、１４０度および１４０度であり、同一の角度となる。また、１４０度の角度θから求められる注目度ＤＡは、７５ポイントである。よって、最大値の注目度ＤＡは、７５ポイントであるため、ヒト４１ｃの情報提示物ＩＧへの注目度ＤＡは、７５ポイントであると決定される。
Similarly, the moving directions of the
同様にして、ヒト４１ｄの移動方向は、角度θで表すと、３００度、２０度および１００度である。これらの角度θそれぞれについて注目度ＤＡを求めると、０ポイント、０ポイント、５０ポイントとなる。よって、最大値の注目度ＤＡは、５０ポイントであるため、ヒト４１ｄの情報提示物ＩＧへの注目度ＤＡは、５０ポイントであると決定される。
Similarly, the moving directions of the
ヒト４１ｅについては、５秒間の移動の分析による移動方向の推定を３回行っている間、移動をしていないため、３回の推定で常に滞留６１ｓの場合となり、注目度ＤＡは、２００ポイントで一定であると求められる。よって、最大値の注目度ＤＡは、２００ポイントであるため、ヒト４１ｅの情報提示物ＩＧへの注目度ＤＡは、２００ポイントであると決定される。
The
さらに、第１の処理は、複数の移動方向それぞれに関して、移動方向のベクトル５４と情報提示物ＩＧに垂直なベクトル５３とがなす角度θと、予め設定された参照情報６とに基づいて、情報提示物ＩＧへの注目度ＤＡを求め、求められた複数の注目度ＤＡのうち、頻度が最も高い注目度ＤＡを、ヒトの、情報提示物ＩＧへの注目度ＤＡとして決定する処理であることも好ましい。このような態様によれば、得られた複数の注目度ＤＡのうち頻度が高い注目度ＤＡを採用することにより、人間の一定ではない対象への注目の度合いを適正に評価することができる。
Furthermore, the first processing is based on the angle θ formed by the
ここで、本態様の第１の処理を、図４の具体例を使用して説明することとする。上述したように、ヒト４１ａについて、各移動方向から求められる注目度ＤＡは、５０ポイント、１００ポイント、１００ポイントである。よって、頻度が最も高い注目度ＤＡは、１００ポイントであるため、ヒト４１ａの情報提示物ＩＧへの注目度ＤＡは、１００ポイントであると決定される。
Here, the first processing of this aspect will be described using the specific example of FIG. As described above, for the
同様にして、ヒト４１ｂについて、各移動方向から求められる注目度ＤＡは、１００ポイント、７５ポイント、１００ポイントである。よって、頻度が最も高い注目度ＤＡは、１００ポイントであるため、ヒト４１ａの情報提示物ＩＧへの注目度ＤＡは、１００ポイントであると決定される。
Similarly, for the
同様にして、ヒト４１ｃについて、移動方向から求められる注目度ＤＡは、３回の推定で常に７５ポイントである。よって、頻度が最も高い注目度ＤＡは、７５ポイントであるため、ヒト４１ａの情報提示物ＩＧへの注目度ＤＡは、７５ポイントであると決定される。
Similarly, for the
同様にして、ヒト４１ｄについて、各移動方向から求められる注目度ＤＡは、０ポイント、０ポイント、５０ポイントである。よって、頻度が最も高い注目度ＤＡは、０ポイントであるため、ヒト４１ａの情報提示物ＩＧへの注目度ＤＡは、０ポイントであると決定される。
Similarly, for the
ヒト４１ｅについては、３回の推定で常に注目度ＤＡは、２００ポイントである。よって、頻度が最も高い注目度ＤＡは、２００ポイントであるため、ヒト４１ａの情報提示物ＩＧへの注目度ＤＡは、２００ポイントであると決定される。
For human 41e, the degree of attention DA is always 200 points in three estimations. Therefore, since the attention level DA with the highest frequency is 200 points, the attention level DA of the
続いて、推定部３３２が移動方向以外についても推定を行う態様について、以下詳述する。
Next, a mode in which the
推定部３３２は、撮像画像ＩＭの時系列変化に基づいて、ヒトが移動を停止する前の所定時間におけるヒトの停止前移動方向をさらに推定することが好ましい。本態様では、第１の算出部３３４は、停止前移動方向にさらに基づいて、ヒトの、情報提示物ＩＧへの注目度ＤＡを算出する。例えば、ヒトの停止前移動方向が情報提示物ＩＧを基準として正面方向６１ｆである場合、当該人物は、情報提示物ＩＧを見るために立ち止まった可能性が高いため、その他の場合と比べて相対的に注目度ＤＡが高くなるように注目度ＤＡを算出する。このような態様によれば、人間が立ち止まる直前の移動方向を加味することにより、情報提示物ＩＧの視認性をより適正に評価することができる。
It is preferable that the
推定部３３２は、撮像画像ＩＭの時系列変化に基づいて、所定時間のヒトの移動距離から移動速度をさらに推定することが好ましい。本態様では、第１の算出部３３４は、移動速度にさらに基づいて、ヒトの、情報提示物ＩＧへの注目度ＤＡを算出する。例えば、ヒトの移動速度が速い場合、当該人物は、情報提示物ＩＧを見ていない可能性が高いため、移動速度が速い場合は、移動速度が遅い場合に比べて、注目度ＤＡが低くなるように注目度ＤＡを算出する。このような態様によれば、移動速度を加味することにより、情報提示物ＩＧの視認性をより適正に評価することができる。
It is preferable that the
推定部３３２は、撮像画像ＩＭに基づいて、ヒトの顔の向きを推定することが好ましい。本態様では、第１の算出部３３４は、ヒトの顔の向きにさらに基づいて、ヒトの、情報提示物ＩＧへの注目度ＤＡを算出する。例えば、ヒトの顔が情報提示物ＩＧの方向を向いている場合、当該人物は、情報提示物ＩＧを見ている可能性が高いため、その他の場合と比べて相対的に注目度ＤＡが高くなるように注目度ＤＡを算出する。このような態様によれば、顔の向きを加味することにより、情報提示物ＩＧの視認性をより適正に評価することができる。
The
推定部３３２は、撮像画像ＩＭに基づいて、ヒトの目の位置と、情報提示物ＩＧとの間の距離をさらに推定することが好ましい。本態様では、第１の算出部３３４は、この距離にさらに基づいて、ヒトの、情報提示物ＩＧへの注目度ＤＡを算出する。例えば、ヒトの目の位置と、情報提示物ＩＧとの間の距離が大きいほど、ヒトにとって情報提示物ＩＧは見えにくくなると考えられるため、距離が大きいほど、注目度ＤＡが低くなるように注目度ＤＡを算出する。このような態様によれば、人間と情報提示物ＩＧとの距離を加味することにより、情報提示物ＩＧの視認性をより適正に評価することができる。
It is preferable that the
推定部３３２は、撮像画像ＩＭに基づいて、ヒトの目の位置と、情報提示物ＩＧとの高さの差をさらに推定することが好ましい。本態様では、第１の算出部３３４は、この高さの差にさらに基づいて、ヒトの、情報提示物ＩＧへの注目度ＤＡを算出する。例えば、ヒトの目の位置と、情報提示物ＩＧとの高さの差が大きいほど、ヒトの視線が情報提示物ＩＧを捉えにくくなり、ヒトが情報提示物ＩＧに気づきにくくなると考えられるため、高さの差が大きいほど、注目度ＤＡが低くなるように注目度ＤＡを算出する。このような態様によれば、人間の目線と情報提示物ＩＧとの高さの差を加味することにより、情報提示物ＩＧの視認性をより適正に評価することができる。
It is preferable that the
推定部３３２は、撮像画像ＩＭと、予め設定されたエリア情報とに基づいて、ヒトが所定時間滞在している場所の属性をさらに推定することが好ましい。本態様では、第１の算出部３３４は、この場所の属性にさらに基づいて、ヒトの、情報提示物ＩＧへの注目度ＤＡを算出する。例えば、ヒトが喫煙所にいる場合、喫煙所に集まっている人々は、周りを見渡す行動をとる傾向が一般的に見られるため、当該人物は、情報提示物ＩＧに気づく可能性が高い。よって、ヒトが喫煙所にいる場合、その他のエリアにいる場合よりも相対的に注目度ＤＡが高くなるように注目度ＤＡを算出する。このような態様によれば、人間がいるエリアの属性を加味することにより、情報提示物ＩＧの視認性をより適正に評価することができる。
It is preferable that the
４．第２の実施形態
本節では、第２の実施形態（以下、本実施形態と称する）に係る情報処理システム１について説明する。ただし、第１の実施形態に係る情報処理システム１と略同様の構成や機能については、その説明を省略する。
4. Second Embodiment In this section, an
また、本節で参照する各図は、以下の通りである。図８は、所定時間における車両の移動方向の一例である。図９は、情報処理システム１によって実行される情報処理の流れの一例を示すアクティビティ図である。
The figures referred to in this section are as follows. FIG. 8 is an example of the moving direction of the vehicle at a predetermined time. FIG. 9 is an activity diagram showing an example of the flow of information processing executed by the
本実施形態の情報処理方法は、受付ステップと、推定ステップと、第１の算出ステップとを備える。受付ステップでは、ヒトが運転する車両を含む撮像画像ＩＭを時系列で受け付ける。推定ステップでは、撮像画像ＩＭの時系列変化に基づいて、所定時間ごとの車両の移動方向を推定する。第１の算出ステップでは、複数の、所定時間ごとの移動方向に対して、予め定められた第１の処理を適用することで、ヒトの、情報提示物ＩＧへの注目度ＤＡを算出する。 The information processing method of this embodiment includes a receiving step, an estimating step, and a first calculating step. In the receiving step, captured images IM including a vehicle driven by a person are received in chronological order. In the estimation step, the moving direction of the vehicle is estimated for each predetermined time based on the time-series change of the captured image IM. In the first calculation step, a predetermined first process is applied to a plurality of moving directions at predetermined time intervals, thereby calculating the degree of human attention DA to the information presentation object IG.
ここで、車両とは、道路を走るための車両であって、例えば、自転車、原動機付自転車、自動二輪車、自動車等である。 Here, a vehicle is a vehicle for running on a road, and includes, for example, a bicycle, a motorized bicycle, a motorcycle, an automobile, and the like.
以下では、図９のアクティビティ図に沿って、情報処理システム１によって実行される情報処理の流れを説明するものとする。なお、図９において、ｋは、車両の移動方向の推定回数を表し、ｔは時刻を表す。
In the following, the flow of information processing executed by the
アクティビティＡ２００～Ａ２０２は、第１の実施形態のアクティビティＡ１００～Ａ１０２と同様のため、説明を省略する。 The activities A200 to A202 are the same as the activities A100 to A102 of the first embodiment, so their explanations are omitted.
アクティビティＡ２０３では、情報処理装置３の制御部３３において、ｔ＝０が設定されると、受付部３３１は、ヒトが運転する車両を含む撮像画像ＩＭを時系列で受け付ける。
In activity A203, when t=0 is set in the
アクティビティＡ２０４では、情報処理装置３の制御部３３は、１フレーム毎の撮像画像ＩＭに基づいて、当該領域中に含まれる車両を抽出し、車両ごとにラベリング処理を行って識別する。例えば、車両の色、形状、大きさ、高さ等の特徴に基づいて、車両を識別する。そして、情報処理装置３の制御部３３は、当該領域中における座標を位置情報として、車両ごとに特定する。情報処理装置３の制御部３３は、このような車両の識別情報と位置情報とを時系列で記憶部３２に記憶させる。
In activity A204, the
アクティビティＡ２０５では、上述したアクティビティＡ２０３およびＡ２０４の情報処理を、車両の移動を分析する所定期間が終わるまで、すなわち、ｔ≧τとなるまで繰り返す。 In activity A205, the information processing of activities A203 and A204 described above is repeated until the predetermined period for analyzing the movement of the vehicle ends, that is, until t≧τ.
ここで、τは、特に限定されないが、車両の平均的な走行速度を考慮して定めることが好ましい。 Here, τ is not particularly limited, but is preferably determined in consideration of the average running speed of the vehicle.
アクティビティＡ２０６では、車両の移動を分析する所定期間が終わると、すなわち、時間条件ｔ≧τが満たされると、情報処理装置３の推定部３３２は、撮像画像ＩＭの時系列変化に基づいて、所定時間ごとの車両の移動方向を推定する。
In activity A206, when the predetermined period for analyzing the movement of the vehicle ends, that is, when the time condition t≧τ is satisfied, the estimating
ここで、図８の例を使用して、所定時間における車両の移動方向の推定について説明することとする。図８において、車両７１と車両７２は同一車両であって、ｔ＝０で撮像された当該車両を示すのが車両７１であり、ｔ＝τで撮像された当該車両を示すのが車両７２である。車両７１の位置と車両７２の位置とを結ぶことによって得られるものが、ベクトル７４である。すなわち、ベクトル７４は、０≦ｔ≦τという所定期間における移動方向を示す。また、情報提示物ＩＧに垂直なベクトルが、ベクトル７３である。そして、移動方向のベクトル７４と情報提示物ＩＧに垂直なベクトル７３とは、角度φをなす。このようにして、推定部３３２は、所定時間ごとの車両の移動方向の推定結果を、角度φとして表すことが、好ましい。
Here, using the example of FIG. 8, the estimation of the moving direction of the vehicle at a predetermined time will be explained. In FIG. 8, the
アクティビティＡ２０７～Ａ２０９は、第１の実施形態と同様のため、説明を省略する。なお、上述の第１の実施形態におけるアクティビティＡ１０７～Ａ１０９に関する説明は、ベクトル５３をベクトル７３に、ベクトル５４をベクトル７４に、ベクトル角度θを角度φに置き換えれば、第２の実施形態におけるアクティビティＡ２０７～Ａ２０９の説明となる。
Activities A207 to A209 are the same as those in the first embodiment, so descriptions thereof are omitted. Note that the description of the activities A107 to A109 in the first embodiment can be applied to the activity A207 in the second embodiment by replacing the
このように、本実施形態によれば、屋外広告等の近傍を実際に通過している車両一台一台の移動を分析することにより、車両に乗っている人間の屋外広告等への注目度を推定し、屋外広告等の視認性を評価することができる。 As described above, according to the present embodiment, by analyzing the movement of each vehicle actually passing near the outdoor advertisement, etc., the degree of attention of the people riding in the vehicle to the outdoor advertisement, etc., can be calculated. can be estimated and the visibility of outdoor advertisements can be evaluated.
続いて、推定部３３２が移動方向以外についても推定を行う態様について、以下詳述する。
Next, a mode in which the
推定部３３２は、撮像画像ＩＭの時系列変化に基づいて、所定時間の車両の移動距離から移動速度をさらに推定することが好ましい。本態様では、第１の算出部３３４は、移動速度にさらに基づいて、ヒトの、情報提示物ＩＧへの注目度ＤＡを算出する。例えば、車両の移動速度が速い場合、当該車両に乗っている人物は、情報提示物ＩＧを見ていない可能性が高いため、移動速度が速い場合は、移動速度が遅い場合に比べて、注目度ＤＡが低くなるように注目度ＤＡを算出する。このような態様によれば、移動速度を加味することにより、情報提示物ＩＧの視認性をより適正に評価することができる。
It is preferable that the
推定部３３２は、撮像画像ＩＭに基づいて、車両と、情報提示物ＩＧとの間の距離をさらに推定することが好ましい。本態様では、第１の算出部３３４は、この距離にさらに基づいて、ヒトの、情報提示物ＩＧへの注目度ＤＡを算出する。例えば、車両と、情報提示物ＩＧとの間の距離が大きいほど、車両に乗っている人物にとって情報提示物ＩＧは見えにくくなると考えられるため、距離が大きいほど、注目度ＤＡが低くなるように注目度ＤＡを算出する。このような態様によれば、車両と情報提示物ＩＧとの距離を加味することにより、情報提示物ＩＧの視認性をより適正に評価することができる。
It is preferable that the
推定部３３２は、撮像画像ＩＭに基づいて、車両と、情報提示物ＩＧとの高さの差をさらに推定することが好ましい。本態様では、第１の算出部３３４は、この高さの差にさらに基づいて、ヒトの、情報提示物ＩＧへの注目度ＤＡを算出する。例えば、車両と、情報提示物ＩＧとの高さの差が大きいほど、車両に乗っているヒトの視線が情報提示物ＩＧを捉えにくくなり、当該人物が情報提示物ＩＧに気づきにくくなると考えられるため、高さの差が大きいほど、注目度ＤＡが低くなるように注目度ＤＡを算出する。このような態様によれば、車両と情報提示物ＩＧとの高さの差を加味することにより、情報提示物ＩＧの視認性をより適正に評価することができる。
It is preferable that the
５．その他
情報処理システム１に関して、以下のような態様を採用してもよい。
5. Others Regarding the
本実施形態の態様は、プログラムであってもよい。このプログラムは、コンピュータに、情報処理システム１の各ステップを実行させる。
An aspect of this embodiment may be a program. This program causes the computer to execute each step of the
撮像装置２として、複数台のカメラを使用してもよい。このような態様によれば、奥行きを含む三次元の情報も取得可能となるため、より精度の高いヒトの移動方向の推定を行うことができる。
A plurality of cameras may be used as the
アクティビティＡ１０４において、ヒトの位置は、ヒトの重心としてもよいし、頭部としてもよいし、足元としてもよく、ヒトの位置情報を得るために、ヒトの身体の各部位を特定対象とすることができる。 In activity A104, the position of the person may be the center of gravity of the person, the head, or the feet. can be done.
アクティビティＡ２０４において、車両の位置は、車両の重心としてもよいし、前輪としてもよいし、後輪としてもよく、車両の位置情報を得るために、車両の各部を特定対象とすることができる。 In activity A204, the position of the vehicle may be the center of gravity of the vehicle, the front wheels, or the rear wheels.
推定部３３２は、ヒトまたは車両の移動方向を１フレームごとに推定してもよい。さらに、推定部３３２は、１フレームごとのヒトまたは車両の移動方向の推定結果を、角度θまたは角度φとして表してもよい。
The
本実施形態では、参照情報６がルックアップテーブル等のデータベースであるものとし、それに含まれる詳細な項目を説明したが、あくまでも一例でありこの限りではない。さらに、参照情報６は、そもそもルックアップテーブル等のデータベースに限定されず、複数の情報を数学的に関係づけた数理モデルでもよいし、さらに好ましくは、複数の情報の相関性を予め機械学習させた学習済みモデルであってもよい。すなわち、参照情報６は、ＡＩによる機械学習により生成または更新されてもよい。
In the present embodiment, the
情報処理システムは、検出部３３３をさらに備えてもよい。検出部は、撮像画像ＩＭに基づいて、ヒトの目の位置または車両と、情報提示物ＩＧとの間に存在する、大きさが所定の閾値を超えている物体を検出する。本態様では、第１の算出部３３４は、検出された物体の大きさにさらに基づいて、ヒトの、情報提示物ＩＧへの注目度ＤＡを算出する。このような態様によれば、人間の視線を遮る物の存在を加味することにより、情報提示物ＩＧの視認性をより適正に評価することができる。
The information processing system may further include a
第１の算出部３３４は、情報提示物ＩＧの大きさにさらに基づいて、ヒトの、情報提示物ＩＧへの注目度ＤＡを算出してもよい。このような態様によれば、情報提示物ＩＧの大きさを加味することにより、情報提示物ＩＧの視認性をより適正に評価することができる。
The
受付部３３１は、ヒトの属性情報をさらに受け付けてもよい。本態様では、第１の算出部３３４は、属性情報と、情報提示物ＩＧが提供する情報とにさらに基づいて、ヒトの、情報提示物ＩＧへの注目度ＤＡを算出する。ここで、ヒトの属性情報とは、例えば、性別、年齢、居住地、職業等である。また、属性情報は、撮像画像ＩＭから推定されたものであってもよい。あるいは、情報提示物ＩＧが双方向性を持つインタラクティブ型デジタルサイネージである場合、属性情報は、情報提示物ＩＧがヒトから直接入手した情報であってもよいし、ヒトから得た情報に基づき情報提示物ＩＧが推定した情報であってもよい。このような態様によれば、情報提示物ＩＧが提供する情報が、人間の属性に適合する程度を加味することにより、情報提示物ＩＧの注意喚起力を適正に評価することができる。
The
さらに、次に記載の各態様で提供されてもよい。
前記情報処理システムにおいて、前記第１の処理は、前記複数の移動方向のベクトルと前記情報提示物に垂直なベクトルとがなす角度に関して、平均角度を算出し、前記平均角度と、予め設定された参照情報とに基づいて、前記情報提示物への注目度を求める処理であり、前記参照情報は、前記角度と、前記情報提示物への注目度とが対応付けられた情報である、もの。
前記情報処理システムにおいて、前記第１の処理は、前記複数の移動方向それぞれに関して、前記移動方向のベクトルと前記情報提示物に垂直なベクトルとがなす角度と、予め設定された参照情報とに基づいて、前記情報提示物への注目度を求め、求められた複数の前記注目度のうち、最大値の注目度を、前記ヒトの、情報提示物への注目度として決定する処理であり、前記参照情報は、前記角度と、前記情報提示物への注目度とが対応付けられた情報である、もの。
前記情報処理システムにおいて、前記第１の処理は、前記複数の移動方向それぞれに関して、前記移動方向のベクトルと前記情報提示物に垂直なベクトルとがなす角度と、予め設定された参照情報とに基づいて、前記情報提示物への注目度を求め、求められた複数の前記注目度のうち、頻度が最も高い注目度を、前記ヒトの、情報提示物への注目度として決定する処理であり、前記参照情報は、前記角度と、前記情報提示物への注目度とが対応付けられた情報である、もの。
前記情報処理システムにおいて、前記参照情報は、前記情報提示物を基準として前記移動方向が正面方向、背面方向、斜め方向および横方向にある場合と、前記移動方向のベクトルと前記情報提示物に垂直なベクトルとが角度をなさない場合とに対して、それぞれ前記情報提示物への注目度が対応付けられた情報である、もの。
前記情報処理システムにおいて、第２の算出ステップをさらに実行するように構成され、前記撮像画像に含まれる前記ヒトは、複数のヒトであり、前記第２の算出ステップでは、前記ヒトごとに算出された前記情報提示物への注目度それぞれに対して、予め定められた第２の処理を適用することで、大衆の前記情報提示物への注目度を算出する、もの。
前記情報処理システムにおいて、前記第２の処理は、前記情報提示物への注目度と、その注目度を有するヒトの人数とを掛け合わせて得られる値を全ての注目度について足し合わせ、得られた合計値を前記ヒトの人数で割る処理である、もの。
前記情報処理システムにおいて、前記第１の算出ステップでは、前記撮像画像を撮像した撮像装置と、前記情報提示物との位置関係にさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、もの。
前記情報処理装置において、前記情報提示物が前記撮像装置を備えている場合、前記撮像装置と前記情報提示物とが同一位置に位置するとみなすか、または、前記撮像装置が前記情報提示物に包含される位置関係にあるとする、もの。
前記情報処理システムにおいて、前記推定ステップでは、前記撮像画像の時系列変化に基づいて、前記ヒトが移動を停止する前の所定時間における前記ヒトの停止前移動方向をさらに推定し、前記第１の算出ステップでは、前記停止前移動方向にさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、もの。
前記情報処理システムにおいて、前記推定ステップでは、前記撮像画像の時系列変化に基づいて、所定時間の前記ヒトの移動距離から移動速度をさらに推定し、前記第１の算出ステップでは、前記移動速度にさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、もの。
前記報処理システムにおいて、前記推定ステップでは、前記撮像画像に基づいて、前記ヒトの顔の向きを推定し、前記第１の算出ステップでは、前記ヒトの顔の向きにさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、もの。
前記情報処理システムにおいて、前記推定ステップでは、前記撮像画像に基づいて、前記ヒトの目の位置と、前記情報提示物との間の距離をさらに推定し、前記第１の算出ステップでは、前記距離にさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、もの。
前記情報処理システムにおいて、前記推定ステップでは、前記撮像画像に基づいて、前記ヒトの目の位置と、前記情報提示物との高さの差をさらに推定し、前記第１の算出ステップでは、前記高さの差にさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、もの。
前記情報処理システムにおいて、前記推定ステップでは、前記撮像画像と、予め設定されたエリア情報とに基づいて、前記ヒトが所定時間滞在している場所の属性をさらに推定し、前記第１の算出ステップでは、前記場所の属性にさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、もの。
前記情報処理システムにおいて、検出ステップをさらに実行するように構成され、前記検出ステップでは、前記撮像画像に基づいて、前記ヒトの目の位置と、前記情報提示物との間に存在する、大きさが所定の閾値を超えている物体を検出し、前記第１の算出ステップでは、検出された前記物体の大きさにさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、もの。
前記情報処理システムにおいて、前記第１の算出ステップでは、前記情報提示物の大きさにさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、もの。
前記情報処理システムにおいて、前記受付ステップでは、前記ヒトの属性情報をさらに受け付け、前記第１の算出ステップでは、前記属性情報と、前記情報提示物が提供する情報とにさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、もの。
前記情報処理システムにおいて、前記受付ステップでは、前記ヒトが運転する車両を含む撮像画像を時系列で受け付け、前記推定ステップでは、前記車両の移動方向を推定する、もの。
前記情報処理システムにおいて、前記推定ステップでは、前記撮像画像の時系列変化に基づいて、所定時間の前記車両の移動距離から移動速度をさらに推定し、前記第１の算出ステップでは、前記移動速度にさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、もの。
前記情報処理システムにおいて、前記推定ステップでは、前記撮像画像に基づいて、前記車両と、前記情報提示物との間の距離をさらに推定し、前記第１の算出ステップでは、前記距離にさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、もの。
前記情報処理システムにおいて、前記推定ステップでは、前記撮像画像に基づいて、前記車両と、前記情報提示物との高さの差をさらに推定し、前記第１の算出ステップでは、前記高さの差にさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、もの。
前記情報処理システムにおいて、検出ステップをさらに実行するように構成され、前記検出ステップでは、前記撮像画像に基づいて、前記車両と、前記情報提示物との間に存在する、大きさが所定の閾値を超えている物体を検出し、前記第１の算出ステップでは、検出された前記物体の大きさにさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、もの。
前記情報処理システムにおいて、前記第１の算出ステップでは、前記情報提示物の大きさにさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、もの。
情報処理方法であって、前記情報処理システムの各ステップを備える、方法。
プログラムであって、コンピュータに、前記情報処理システムの各ステップを実行させる、もの。
もちろん、この限りではない。
Furthermore, it may be provided in each aspect described below.
In the information processing system, the first process calculates an average angle with respect to angles formed by the vectors in the plurality of moving directions and the vector perpendicular to the information presentation object, and calculates the average angle and a preset and reference information, wherein the reference information is information in which the angle and the degree of attention to the information presentation are associated with each other.
In the information processing system, the first processing is based on an angle formed by a vector in the moving direction and a vector perpendicular to the information presentation object and preset reference information for each of the plurality of moving directions. and determining the degree of attention to the information presentation object, and determining the maximum attention degree among the obtained plurality of attention degrees as the degree of attention of the person to the information presentation object, The reference information is information in which the angle and the degree of attention to the information presentation object are associated with each other.
In the information processing system, the first processing is based on an angle formed by a vector in the moving direction and a vector perpendicular to the information presentation object and preset reference information for each of the plurality of moving directions. A process of determining the degree of attention to the information presentation object, and determining the degree of attention with the highest frequency among the plurality of attention degrees obtained as the degree of attention of the person to the information presentation object, The reference information is information in which the angle and the degree of attention to the information presentation object are associated with each other.
In the information processing system, the reference information includes a case where the direction of movement is a front direction, a back direction, an oblique direction, and a lateral direction with respect to the information presentation object, and a vector of the movement direction and a direction perpendicular to the information presentation object. is information in which the degree of attention to the information presentation item is associated with each other with respect to the case where the vector does not form an angle with the vector.
The information processing system is configured to further execute a second calculation step, wherein the persons included in the captured image are a plurality of persons, and in the second calculation step, calculation is performed for each person. calculating the degree of public attention to the information presentation object by applying a predetermined second process to each of the attention degrees to the information presentation object.
In the information processing system, the second processing is performed by adding together the values obtained by multiplying the degree of attention to the information presentation object by the number of people who have that degree of attention for all the degrees of attention. which is a process of dividing the total value obtained by dividing by the number of people.
In the information processing system, in the first calculation step, the degree of attention of the person to the information presentation object is calculated further based on the positional relationship between the imaging device that captured the captured image and the information presentation object. Things to calculate.
In the information processing device, when the information presentation object includes the imaging device, the imaging device and the information presentation object are assumed to be located at the same position, or the imaging device is included in the information presentation object. A thing that is in a positional relationship to be.
In the information processing system, the estimating step further estimates a pre-stop moving direction of the person at a predetermined time before the person stops moving, based on a time series change of the captured image, and In the calculating step, the degree of attention of the person to the information presentation object is calculated further based on the movement direction before stopping.
In the information processing system, the estimating step further estimates the moving speed from the moving distance of the person for a predetermined time based on the time series change of the captured image, and the first calculating step estimates the moving speed. Furthermore, based on this, the degree of attention of the person to the information presentation is calculated.
In the information processing system, the estimation step estimates the orientation of the human face based on the captured image, and the first calculation step further calculates the orientation of the human face based on the orientation of the human face. , which calculates the degree of attention to the information presentation.
In the information processing system, the estimation step further estimates a distance between the position of the human eye and the information presentation object based on the captured image, and the first calculation step further estimates the distance further based on calculating the degree of attention of the person to the information presentation.
In the information processing system, the estimation step further estimates a height difference between the position of the human eye and the information presentation object based on the captured image; Further based on the difference in height, the degree of attention of the person to the information presentation object is calculated.
In the information processing system, the estimating step further estimates an attribute of a place where the person is staying for a predetermined time based on the captured image and preset area information, and the first calculating step Then, the degree of attention of the person to the information presentation object is calculated further based on the attribute of the location.
The information processing system is configured to further perform a detection step, wherein the detection step includes a size existing between the position of the human eye and the information presentation object based on the captured image. is greater than a predetermined threshold, and in the first calculation step, further based on the size of the detected object, the degree of attention of the person to the information presentation is calculated; thing.
In the information processing system, in the first calculating step, the degree of attention of the person to the information presentation object is calculated further based on the size of the information presentation object.
In the information processing system, the receiving step further receives the attribute information of the person, and the first calculating step calculates the attribute information of the person further based on the attribute information and the information provided by the information presentation object. , which calculates the degree of attention to the information presentation.
In the information processing system, the receiving step receives captured images including the vehicle driven by the person in time series, and the estimating step estimates a moving direction of the vehicle.
In the information processing system, the estimating step further estimates the moving speed from the moving distance of the vehicle for a predetermined time based on the time series change of the captured image, and the first calculating step estimates the moving speed. Furthermore, based on this, the degree of attention of the person to the information presentation is calculated.
In the information processing system, the estimation step further estimates a distance between the vehicle and the information presentation object based on the captured image, and the first calculation step further estimates a distance based on the distance. , which calculates the degree of attention of the person to the information presentation.
In the information processing system, the estimation step further estimates a height difference between the vehicle and the information presentation object based on the captured image, and the first calculation step further estimates the height difference. further based on calculating the degree of attention of the person to the information presentation.
The information processing system is configured to further execute a detection step, in which, based on the captured image, a threshold of a predetermined size existing between the vehicle and the information presentation object , and in the first calculating step, the degree of attention of the person to the information presentation object is calculated further based on the size of the detected object.
In the information processing system, in the first calculating step, the degree of attention of the person to the information presentation object is calculated further based on the size of the information presentation object.
A method of information processing, comprising steps of the information processing system.
A program that causes a computer to perform each step of the information processing system.
Of course, this is not the only case.
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Finally, while various embodiments of the invention have been described, these have been presented by way of example and are not intended to limit the scope of the invention. The novel embodiment can be embodied in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. The embodiment and its modifications are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and equivalents thereof.
１ ：情報処理システム
２ ：撮像装置
３ ：情報処理装置
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３３１ ：受付部
３３２ ：推定部
３３３ ：検出部
３３４ ：算出部
４ ：重ね合わせ画像
４１ａ ：ヒト
４２ａ ：移動方向
４３ａ ：移動方向
４４ａ ：移動方向
４１ｂ ：ヒト
４２ｂ ：移動方向
４３ｂ ：移動方向
４４ｂ ：移動方向
４１ｃ ：ヒト
４２ｃ ：移動方向
４３ｃ ：移動方向
４４ｃ ：移動方向
４１ｄ ：ヒト
４２ｄ ：移動方向
４３ｄ ：移動方向
４４ｄ ：移動方向
４１ｅ ：ヒト
５１ ：ヒト
５２ ：ヒト
５３ ：ベクトル
５４ ：ベクトル
６ ：参照情報
６１ｂ ：背面方向
６１ｄ ：斜め方向
６１ｆ ：正面方向
６１ｈ ：横方向
６１ｓ ：滞留
７１ ：車両
７２ ：車両
７３ ：ベクトル
７４ ：ベクトル
ＤＡ ：注目度
ＩＧ ：情報提示物
ＩＭ ：撮像画像
1: information processing system 2: imaging device 3: information processing device 30: communication bus 31: communication unit 32: storage unit 33: control unit 331: reception unit 332: estimation unit 333: detection unit 334: calculation unit 4:
Claims (26)
次の各ステップを実行するように構成され、
受付ステップでは、ヒトを含む撮像画像を時系列で受け付け、
推定ステップでは、前記撮像画像の時系列変化に基づいて、所定時間ごとの前記ヒトの移動方向を推定し、
第１の算出ステップでは、複数の、前記所定時間ごとの前記移動方向に対して、予め定められた第１の処理を適用することで、前記ヒトの、情報提示物への注目度を算出する、
もの。 An information processing system,
configured to perform each of the following steps,
In the receiving step, captured images including humans are received in chronological order,
In the estimating step, estimating the moving direction of the person at predetermined time intervals based on the time-series change of the captured image,
In the first calculation step, a predetermined first process is applied to a plurality of moving directions at predetermined time intervals to calculate the degree of attention of the person to the information presentation object. ,
thing.
前記第１の処理は、前記複数の移動方向のベクトルと前記情報提示物に垂直なベクトルとがなす角度に関して、平均角度を算出し、前記平均角度と、予め設定された参照情報とに基づいて、前記情報提示物への注目度を求める処理であり、
前記参照情報は、前記角度と、前記情報提示物への注目度とが対応付けられた情報である、
もの。 In the information processing system according to claim 1,
The first process calculates an average angle with respect to angles formed by the vectors in the plurality of moving directions and the vector perpendicular to the information presentation object, and calculates the average angle based on the average angle and preset reference information. , a process for obtaining the degree of attention to the information presentation,
The reference information is information in which the angle and the degree of attention to the information presentation object are associated with each other,
thing.
前記第１の処理は、前記複数の移動方向それぞれに関して、前記移動方向のベクトルと前記情報提示物に垂直なベクトルとがなす角度と、予め設定された参照情報とに基づいて、前記情報提示物への注目度を求め、求められた複数の前記注目度のうち、最大値の注目度を、前記ヒトの、情報提示物への注目度として決定する処理であり、
前記参照情報は、前記角度と、前記情報提示物への注目度とが対応付けられた情報である、
もの。 In the information processing system according to claim 1 or claim 2,
In the first processing, with respect to each of the plurality of moving directions, based on an angle between a vector in the moving direction and a vector perpendicular to the information presenting object, and preset reference information, the information presenting object A process of determining the degree of attention to the object, and determining the maximum value of the degree of attention among the plurality of degrees of attention obtained as the degree of attention of the person to the information presentation,
The reference information is information in which the angle and the degree of attention to the information presentation object are associated with each other,
thing.
前記第１の処理は、前記複数の移動方向それぞれに関して、前記移動方向のベクトルと前記情報提示物に垂直なベクトルとがなす角度と、予め設定された参照情報とに基づいて、前記情報提示物への注目度を求め、求められた複数の前記注目度のうち、頻度が最も高い注目度を、前記ヒトの、情報提示物への注目度として決定する処理であり、
前記参照情報は、前記角度と、前記情報提示物への注目度とが対応付けられた情報である、
もの。 In the information processing system according to claim 1 or claim 2,
In the first processing, with respect to each of the plurality of moving directions, based on an angle between a vector in the moving direction and a vector perpendicular to the information presenting object, and preset reference information, the information presenting object A process of determining the degree of attention to the object, and determining the degree of attention with the highest frequency among the plurality of degrees of attention obtained as the degree of attention of the person to the information presentation,
The reference information is information in which the angle and the degree of attention to the information presentation object are associated with each other,
thing.
前記参照情報は、前記情報提示物を基準として前記移動方向が正面方向、背面方向、斜め方向および横方向にある場合と、前記移動方向のベクトルと前記情報提示物に垂直なベクトルとが角度をなさない場合とに対して、それぞれ前記情報提示物への注目度が対応付けられた情報である、
もの。 In the information processing system according to any one of claims 2 to 4,
The reference information includes a case where the direction of movement is the front direction, the back direction, the oblique direction, and the lateral direction with respect to the information presentation object, and the angle between the vector of the movement direction and the vector perpendicular to the information presentation object. Information in which the degree of attention to the information presentation item is associated with each case,
thing.
第２の算出ステップをさらに実行するように構成され、
前記撮像画像に含まれる前記ヒトは、複数のヒトであり、
前記第２の算出ステップでは、前記ヒトごとに算出された前記情報提示物への注目度それぞれに対して、予め定められた第２の処理を適用することで、大衆の前記情報提示物への注目度を算出する、
もの。 In the information processing system according to any one of claims 1 to 5,
configured to further perform a second calculating step;
The humans included in the captured image are a plurality of humans,
In the second calculating step, by applying a predetermined second process to each of the degrees of attention to the information presentation item calculated for each person, it is possible to determine the public's interest in the information presentation item. Calculate attention,
thing.
前記第２の処理は、前記情報提示物への注目度と、その注目度を有するヒトの人数とを掛け合わせて得られる値を全ての注目度について足し合わせ、得られた合計値を前記ヒトの人数で割る処理である、
もの。 In the information processing system according to claim 6,
In the second process, a value obtained by multiplying the degree of attention to the information presentation item by the number of people having the degree of attention is added for all the degrees of attention, and the obtained total value is It is a process of dividing by the number of people,
thing.
前記第１の算出ステップでは、前記撮像画像を撮像した撮像装置と、前記情報提示物との位置関係にさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、
もの。 In the information processing system according to any one of claims 1 to 7,
In the first calculation step, the degree of attention of the person to the information presentation object is calculated further based on the positional relationship between the imaging device that captured the captured image and the information presentation object,
thing.
前記情報提示物が前記撮像装置を備えている場合、前記撮像装置と前記情報提示物とが同一位置に位置するとみなすか、または、前記撮像装置が前記情報提示物に包含される位置関係にあるとする、
もの。 In the information processing device according to claim 8,
When the information presentation object includes the imaging device, the imaging device and the information presentation object are assumed to be located at the same position, or the imaging device is included in the information presentation object. to be
thing.
前記推定ステップでは、前記撮像画像の時系列変化に基づいて、前記ヒトが移動を停止する前の所定時間における前記ヒトの停止前移動方向をさらに推定し、
前記第１の算出ステップでは、前記停止前移動方向にさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、
もの。 In the information processing system according to any one of claims 1 to 9,
In the estimating step, further estimating a pre-stop movement direction of the person at a predetermined time before the person stops moving, based on time-series changes in the captured images;
In the first calculating step, further based on the movement direction before stopping, the degree of attention of the person to the information presentation object is calculated.
thing.
前記推定ステップでは、前記撮像画像の時系列変化に基づいて、所定時間の前記ヒトの移動距離から移動速度をさらに推定し、
前記第１の算出ステップでは、前記移動速度にさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、
もの。 In the information processing system according to any one of claims 1 to 10,
In the estimating step, further estimating the movement speed from the movement distance of the person for a predetermined time based on the time series change of the captured image,
In the first calculating step, further based on the moving speed, the degree of attention of the person to the information presentation object is calculated.
thing.
前記推定ステップでは、前記撮像画像に基づいて、前記ヒトの顔の向きを推定し、
前記第１の算出ステップでは、前記ヒトの顔の向きにさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、
もの。 In the information processing system according to any one of claims 1 to 11,
In the estimating step, estimating the orientation of the human face based on the captured image,
In the first calculation step, further based on the orientation of the face of the person, the degree of attention of the person to the information presentation is calculated;
thing.
前記推定ステップでは、前記撮像画像に基づいて、前記ヒトの目の位置と、前記情報提示物との間の距離をさらに推定し、
前記第１の算出ステップでは、前記距離にさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、
もの。 In the information processing system according to any one of claims 1 to 12,
In the estimating step, further estimating a distance between the position of the human eye and the information presentation object based on the captured image;
In the first calculating step, further based on the distance, the degree of attention of the person to the information presentation object is calculated.
thing.
前記推定ステップでは、前記撮像画像に基づいて、前記ヒトの目の位置と、前記情報提示物との高さの差をさらに推定し、
前記第１の算出ステップでは、前記高さの差にさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、
もの。 In the information processing system according to any one of claims 1 to 13,
In the estimating step, further estimating a height difference between the position of the human eye and the information presentation object based on the captured image;
In the first calculating step, further based on the height difference, the degree of attention of the person to the information presentation object is calculated.
thing.
前記推定ステップでは、前記撮像画像と、予め設定されたエリア情報とに基づいて、前記ヒトが所定時間滞在している場所の属性をさらに推定し、
前記第１の算出ステップでは、前記場所の属性にさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、
もの。 In the information processing system according to any one of claims 1 to 14,
In the estimating step, further estimating an attribute of a place where the person is staying for a predetermined time based on the captured image and preset area information;
In the first calculating step, the degree of attention of the person to the information presentation is calculated further based on the attribute of the location;
thing.
検出ステップをさらに実行するように構成され、
前記検出ステップでは、前記撮像画像に基づいて、前記ヒトの目の位置と、前記情報提示物との間に存在する、大きさが所定の閾値を超えている物体を検出し、
前記第１の算出ステップでは、検出された前記物体の大きさにさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、
もの。 In the information processing system according to any one of claims 1 to 15,
configured to further perform a detection step,
In the detection step, based on the captured image, an object whose size exceeds a predetermined threshold and which exists between the position of the human eye and the information presentation object is detected;
In the first calculating step, further based on the size of the detected object, the degree of attention of the person to the information presentation is calculated;
thing.
前記第１の算出ステップでは、前記情報提示物の大きさにさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、
もの。 In the information processing system according to any one of claims 1 to 16,
In the first calculating step, further based on the size of the information presentation, the degree of attention of the person to the information presentation is calculated.
thing.
前記受付ステップでは、前記ヒトの属性情報をさらに受け付け、
前記第１の算出ステップでは、前記属性情報と、前記情報提示物が提供する情報とにさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、
もの。 In the information processing system according to any one of claims 1 to 17,
The receiving step further receives attribute information of the human,
In the first calculation step, further based on the attribute information and information provided by the information presentation, the degree of attention of the person to the information presentation is calculated.
thing.
前記受付ステップでは、前記ヒトが運転する車両を含む撮像画像を時系列で受け付け、
前記推定ステップでは、前記車両の移動方向を推定する、
もの。 In the information processing system according to any one of claims 1 to 9,
In the receiving step, captured images including the vehicle driven by the person are received in chronological order;
In the estimation step, the moving direction of the vehicle is estimated.
thing.
前記推定ステップでは、前記撮像画像の時系列変化に基づいて、所定時間の前記車両の移動距離から移動速度をさらに推定し、
前記第１の算出ステップでは、前記移動速度にさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、
もの。 In the information processing system according to claim 19,
In the estimating step, further estimating a moving speed from the moving distance of the vehicle for a predetermined time based on the time-series change of the captured image;
In the first calculating step, further based on the moving speed, the degree of attention of the person to the information presentation object is calculated.
thing.
前記推定ステップでは、前記撮像画像に基づいて、前記車両と、前記情報提示物との間の距離をさらに推定し、
前記第１の算出ステップでは、前記距離にさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、
もの。 In the information processing system according to any one of claims 19 and 20,
In the estimating step, further estimating a distance between the vehicle and the information presentation object based on the captured image;
In the first calculating step, further based on the distance, the degree of attention of the person to the information presentation object is calculated.
thing.
前記推定ステップでは、前記撮像画像に基づいて、前記車両と、前記情報提示物との高さの差をさらに推定し、
前記第１の算出ステップでは、前記高さの差にさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、
もの。 In the information processing system according to any one of claims 19 to 21,
In the estimating step, further estimating a height difference between the vehicle and the information presentation object based on the captured image;
In the first calculating step, further based on the height difference, the degree of attention of the person to the information presentation object is calculated.
thing.
検出ステップをさらに実行するように構成され、
前記検出ステップでは、前記撮像画像に基づいて、前記車両と、前記情報提示物との間に存在する、大きさが所定の閾値を超えている物体を検出し、
前記第１の算出ステップでは、検出された前記物体の大きさにさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、
もの。 In the information processing system according to any one of claims 19 to 22,
configured to further perform a detection step,
In the detection step, based on the captured image, an object that exists between the vehicle and the information presentation object and whose size exceeds a predetermined threshold is detected;
In the first calculating step, further based on the size of the detected object, the degree of attention of the person to the information presentation is calculated;
thing.
前記第１の算出ステップでは、前記情報提示物の大きさにさらに基づいて、前記ヒトの、前記情報提示物への注目度を算出する、
もの。 In the information processing system according to any one of claims 19 to 23,
In the first calculating step, further based on the size of the information presentation, the degree of attention of the person to the information presentation is calculated.
thing.
請求項１～請求項２４の何れか１つに記載の情報処理システムの各ステップを備える、
方法。 An information processing method,
Each step of the information processing system according to any one of claims 1 to 24,
Method.
コンピュータに、請求項１～請求項２４の何れか１つに記載の情報処理システムの各ステップを実行させる、
もの。 a program,
causing a computer to execute each step of the information processing system according to any one of claims 1 to 24,
thing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021042868A JP2022142623A (en) | 2021-03-16 | 2021-03-16 | Information processing system, information processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021042868A JP2022142623A (en) | 2021-03-16 | 2021-03-16 | Information processing system, information processing method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022142623A true JP2022142623A (en) | 2022-09-30 |
Family
ID=83426446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021042868A Pending JP2022142623A (en) | 2021-03-16 | 2021-03-16 | Information processing system, information processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022142623A (en) |
-
2021
- 2021-03-16 JP JP2021042868A patent/JP2022142623A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108725440B (en) | Forward collision control method and apparatus, electronic device, program, and medium | |
| JP6695503B2 (en) | Method and system for monitoring the condition of a vehicle driver | |
| US9805266B2 (en) | System and method for video content analysis using depth sensing | |
| US10009579B2 (en) | Method and system for counting people using depth sensor | |
| US9536153B2 (en) | Methods and systems for goods received gesture recognition | |
| WO2017159060A1 (en) | Information processing device, control method, and program | |
| US20190294890A1 (en) | Method and apparatus for surveillance | |
| US9177214B1 (en) | Method and apparatus for an adaptive threshold based object detection | |
| CN108363953B (en) | Pedestrian detection method and binocular monitoring equipment | |
| JP6549400B2 (en) | System and method for video-based detection of drive and pedestrian walk-offs in trains of vehicles and pedestrians | |
| KR101667835B1 (en) | Object localization using vertical symmetry | |
| CN106937532A (en) | System and method for detecting actual user | |
| CN111160220A (en) | Deep learning-based parcel detection method and device and storage medium | |
| Pramerdorfer et al. | Fall detection based on depth-data in practice | |
| Ziran et al. | A contactless solution for monitoring social distancing: A stereo vision enabled real-time human distance measuring system | |
| JP7069725B2 (en) | Suspicious person detection device, suspicious person detection method and computer program for suspicious person detection | |
| Peláez et al. | Road detection with thermal cameras through 3D information | |
| Shinmura et al. | Estimation of Human Orientation using Coaxial RGB-Depth Images. | |
| KR20170007070A (en) | Method for visitor access statistics analysis and apparatus for the same | |
| CN106651921B (en) | Motion detection method and method for avoiding and tracking moving target | |
| Yun et al. | Video-based detection and analysis of driver distraction and inattention | |
| JP7263094B2 (en) | Information processing device, information processing method and program | |
| JP2022142623A (en) | Information processing system, information processing method and program | |
| Hariyono et al. | Estimation of collision risk for improving driver's safety | |
| KR102407202B1 (en) | Apparatus and method for intelligently analyzing video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240301 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20240301 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240326 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240527 |