JP2012186536A - Electronic device and grouping method - Google Patents
Electronic device and grouping method Download PDFInfo
- Publication number
- JP2012186536A JP2012186536A JP2011046397A JP2011046397A JP2012186536A JP 2012186536 A JP2012186536 A JP 2012186536A JP 2011046397 A JP2011046397 A JP 2011046397A JP 2011046397 A JP2011046397 A JP 2011046397A JP 2012186536 A JP2012186536 A JP 2012186536A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- electronic device
- rhythm information
- information
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、電子機器及びグループ化方法に関するものである。 The present invention relates to an electronic device and a grouping method.
従来、入力画像間の類似性を評価することによって入力画像をグループ化する撮像装置が開示されている（例えば、特許文献１参照）。 Conventionally, an imaging apparatus that groups input images by evaluating the similarity between the input images has been disclosed (see, for example, Patent Document 1).
しかしながら、特許文献１に開示された撮像装置は、撮像画像内のオブジェクトをグループ化できないという問題がある。従って、例えば、オブジェクトをグループ化した場合に実現され得る種々の応用処理（例えば、人物のオブジェクトをグループ化の対象とし、同一グループにグループ化された人物が使用する電子機器が、同様に音声出力し、同様に発光し、又は、同様に振動するように設定）を実現することができないという問題がある。
本発明は、上記問題に鑑みてなされたものであり、オブジェクト（例えば、ユーザ）を簡便にグループ化する技術を提供する。
However, the imaging device disclosed in
The present invention has been made in view of the above problems, and provides a technique for easily grouping objects (for example, users).
上記問題を解決するために、本発明の一態様である電子機器は、撮像画像内のオブジェクトの時間的又は空間的な変化のパターンを表すリズム情報を取得する取得部と、前記取得部によって取得された各オブジェクトの前記リズム情報の類似度を算出する算出部と、 前記算出部によって算出された各オブジェクトの前記リズム情報の類似度に基づいて、前記各オブジェクトをグループ化するグループ化情報を生成するグループ化部とを備えることを特徴とする。 In order to solve the above-described problem, an electronic device according to one embodiment of the present invention acquires a rhythm information representing a temporal or spatial change pattern of an object in a captured image, and the acquisition unit acquires the rhythm information. A calculation unit that calculates the similarity of the rhythm information of each object, and generates grouping information for grouping the objects based on the similarity of the rhythm information of each object calculated by the calculation unit And a grouping unit.
上記電子機器において、前記取得部は、撮像部と、前記撮像部によって撮像された撮像画像内のオブジェクトの前記リズム情報を抽出する抽出部とを有し、前記算出部は、前記抽出部によって抽出された第１の他の人物の前記リズム情報と第２の他の人物の前記リズム情報との類似度を算出し、前記グループ化部は、前記算出部によって算出された前記第１の他の人物の前記リズム情報と前記第２の他の人物の前記リズム情報との類似度が所定の閾値以上である場合に、前記第１の他の人物と前記第２の他の人物を同一グループにグループ化するようにしてもよい。 In the electronic apparatus, the acquisition unit includes an imaging unit and an extraction unit that extracts the rhythm information of an object in a captured image captured by the imaging unit, and the calculation unit is extracted by the extraction unit. And calculating the similarity between the rhythm information of the first other person and the rhythm information of the second other person, and the grouping unit calculates the first other person calculated by the calculation unit. When the similarity between the rhythm information of a person and the rhythm information of the second other person is greater than or equal to a predetermined threshold, the first other person and the second other person are grouped together. You may make it group.
上記電子機器において、前記取得部は、当該電子機器の筐体の動きを検出する検出部と、撮像部と、前記撮像部によって撮像された撮像画像内のオブジェクトの前記リズム情報を抽出する抽出部とを有し、前記算出部は、前記検出部によって検出された当該電子機器の筐体の動きを示す動き情報を当該電子機器のユーザの前記リズム情報とし、当該電子機器のユーザの前記リズム情報と前記抽出部によって抽出された他の人物の前記リズム情報との類似度を算出し、前記グループ化部は、前記算出部によって算出された当該電子機器のユーザの前記リズム情報と前記他の人物の前記リズム情報との類似度が所定の閾値以上である場合に、当該電子機器のユーザと前記他の人物を同一グループにグループ化するようにしてもよい。 In the electronic device, the acquisition unit includes a detection unit that detects a movement of a casing of the electronic device, an imaging unit, and an extraction unit that extracts the rhythm information of an object in a captured image captured by the imaging unit. And the calculation unit uses the movement information indicating the movement of the casing of the electronic device detected by the detection unit as the rhythm information of the user of the electronic device, and the rhythm information of the user of the electronic device. And the rhythm information of the other person extracted by the extraction unit is calculated, and the grouping unit calculates the rhythm information of the user of the electronic device calculated by the calculation unit and the other person. When the similarity to the rhythm information is equal to or greater than a predetermined threshold, the user of the electronic device and the other person may be grouped into the same group.
上記電子機器は、前記グループ化部によって同一グループにグループ化された他の人物と通信するための接続情報を表示する表示部を更に備えるようにしてもよい。 The electronic apparatus may further include a display unit that displays connection information for communicating with other persons grouped in the same group by the grouping unit.
上記電子機器は、前記グループ化部によって同一グループにグループ化された人物の携帯する電子機器が、同様に音声出力し、同様に発光し、又は、同様に振動するように、他の電子機器に動作制御情報を送信する送信部を更に備えるようにしてもよい。 The electronic device is connected to another electronic device so that the electronic devices carried by the persons grouped in the same group by the grouping unit similarly output sound, emit light similarly, or vibrate similarly. You may make it further provide the transmission part which transmits operation | movement control information.
上記問題を解決するために、本発明の他の態様であるグループ化方法は、撮像画像内のオブジェクトをグループ化する電子機器におけるグループ化方法であって、前記電子機器の取得手段が、撮像画像内のオブジェクトの時間的又は空間的な変化のパターンを表すリズム情報を取得し、前記電子機器の算出手段が、前記取得手段によって取得された各オブジェクトの前記リズム情報の類似度を算出し、前記電子機器のグループ化手段が、前記算出手段によって算出された各オブジェクトの前記リズム情報の類似度に基づいて、前記各オブジェクトをグループ化するグループ化情報を生成することを特徴とする。 In order to solve the above problem, a grouping method according to another aspect of the present invention is a grouping method in an electronic device that groups objects in a captured image, and the acquisition unit of the electronic device includes a captured image. Acquiring rhythm information representing a temporal or spatial change pattern of an object in the electronic device, the calculation means of the electronic device calculates the similarity of the rhythm information of each object acquired by the acquisition means, The grouping means of the electronic device generates grouping information for grouping the objects based on the similarity of the rhythm information of the objects calculated by the calculation means.
本発明によれば、オブジェクトを簡便にグループ化することができる。 According to the present invention, objects can be easily grouped.
以下、図面を参照しながら本発明の一実施形態について説明する。図１は、本発明の一実施形態による電子機器１の処理の概要を説明するための模式図である。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a schematic diagram for explaining an outline of processing of the
電子機器１（例えば、携帯型電子機器）は、電子機器（例えば、携帯型電子機器）を使用するユーザをグループ化する。
例えば、電子機器１は、図１（ａ）に示すように、自電子機器１の周辺に存在する複数の他の電子機器１００のユーザをグループ化する（なお、図１においてユーザは非図示、図１３も同様）。
即ち、電子機器１は、破線に図示する様に、自電子機器１のユーザを除く、複数の電子機器１００のユーザをグループ化の対象とする。
また例えば、電子機器１は、図１（ｂ）に示すように、自電子機器１のユーザ、及び、自電子機器１の周辺に存在する複数の他の電子機器１００のユーザをグループ化する。即ち、電子機器１は、破線に図示する様に、自電子機器１のユーザを含む、複数の電子機器（電子機器１及び電子機器１００）のユーザをグループ化の対象とする。
The electronic device 1 (for example, portable electronic device) groups users who use the electronic device (for example, portable electronic device).
For example, as shown in FIG. 1A, the
In other words, the
Further, for example, as shown in FIG. 1B, the
なお、電子機器１及び複数の他の電子機器１００の夫々は、例えば、所定の距離内に接近したときに、通信によって、互いの接続情報（後述）を自動的に交換するものとする。
Note that each of the
以下、図１（ａ）に示す態様（自電子機器１のユーザを除く、複数の電子機器１００のユーザをグループ化の対象とする態様）について説明する。なお、図１（ｂ）に示す態様（自電子機器１のユーザを含む、複数の電子機器（電子機器１及び電子機器１００）のユーザをグループ化の対象とする態様）については後述する。
In the following, the mode shown in FIG. 1A (a mode in which users of a plurality of
図２は、電子機器１の一例を示す構成図である。図３は、電子機器１が取得又は記憶する情報の一例である。電子機器１は、図２（ａ）に示すように、取得部１０、算出部２０、グループ化部３０、表示部４０、送信部５０、動作制御部６０、リズム情報記憶部９０、接続情報記憶部９２、グループ化情報記憶部９４、及び、動作制御情報記憶部９６を備える。
FIG. 2 is a configuration diagram illustrating an example of the
取得部１０は、図２（ｂ）に示すように、撮像部１４及び抽出部１６を有する。なお、取得部１０は、図２（ｃ）に示すように、撮像部１４及び抽出部１６に加え検出部１２を有してもよい。但し、図１（ａ）に示す態様の場合、撮像部１４及び検出部１２は必須でないため、検出部１２を有しないものとして説明する。
The
取得部１０は、撮像画像内のオブジェクトのリズム情報を取得する。具体的には、取得部１０の抽出部１６が、取得部１０の撮像部１４によって撮像された撮像画像内のオブジェクトのリズム情報を抽出（生成）する。なお、リズム情報を抽出する元となるオブジェクトは特に限定するものではないが、原則（図８乃至図１１における説明を除き）、人物に係るオブジェクトのリズム情報を抽出するものとする。また、当該人物は、他の電子機器１００を携帯しているものとする。なお、リズム情報、及び、リズム情報の抽出については、図５乃至図１１を用いて詳細に説明する。
The
また、取得部１０は、非図示の受信部を有し、撮像画像内のオブジェクトである人物が携帯している他の電子機器１００の機器ＩＤ及び接続情報を取得（受信）する。機器ＩＤは、電子機器１００の夫々を識別するための識別情報である。接続情報は、電子機器１００の夫々と通信するための情報であって、例えば、プロトコルに係る情報、アドレス情報などである。例えば、撮像画像中のオブジェクトである人物の位置（及び大きさ）から、当該人物の存在する方向（及び距離）を算出し、当該人物が携帯している他の電子機器１００から機器ＩＤ及び接続情報を取得する。
The
オブジェクト（人物）のリズム情報を取得した取得部１０は、当該リズム情報をリズム情報記憶部９０に記憶する。具体的には、取得部１０は、図３（ａ）に示すように、オブジェクト（人物）のリズム情報を、当該オブジェクトである人物が携帯している他の電子機器１０の機器ＩＤに対応付けて記憶する。
The
また、リズム情報を取得した取得部１０は、図３（ｂ）に示すように、機器ＩＤに対応付けて接続情報を接続情報記憶部９２に記憶する。なお、取得部１０は、オブジェクト（人物）のリズム情報を取得する前に、既に、当該人物が携帯している他の電子機器１００の機器ＩＤ及び接続情報を取得（交換）していた場合には、当該取得（交換）時に、機器ＩＤに対応付けて接続情報を記憶してもよい。
Moreover, the
算出部２０は、リズム情報記憶部９０に記憶されている複数のリズム情報の類似度を算出する。即ち、算出部２０は、取得部１０（抽出部１６）によって抽出された第１のオブジェクト（第１の他の人物）のリズム情報と、第２のオブジェクト（第２の他の人物）のリズム情報との類似度を算出する。なお、類似度の算出については、図５乃至図１１を用いて詳細に説明する。
The
なお、算出部２０が類似度の算出を開始するタイミングは特に限定しないが、例えば、算出部２０は、操作受付部（非図示）が所定のユーザ操作を受け付けたときに、類似度を算出してもよい。
The timing at which the
上述の如く、類似度を算出した算出部２０は、類似度の算出結果をグループ化部３０に出力する。
As described above, the
グループ化部３０は、算出部２０によって算出されたリズム情報（即ち、撮像画像内に撮像されている人物に係るオブジェクトのリズム情報）の類似度に基づいて、オブジェクトである人物をグループ化する。換言すれば、グループ化部３０は、算出部２０によって算出された類似度の算出結果に基づいて、他の電子機器１００のユーザをグループ化し、グループ化の結果であるグループ化情報（後述）を生成する。より詳細には、グループ化部３０は、算出部２０によって算出された第１の他の撮像装置１００のユーザ（第１の他の人物）のリズム情報と、第２の他の撮像装置１００のユーザ（第２の他の人物）のリズム情報が所定の閾値以上である場合に、第１の他の人物と第２の他の人物を同一グループにグループ化する。
The
例えば、グループ化部３０は、電子機器Ａのユーザのリズム情報と電子機器Ｂのユーザのリズム情報との類似度が所定の閾値以上であって、かつ、電子機器Ａのユーザのリズム情報と電子機器Ｃのユーザのリズム情報との類似度が所定の閾値以上であって、かつ、電子機器Ｂのユーザのリズム情報と電子機器Ｃのユーザのリズム情報との類似度が所定の閾値以上である場合に、電子機器Ａ、Ｂ、Ｃのユーザを同一グループにグループ化する。つまり、グループ化部３０は、電子機器Ａのユーザのリズム情報と電子機器Ｂのユーザのリズム情報との類似度が所定の閾値以上であって、かつ、電子機器Ｂのユーザのリズム情報と電子機器Ｃのユーザのリズム情報との類似度が所定の閾値以上であっても、電子機器Ａのユーザのリズム情報と電子機器Ｃのユーザのリズム情報との類似度が所定の閾値以上でない場合には、電子機器Ａ、Ｂ、Ｃのユーザを同一グループにグループ化しない。
For example, the
なお、グループ化部３０は、電子機器Ａのユーザのリズム情報と電子機器Ｂのユーザのリズム情報との類似度が所定の閾値以上であって、かつ、電子機器Ｂのユーザのリズム情報と電子機器Ｃのユーザのリズム情報との類似度が所定の閾値以上であって、かつ、電子機器Ａのユーザのリズム情報と電子機器Ｃのユーザのリズム情報との類似度が所定の閾値以上でない場合には、電子機器Ａのユーザのリズム情報と電子機器Ｂのユーザのリズム情報との類似度と、電子機器Ｂのユーザのリズム情報と電子機器Ｃのユーザのリズム情報との類似度とを比較し、電子機器Ａか電子機器Ｃの何れの一方と、電子機器Ｂとを同一グループにグループ化してもよい。
The
即ち、グループ化部３０は、電子機器Ａのユーザのリズム情報と電子機器Ｂのユーザのリズム情報との類似度が、電子機器Ｂのユーザのリズム情報と電子機器Ｃのユーザのリズム情報との類似度よりも高い場合には、電子機器Ａ、Ｂのユーザを同一グループにグループ化し、電子機器Ｂのユーザのリズム情報と電子機器Ｃのユーザのリズム情報との類似度が、電子機器Ａのユーザのリズム情報と電子機器Ｂのユーザのリズム情報との類似度よりも高い場合には、電子機器Ｂ、Ｃのユーザを同一グループにグループ化してもよい。
That is, the
なお、グループ化部３０がグループ化を開始するタイミングは特に限定しないが、例えば、グループ化部３０は、算出部２０から類似度の算出結果を取得したときに、グループ化をしてもよい。
Although the timing at which the
上述の如く、複数の他の電子機器１００のユーザをグループ化したグループ化部３０は、グループ化情報をグループ化情報記憶部９４に記憶する。例えば、グループ化部３０は、図３（ｃ）に示すように、グループ化情報として、グループＩＤと所属機器情報とを対応付けてグループ化情報記憶部９４に記憶する。グループＩＤは、グループの夫々を識別するための識別情報である。所属機器情報は、当該グループに所属するユーザの電子機器１００（即ち、当該グループにグループ化されたユーザが携帯している電子機器１００）を識別する機器ＩＤを含む情報である。
As described above, the
なお、図３（ｃ）に示す例は、グループＩＤと所属機器情報とを対応付けて記憶する態様であるが、機器ＩＤを取得する際に機器ＩＤに代えて又は加えてユーザＩＤを取得しておくことにより、グループＩＤとユーザＩＤとを対応付けて記憶してもよい。 The example shown in FIG. 3C is a mode in which the group ID and the belonging device information are stored in association with each other, but when acquiring the device ID, a user ID is acquired instead of or in addition to the device ID. Thus, the group ID and the user ID may be stored in association with each other.
表示部４０は、種々の情報を表示する。例えば、表示部４０は、グループ化部３０によって同一グループにグループ化されたユーザが携帯している他の電子機器１００と通信するための接続情報を表示する。具体的には、表示部４０は、接続情報記憶部９２とグループ化情報記憶部９４とを参照し、グループ別に、当該グループにグループ化されたユーザが携帯している他の電子機器１００の機器ＩＤと、当該他の電子機器１００と通信するための接続情報とを表示する。なお、表示部４０は、接続情報を表示せずに、グループ別に、機器ＩＤのみを表示してもよい。
The
なお、表示部４０が上述の表示を開始するタイミングは特に限定しないが、例えば、表示部４０は、グループ化情報がグループ化情報記憶部９４に記憶されたときに表示してもよい。また、表示部４０は、操作受付部（非図示）が所定のユーザ操作を受け付けたときに表示してもよい。
The timing at which the
また、表示部４０は、動作制御情報記憶部９６に記憶されている動作制御情報を表示する。図３（ｄ）は、動作制御情報記憶部９６に記憶されている動作制御情報の一例である。
Further, the
動作制御情報は、電子機器１、１００の動作を制御するための制御情報であって、例えば、図３（ｄ）に示すように、音声出力を制御するための音声出力制御情報、発光を制御する発光制御情報、振動を制御するための振動制御情報の何れか１以上の制御情報を含む。また、各制御情報（音声出力制御情報、発光制御情報、振動制御情報）は夫々、複数の設定可能値（若しくは、設定可能範囲）を有する。なお、図３（ｄ）に示す動作制御情報は、一例であって、電子機器１、１００の他の動作を制御するため他の制御情報を含むものであってもよい。
The operation control information is control information for controlling the operations of the
なお、表示部４０が動作制御情報の表示を開始するタイミングは特に限定しないが、例えば、表示部４０は、操作受付部（非図示）が所定のユーザ操作を受け付けたときに、動作制御情報を表示してもよい。例えば、送信部５０が動作制御情報を送信する前に、表示部４０は、送信する値（設定値）を確認するためのボタン（操作受付部に相当）を表示し、当該ボタンの押下により、送信前に、送信する値を表示してもよい。
The timing at which the
送信部５０は、種々の情報を送信する。例えば、送信部５０は、グループ化情報を他の電子機器１００に送信する。具体的には、送信部５０は、グループ化情報記憶部９４を参照し、グループ別に、当該グループにグループ化されたユーザが携帯している他の電子機器１００の夫々に対し、当該グループに属するユーザが携帯している他の電子機器１００の機器ＩＤを送信する。
The
また、送信部５０は、グループ化部３０によって同一グループにグループ化されたユーザが携帯している複数の電子機器１００が、同様に音声出力し、同様に発光し、又は、同様に振動するように、他の電子機器１００に動作制御情報を送信する。具体的には、送信部５０は、接続情報記憶部９２とグループ化情報記憶部９４と動作制御情報記憶部９６とを参照し、グループ別に、当該グループにグループ化されたユーザが携帯している他の電子機器１００の夫々が、同様に音声出力し、同様に発光し、又は、同様に振動するように、各グループにグループ化された夫々の他の電子機器１００に動作制御情報を送信する。
Further, the
例えば、送信部５０は、グループＧ１にグループ化されたユーザが携帯している複数の電子機器１００の夫々に対し、同一の設定値（例えば、設定値ａ）の音声出力制御情報を送信し、グループＧ２にグループ化されたユーザが携帯している複数の電子機器１００の夫々に対し、同一の設定値（例えば、設定値ｂ）の音声出力制御情報を送信する。これにより、グループＧ１にグループ化されたユーザが携帯している電子機器１００の夫々は、設定値ａによる制御に従って音声を出力し、グループＧ２にグループ化されたユーザが携帯している電子機器１００の夫々は、設定値ｂによる制御に従って音声を出力するようになる。発光制御情報、又は、振動制御情報を送信する場合も同様である。
For example, the
なお、送信部５０が動作制御情報の送信を開始するタイミングは特に限定しないが、例えば、送信部５０は、操作受付部（非図示）が所定のユーザ操作を受け付けたときに、動作制御情報を送信してもよい。
The timing at which the
動作制御部６０は、動作制御情報記憶部９６に記憶されている動作制御情報に基づいて、種々の動作を制御する。例えば、音声出力制御情報の設定可能値のうち設定部（非図示）によって設定された設定値に従って音声を出力するように制御し、発光制御情報の設定可能値のうち設定部（非図示）によって設定された設定値に従って発光するように制御し、振動制御情報の設定可能値のうち設定部（非図示）によって設定された設定値に従って振動するように制御する。
The
なお、設定部（非図示）は、操作受付部（非図示）が設定値を指定するユーザ操作を受け付けたときに、当該設定値を動作制御情報記憶部９６に記憶する。
The setting unit (not shown) stores the setting value in the operation control
続いて、電子機器１によるグループ化の対象である他のユーザが携帯している他の電子機器１００について説明する。図４は、他の電子機器１００の一例を示す構成図である。他の電子機器１００は、図４に示すように、表示部１４０、送受信部１５０、動作制御部１６０、及び、動作制御情報記憶部１９６を備える。また、他の電子機器１００は、上記に加え、静止画像及び動画像を撮像する撮像部（非図示）を備えていてもよい。なお、図４は、電子機器１００の他の構成である（後述）。
Next, another
送受信部１５０は、他の電子機器（電子機器１、他の電子機器１００）との間で種々の情報を送受信する。例えば、送受信部１５０は、当該電子機器１００の機器ＩＤ及び接続情報を他の電子機器（電子機器１、電子機器１００）に送信する。
The transmission /
また例えば、送受信部１５０は、グループ化情報を電子機器１から受信する。送受信部１５０は、グループ化情報を受信した場合に、受信したグループ化情報を表示部１４０に出力する。
For example, the transmission /
また例えば、送受信部１５０は、設定値を含む動作制御情報を電子機器１から受信する。送受信部１５０は、動作制御情報を受信した場合、設定部（非図示）を介して、当該動作制御情報の設定値を、動作制御情報記憶部１９６に記憶（更新）する。なお、動作制御情報記憶部１９６の構成は、電子機器１の動作制御情報記憶部９６と同様である（図３（ｄ）参照）。
For example, the transmission /
表示部１４０は、種々の情報を表示する。例えば、電子機器１から受信したグループ化情報、動作制御情報を表示する。
The
動作制御部１６０は、動作制御情報記憶部１９６に記憶されている動作制御情報に基づいて、種々の動作を制御する。例えば、音声出力制御情報の設定可能値のうち設定部（非図示）によって設定された設定値に従って音声を出力するように制御し、発光制御情報の設定可能値のうち設定部（非図示）によって設定された設定値に従って発光するように制御し、振動制御情報の設定可能値のうち設定部（非図示）によって設定された設定値に従って振動するように制御する。
The
つまり、電子機器１から送信された動作制御情報（設定値）を受信した他の電子機器１００は、当該動作制御情報（設定値）に従って動作する。従って、同一グループにグループ化されたユーザが携帯している夫々の電子機器１００に、同一の設定値の音声出力制御情報を送信すれば、これらの電子機器は同様に音声を出力し、同一の設定値の発光制御情報を送信すれば、これらの電子機器は同様に発光し、同一の設定値の振動制御情報を送信すれば、これらの電子機器は同様に振動する。
That is, the other
以下、図５乃至図１１を用いて、オブジェクトの時間的又は空間的な変化のパターンを表すリズム情報、オブジェクトの時間的又は空間的な変化のパターンを表すリズム情報の抽出、オブジェクトの時間的又は空間的な変化のパターンを表すリズム情報における類似度の算出について詳細に説明する。具体的には、まず、図５乃至図７を用いて、オブジェクトの時間的な変化のパターンを表すリズム情報、オブジェクトの時間的な変化のパターンを表すリズム情報の抽出、オブジェクトの時間的な変化のパターンを表すリズム情報における類似度の算出について詳細に説明し、続いて、図８乃至図１１を用いて、オブジェクトの空間的な変化のパターンを表すリズム情報、オブジェクトの空間的な変化のパターンを表すリズム情報の抽出、オブジェクトの空間的な変化のパターンを表すリズム情報における類似度の算出について詳細に説明する。 Hereinafter, with reference to FIG. 5 to FIG. 11, extraction of rhythm information representing a temporal or spatial change pattern of an object, extraction of rhythm information representing a temporal or spatial change pattern of an object, The calculation of the similarity in the rhythm information representing the spatial change pattern will be described in detail. Specifically, first, using FIG. 5 to FIG. 7, extraction of rhythm information indicating a temporal change pattern of an object, extraction of rhythm information indicating a temporal change pattern of the object, and temporal change of the object The calculation of the similarity in the rhythm information representing the pattern of the object will be described in detail, and then the rhythm information representing the pattern of the spatial change of the object and the pattern of the spatial change of the object will be described with reference to FIGS. The extraction of the rhythm information representing the rhythm information and the calculation of the similarity in the rhythm information representing the spatial change pattern of the object will be described in detail.
図５乃至図７は、オブジェクトの時間的な変化のパターンを表すリズム情報、当該リズム情報の抽出、当該リズム情報における類似度の算出について説明するための説明図である。 5 to 7 are explanatory diagrams for explaining rhythm information representing a temporal change pattern of an object, extraction of the rhythm information, and calculation of similarity in the rhythm information.
電子機器１の抽出部１６は、撮像部１４によって撮像された動画像から人物に係るオブジェクトを抽出し、抽出した人物に係るオブジェクトに外接する外接図形の面積の変化量、長辺又は短辺の長さの変化量、縦横比の変化量、面積の変化の周期、長さの変化の周期、又は、縦横比の変化の周期を用いて、オブジェクトの時間的な変化のパターンを表すリズム情報を抽出（生成）する。
The
例えば、抽出部１６は、以下に例示するパラメータ１〜１２（以下、ｐｒｍ１〜ｐｒｍ１２と表記）のうち１以上のパラメータの値を用いて、オブジェクトの時間的な変化のパターンを表すリズム情報を抽出する。なお、ｐｒｍ１〜ｐｒｍ１２における所定時間は、例えば、外接矩形の変化の周期を基準とする時間（例えば１周期）である。また、ｐｒｍ７−１〜ｐｒｍ９−２における長辺及び短辺は、ある基準時刻（例えば、１周期の最初）の長さに基づいて決定する。また、単に、便宜上、Ｙ軸方向（若しくはＸ軸方向）を長辺として決めておいてもよい。
（リズム情報を構成するパラメータ）
ｐｒｍ１：所定時間内における外接矩形の最大面積と最小面積の差
ｐｒｍ２：所定時間内における外接矩形の最大面積と最小面積の面積比
ｐｒｍ３−１：所定時間内における外接矩形の平均面積と最大面積の差
ｐｒｍ３−２：所定時間内における外接矩形の平均面積と最小面積の差
ｐｒｍ４−１：所定時間内における外接矩形の平均面積と最大面積の面積比
ｐｒｍ４−２：所定時間内における外接矩形の平均面積と最小面積の面積比
ｐｒｍ５：所定時間内における外接矩形の面積の分布状況（例：標準偏差）
ｐｒｍ６：所定時間内における外接矩形の面積の変化の周期
ｐｒｍ７−１：所定時間内における外接矩形の長辺の最大変化量
ｐｒｍ７−２：所定時間内における外接矩形の短辺の最大変化量
ｐｒｍ８−１：所定時間内における外接矩形の長辺の分布状況（例：標準偏差）
ｐｒｍ８−２：所定時間内における外接矩形の短辺の分布状況（例：標準偏差）
ｐｒｍ９−１：所定時間内における外接矩形の長辺の変化の周期
ｐｒｍ９−２：所定時間内における外接矩形の短辺の変化の周期
ｐｒｍ１０：所定時間内における外接矩形の縦横比の最大変化量
ｐｒｍ１１：所定時間内における外接矩形の縦横比の分布状況（例：標準偏差）
ｐｒｍ１２：所定時間内における外接矩形の縦横比の変化の周期
For example, the
(Parameters that make up rhythm information)
prm1: difference between the maximum area and the minimum area of the circumscribed rectangle within a predetermined time prm2: area ratio between the maximum area and the minimum area of the circumscribed rectangle within a predetermined time prm3-1: the average area and the maximum area of the circumscribed rectangle within a predetermined time Difference prm3-2: Difference between average area and minimum area of circumscribed rectangle within a predetermined time prm4-1: Area ratio between average area and maximum area of circumscribed rectangle within a predetermined time prm4-2: Average of circumscribed rectangle within a predetermined time Area ratio of area to minimum area prm5: Distribution of circumscribed rectangle area within a predetermined time (example: standard deviation)
prm6: Period of change in area of circumscribed rectangle within a predetermined time prm7-1: Maximum change amount of long side of circumscribed rectangle within a predetermined time prm7-2: Maximum change amount of short side of circumscribed rectangle within a predetermined time prm8− 1: Longitudinal distribution of circumscribed rectangles within a specified time (example: standard deviation)
prm8-2: Distribution of short sides of circumscribed rectangle within a predetermined time (example: standard deviation)
prm9-1: period of change of the long side of the circumscribed rectangle within a predetermined time prm9-2: period of change of the short side of the circumscribed rectangle within a predetermined time prm10: maximum change amount prm11 of the aspect ratio of the circumscribed rectangle within the predetermined time : Circumference rectangle aspect ratio distribution within a specified time (eg, standard deviation)
prm12: Period of change in aspect ratio of circumscribed rectangle within a predetermined time
以下、具体例を用いて抽出部１６によるリズム情報の抽出について説明する。図５（ａ）に示すＰ１は、動画像を構成する１コマであって、人物（オブジェクトＯ１）が上体を左右に揺らしているときに一方側に最も上体を傾けている瞬間に撮像されたものである。図５（ｃ）に示すＰ３は、動画像を構成する１コマであって、人物（オブジェクトＯ１）が上体を左右に揺らしているときに他方側に上体を最も傾けている瞬間に撮像されたものである。図５（ｂ）に示すＰ２は、Ｐ１とＰ３の間の１コマである。
Hereinafter, extraction of rhythm information by the
図６（ａ）に示すＥ１は、図５（ａ）に示すＰ１内のオブジェクトＯ１に外接する外接矩形である。図６（ｂ）に示すＥ２は、図５（ｂ）に示すＰ２内のオブジェクトＯ１に外接する外接矩形である。図６（ｃ）に示すＥ３は、図５（ｃ）に示すＰ３内のオブジェクトＯ１に外接する外接矩形である。図６（ｄ）は、外接矩形Ｅ１、Ｅ２、Ｅ３の各サイズを比較したものである。図６（ｄ）における、Ｅ１．５は、図５（ａ）の瞬間から図５（ｂ）の瞬間の間の一の瞬間におけるオブジェクトＯ１に外接する外接矩形、Ｅ２．５は、図５（ｃ）の瞬間から図５（ｂ）の瞬間の間の一の瞬間におけるオブジェクトＯ１に外接する外接矩形である。図６（ｄ）に示すように、オブジェクトの動きに応じて当該オブジェクトに外接する外接矩形の形状は変化する。 Figure 6 E 1 shown in (a) is a circumscribed rectangle circumscribing the object O 1 in the P 1 shown in Figure 5 (a). E 2 shown in FIG. 6B is a circumscribed rectangle circumscribing the object O 1 in P 2 shown in FIG. 5B. E 3 shown in FIG. 6C is a circumscribed rectangle circumscribing the object O 1 in P 3 shown in FIG. 5C. FIG. 6D compares the sizes of the circumscribed rectangles E 1 , E 2 , and E 3 . In FIG. 6D, E 1.5 is a circumscribed rectangle circumscribing the object O 1 at one instant between the instant of FIG. 5A and the instant of FIG. 5B, and E 2.5 is It is a circumscribed rectangle circumscribing the object O 1 at one moment between the moment of FIG. 5C and the moment of FIG. 5B. As shown in FIG. 6D, the shape of the circumscribed rectangle that circumscribes the object changes according to the movement of the object.
抽出部１６は、動画像（Ｐ１、Ｐ２、Ｐ３、…）から、オブジェクトＯ１を逐次抽出し、図７（ａ）に示すように、オブジェクトＯ１に外接する外接図形を逐次抽出し、図７（ｂ）に示すように、逐次抽出する外接矩形のサイズを算出する。なお、図７（ａ）に示す「周期」は、外接矩形の形状の変化の周期を示している。つまり、時刻ｔ１〜時刻ｔ４（時刻ｔ５〜時刻ｔ８、時刻ｔ９〜時刻ｔ１３、…）が１周期である。
The
抽出部１６は、外接矩形のサイズを用いて、所定の１以上のパラメータを算出し、算出した各パラメータの値を要素とする数値群を、オブジェクトＯ１の時間的な変化のパターンを表すリズム情報とする。例えば、抽出部１６は、図７（ｃ）に示すように、オブジェクトＯ１の外接矩形の最大面積と最小面積の面積比（ｐｒｍ２）、面積の変化の周期（ｐｒｍ６）、長辺の最大変化量（ｐｒｍ７−１）、短辺の最大変化量（ｐｒｍ７−１）、縦横比の最大変化量（ｐｒｍ１０）の値を要素とする数値群を、オブジェクトＯ１の時間的な変化のパターンを表すリズム情報Ｒ１（ｐｒｍ２、ｐｒｍ６、ｐｒｍ７−１、ｐｒｍ７−２、ｐｒｍ１０）とする。
The
なお、リズム情報は、後に、比較をし易いように、各パラメータの値を適宜丸めたものであってもよいし、各パラメータの値を他の値に置き換えたものであってもよい（スコア化してもよい）。 The rhythm information may be obtained by appropriately rounding the value of each parameter for easy comparison later, or by replacing the value of each parameter with another value (score May be used).
抽出部１６が、上述の如く、各パラメータの値を要素とする数値群から構成されるリズム情報を抽出した場合、算出部２０は、抽出部１６によって抽出された第１の他の人物（オブジェクト）のリズム情報と第２の他の人物（オブジェクト）のリズム情報との類似度を算出する。具体的には、算出部２０は、リズム情報を構成する同一のパラメータ同士の類似度を算出し、複数の、同一のパラメータ同士の類似度に基づいて、第１の他の人物のリズム情報と、第２の他の人物のリズム情報との類似度を算出する。
As described above, when the
例えば、リズム情報が、ｐｒｍ２、ｐｒｍ６、ｐｒｍ７−１、ｐｒｍ７−２、ｐｒｍ１０から構成されている場合、算出部２０は、第１の他の人物のリズム情報を構成するｐｒｍ２の値と第２の他の人物のリズム情報を構成するｐｒｍ２の値とを比較してｐｒｍ２の値同士の類似度を算出する。同様に、算出部２０は、ｐｒｍ６の値同士の類似度、ｐｒｍ７−１の値同士の類似度、ｐｒｍ７−２の値同士の類似度、ｐｒｍ１０の値同士の類似度を算出する。
For example, when the rhythm information is composed of prm2, prm6, prm7-1, prm7-2, and prm10, the
ｐｒｍ２（ｐｒｍ６、ｐｒｍ７−１、ｐｒｍ７−２、ｐｒｍ１０も同様）の値同士の類似度の算出手法としては種々の算出手法が考えられるが、一例として、算出部２０は、第１の他の人物のリズム情報を構成するｐｒｍ２の値と、第１の他の人物のリズム情報を構成するｐｒｍ２の値とを比較し、値の小さい一方を大きい他方で除した値をｐｒｍ２の値同士の類似度としてもよい。当該算出手法の場合、パラメータの値同士の類似度は０〜１の範囲となり、類似している程、１に近い値となる。
Although various calculation methods can be considered as a calculation method of the degree of similarity between the values of prm2 (same as prm6, prm7-1, prm7-2, and prm10), as an example, the
また、各パラメータの値同士の類似度に基づいて、第１の他の人物のリズム情報と、第２の他の人物のリズム情報との類似度を算出する算出手法としては、種々の算出手法が考えられるが、一例として、算出部２０は、各パラメータ同士の類似度の平均値を第１の他の人物のリズム情報と、第２の他の人物のリズム情報との類似度としてもよい。即ち、上記の例では、算出部２０は、ｐｒｍ２の値同士の類似度、ｐｒｍ６の値同士の類似度、ｐｒｍ７−１の値同士の類似度、ｐｒｍ７−２の値同士の類似度、ｐｒｍ１０の値同士の類似度の平均値を、第１の他の人物のリズム情報と、第２の他の人物のリズム情報との類似度としてもよい。当該算出手法の場合、第１の他の人物のオブジェクトのリズム情報と、第２の他の人物のオブジェクトのリズム情報との類似度は０〜１の範囲となり、類似している程、１に近い値となる。
Various calculation methods may be used as calculation methods for calculating the similarity between the rhythm information of the first other person and the rhythm information of the second other person based on the similarity between the values of the parameters. However, as an example, the
なお、上述の平均値の算出時において、所定のパラメータ同士の類似度に重み付けをした後に平均値を算出してもよい。なお、平均値は、相加平均に限らず、相乗平均を用いてもよい。また、平均値に代えて、パラメータ同士の類似度の中央値、パラメータ同士の類似度の最大値、パラメータ同士の類似度の最小値を、第１の他の人物のリズム情報と、第２の人物のリズム情報との類似度としてもよい。 When calculating the above average value, the average value may be calculated after weighting the degree of similarity between predetermined parameters. The average value is not limited to an arithmetic average, and a geometric average may be used. Also, instead of the average value, the median value of the similarity between the parameters, the maximum value of the similarity between the parameters, and the minimum value of the similarity between the parameters, the rhythm information of the first other person, and the second It is good also as similarity with a person's rhythm information.
以上、リズム情報が、オブジェクトの時間的な変化のパターンを表すものである場合について説明したが、続いて、リズム情報が、オブジェクトの空間的な変化のパターンを表すものである場合について説明する。図８乃至図１１は、オブジェクトの空間的な変化のパターンを表すリズム情報、当該リズム情報の抽出、当該リズム情報における類似度の算出について説明するための説明図である。なお、図８乃至図１１においては、説明の便宜上、上述したように、人物以外のオブジェクトを抽出するものとする。 The case where the rhythm information represents the temporal change pattern of the object has been described above. Next, the case where the rhythm information represents the spatial change pattern of the object will be described. FIG. 8 to FIG. 11 are explanatory diagrams for explaining rhythm information representing a spatial change pattern of an object, extraction of the rhythm information, and calculation of similarity in the rhythm information. 8 to 11, for convenience of explanation, as described above, objects other than a person are extracted.
図８は、動画像（Ｐ１１、Ｐ１２、Ｐ１３）から抽出された信号機のオブジェクト（Ｏ２）を模式的に表したものである。図８（ａ）は信号機が青であるときのオブジェクトＯ２、図８（ｂ）は信号機が黄であるときのオブジェクトＯ２、図８（ｃ）は信号機が赤であるときのオブジェクトＯ２を示している。図８（ａ）〜図８（ｃ）において、ｒ１は信号機本体の撮像領域、ｒ２は信号機本体を支持する支持部の撮像領域である。ｒ１−１はｒ１内の領域であって青ランプを保持する保持部の撮像領域、ｒ１−２はｒ１内の領域であって黄ランプを保持する保持部の撮像領域、ｒ１−３はｒ１内の領域であって赤ランプを保持する保持部の撮像領域である。ｒ１−１−１はｒ１−１内の領域であって青ランプの撮像領域、ｒ１−２−１はｒ１−２内の領域であって黄ランプの撮像領域、ｒ１−３−１はｒ１−３内の領域であって赤ランプの領域である。 FIG. 8 schematically shows a traffic light object (O 2 ) extracted from moving images (P 11 , P 12 , P 13 ). 8 (a) is the object O 2 when traffic is blue, FIG. 8 (b) object O 2 when traffic is yellow, the object O 2 when FIG. 8 (c) traffic light is red Is shown. 8A to 8C, r1 is an imaging area of the traffic signal body, and r2 is an imaging area of a support portion that supports the traffic signal body. r1-1 is an area within r1, which is an imaging area of a holding section that holds a blue lamp, r1-2 is an area within r1, and is an imaging area of a holding section that holds a yellow lamp, and r1-3 is within r1 This is an imaging region of a holding unit that holds a red lamp. r1-1-1 is an area within r1-1 and is an imaging area of a blue lamp, r1-2-1 is an area within r1-2 and is an imaging area of a yellow lamp, and r1-3-1 is r1- 3 is a red lamp area.
なお、説明の便宜上、信号機が青の場合、点灯中の青ランプの色は青緑色、消灯中の黄ランプ及び赤ランプの色は黒色であるものとする。即ち、図８（ａ）における、青ランプの領域ｒ１−１−１の色は青緑色、黄ランプの領域ｒ１−２−１の色は黒色、赤ランプの領域ｒ１−３−１の色は黒色であるものとする。信号機が黄の場合、点灯中の黄ランプの色は黄色、消灯中の青ランプ及び赤ランプの色は黒色であるものとする。即ち、図８（ｂ）における、青ランプの領域ｒ１−１−１の色は黒色、黄ランプの領域ｒ１−２−１の色は黄色、赤ランプの領域ｒ１−３−１の色は黒色であるものとする。信号機が赤の場合、点灯中の赤ランプの色は赤色、消灯中の青ランプ及び黄ランプの色は黒色であるものとする。即ち、図８（ｃ）における、青ランプの領域ｒ１−１−１の色は黒色、黄ランプの領域ｒ１−２−１の色は黒色、赤ランプの領域ｒ１−３−１の色は赤色であるものとする。
また、信号機が青、黄、赤の何れの場合において、ランプ以外の領域は全て灰色であるものとする。
For convenience of explanation, it is assumed that when the traffic light is blue, the color of the blue lamp being turned on is blue-green, and the colors of the yellow lamp and red lamp being turned off are black. That is, in FIG. 8A, the color of the blue lamp region r1-1-1 is blue-green, the color of the yellow lamp region r1-2-1 is black, and the color of the red lamp region r1-3-1 is It shall be black. When the traffic light is yellow, the color of the yellow lamp that is lit is yellow, and the color of the blue and red lamps that are not lit is black. That is, in FIG. 8B, the color of the blue lamp region r1-1-1 is black, the color of the yellow lamp region r1-2-1 is yellow, and the color of the red lamp region r1-3-1 is black. Suppose that When the traffic light is red, the color of the red lamp being turned on is red, and the color of the blue lamp and the yellow lamp being turned off is black. That is, in FIG. 8C, the color of the blue lamp region r1-1-1 is black, the color of the yellow lamp region r1-2-1 is black, and the color of the red lamp region r1-3-1 is red. Suppose that
In addition, when the traffic light is any of blue, yellow, and red, all the areas other than the lamp are gray.
図９（ａ）は、オブジェクトＯ２を構成する画素グループ（単位領域）を模式的に表したものである。画素グループは、所定数の隣接画素から構成される。 9 (a) it is intended to the pixel group (unit area) that constitute the object O 2 schematically illustrates. A pixel group is composed of a predetermined number of adjacent pixels.
図９（ｂ）は、図９（ａ）に示すように、オブジェクトＯ２を複数の画素グループに分割した場合における、オブジェクトＯ２の空間的な変化のパターンを表すリズム情報である。図９（ｂ）に示す画素グループＩＤ（ａ−４、ａ−５、…）は、オブジェクトＯ２を構成する画素グループ（即ち、図９（ａ）に示す画素グループ）を識別する識別情報である。例えば、図９（ｂ）に示す画素グループＩＤ「ａ−４」は、図９（ａ）に示す符号Ｇの画素グループ（横方向のインデックス「４」及び縦方向のインデックス「ａ」によって規定される画素グループ）を示している。 FIG. 9 (b), as shown in FIG. 9 (a), in the case of dividing the object O 2 into a plurality of pixel groups, a rhythm information representing the pattern of the spatial variation of the object O 2. Pixel group IDs (a-4, a-5,...) Shown in FIG. 9B are identification information for identifying pixel groups constituting the object O 2 (that is, the pixel groups shown in FIG. 9A). is there. For example, the pixel group ID “a-4” shown in FIG. 9B is defined by the pixel group of the symbol G shown in FIG. 9A (the horizontal index “4” and the vertical index “a”). Pixel group).
図９（ｂ）に示す各時刻（ｔ１、ｔ２、…）は、図８に示す信号機の撮像タイミングである。ｔ１〜ｔ３は、図８（ａ）に示すように信号が青のときの撮像タイミングである。ｔ４は、図８（ｂ）に示すように信号が黄のときの撮像タイミングである。ｔ５〜ｔ７は、図８（ｃ）に示すように信号が赤のときの撮像タイミングである。即ち、ｔ１〜ｔ７は、オブジェクトＯ２の色の変化の１周期である。なお、図９（ｂ）に示す時刻は、説明の便宜上の時刻である（実際の信号機の場合、通常、黄の時間に対する青（及び赤）の時間は長い。 Each time (t1, t2,...) Shown in FIG. 9B is the imaging timing of the traffic light shown in FIG. t1 to t3 are imaging timings when the signal is blue as shown in FIG. t4 is the imaging timing when the signal is yellow as shown in FIG. t5 to t7 are imaging timings when the signal is red as shown in FIG. That, t1 to t7 is one period of the change in the color of the object O 2. Note that the time shown in FIG. 9B is a time for convenience of explanation (in the case of an actual traffic light, the blue (and red) time is usually longer than the yellow time.
図９（ｂ）に示す各値（Ｄ１〜Ｄ７）は、リズム情報を構成する値であって、各撮像タイミング（ｔ１、ｔ２、…）における、オブジェクトＯ２を構成する各画素グループの平均画素値である。なお、Ｄ１は灰色を示す画素値、Ｄ２は青緑色を示す画素値、Ｄ３は黒色を示す画素値、Ｄ４は黒色を示す画素値、Ｄ５は黄色を示す画素値、Ｄ６は黒色を示す画素値、Ｄ７は赤色を表す画素値である。 Each value (D1 to D7) shown in FIG. 9B is a value constituting rhythm information, and is an average pixel of each pixel group constituting the object O 2 at each imaging timing (t1, t2,...). Value. D1 is a pixel value indicating gray, D2 is a pixel value indicating blue-green, D3 is a pixel value indicating black, D4 is a pixel value indicating black, D5 is a pixel value indicating yellow, and D6 is a pixel value indicating black , D7 are pixel values representing red.
つまり、図９（ｂ）に示すリズム情報は、オブジェクトＯ２を構成する画素グループ毎の色の変化のパターンであって、例えば、以下の特徴１〜特徴１０を示している。
That is, the rhythm information shown in FIG. 9B is a color change pattern for each pixel group constituting the object O 2 , and shows, for example, the following
特徴１：オブジェクトＯ２の主要部の領域（図８に示す領域ｒ１）のうち、中央の領域（図８に示す領域ｒ１−２−１）の左側に位置する領域（図８に示す領域ｒ１−１−１）は、色が、青緑色（Ｄ２）と黒色（Ｄ３）とに周期的に変化する。
特徴２：オブジェクトＯ２の主要部の領域のうち、中央の領域は、色が、黒色（Ｄ４）と黄色（Ｄ５）とに周期的に変化する。
特徴３：オブジェクトＯ２の主要部の領域のうち、中央の領域の右側に位置する領域（図８に示す領域ｒ１−３−１）は、色が、黒色（Ｄ６）と赤色（Ｄ７）とに周期的に変化する。
特徴４：オブジェクトＯ２の主要部の領域のうち、中央の領域、中央の領域の左側に位置する領域、中央の領域の右側に位置する領域を除いた領域（図８に示す領域ｒ１から領域ｒ１−１−１、領域ｒ１−２−１及び領域ｒ１−３−１を除いた領域）は、常に、灰色（Ｄ１）であって色の変化がない。
特徴５：オブジェクトＯ２の主要部以外の領域（図８に示す領域ｒ２）は、常に、灰色（Ｄ１）であって色の変化がない。
特徴６：中央の領域の左側に位置する領域（領域ｒ１−１−１）が青緑色（Ｄ２）から黒色（Ｄ３）に変化した後に、中央の領域（領域ｒ１−２−１）が黒色（Ｄ４）から黄色（Ｄ５）に変化する。
特徴７：中央の領域（領域ｒ１−２−１）が黄色（Ｄ５）から黒色（Ｄ４）に変化した後に、中央の領域の右側に位置する領域（領域ｒ１−３−１）が黒色（Ｄ６）から赤色（Ｄ７）に変化する。
特徴８：中央の領域の右側に位置する領域（領域ｒ１−３−１）が赤色（Ｄ７）から黒色（Ｄ６）に変化した後に、中央の領域の左側に位置する領域（領域ｒ１−１−１）が黒色（Ｄ３）から青緑色（Ｄ２）に変化する。
特徴９：青緑色（Ｄ２）に変化する中央の領域の左側に位置する領域（領域ｒ１−１−１）と、黄色（Ｄ５）に変化する中央の領域（領域ｒ１−２−１）と、赤色（Ｄ７）に変化する中央の領域の右側に位置する領域（領域ｒ１−３−１）とは、略同じ大きさである。
特徴１０：中央の領域の左側に位置する領域（領域ｒ１−１−１）が青緑色（Ｄ２）である時間と、中央の領域の右側に位置する領域（領域ｒ１−３−１）が赤色（Ｄ７）である時間は等しく、中央（領域ｒ１−２−１）の領域が黄色（Ｄ５）である時間の略３倍である。
Feature 1: Of the main part of the object O 2 (region r1 shown in FIG. 8), the region (region r1 shown in FIG. 8) located on the left side of the central region (region r1-2-1 shown in FIG. 8). -1-1), the color periodically changes between blue-green (D2) and black (D3).
Feature 2: The color of the central region of the main portion of the object O 2 periodically changes between black (D4) and yellow (D5).
Feature 3: Of the main part of the object O 2 , the region located on the right side of the central region (region r1-3-1 shown in FIG. 8) is black (D6) and red (D7). Changes periodically.
Feature 4: Out of the main area of the object O 2 , an area excluding the central area, the area located on the left side of the central area, and the area located on the right side of the central area (from the area r1 shown in FIG. 8 to the area) The area excluding r1-1-1, the area r1-2-1, and the area r1-3-1) is always gray (D1) and has no color change.
Feature 5: An area other than the main part of the object O 2 (area r2 shown in FIG. 8) is always gray (D1) and has no color change.
Feature 6: After the region located on the left side of the central region (region r1-1-1) changes from blue-green (D2) to black (D3), the central region (region r1-2-1) is black ( The color changes from D4) to yellow (D5).
Feature 7: After the central region (region r1-2-1) has changed from yellow (D5) to black (D4), the region (region r1-3-1) located on the right side of the central region is black (D6 ) To red (D7).
Feature 8: After the area located on the right side of the central area (area r1-3-1) changes from red (D7) to black (D6), the area located on the left side of the central area (area r1-1-) 1) changes from black (D3) to blue-green (D2).
Feature 9: a region (region r1-1-1) located on the left side of the central region that changes to blue-green (D2), a central region (region r1-2-1) that changes to yellow (D5), The region (region r1-3-1) located on the right side of the central region that changes to red (D7) has substantially the same size.
Feature 10: The time when the region (region r1-1-1) located on the left side of the central region is blue-green (D2), and the region located on the right side of the central region (region r1-3-1) is red The time for (D7) is equal and is approximately three times the time for the center (region r1-2-1) region to be yellow (D5).
抽出部１６は、撮像部１４によって撮像された撮像画像からオブジェクトを抽出し、当該オブジェクトの空間的な変化のパターンを表すリズム情報を抽出する。例えば、抽出部１６は、オブジェクトＯ２を抽出した場合、図９（ｂ）に示すように、オブジェクトＯ２を構成する画素グループ毎の色の変化の示す各値を要素とする数値値から構成されるリズム情報を抽出する。
The
抽出部１６が、上述の如く、夫々のオブジェクトのリズム情報を抽出した場合、算出部２０は、第１の他のオブジェクトのリズム情報と、第２の他のオブジェクトのリズム情報との類似度を、上述する１以上の特徴に関係する類似度に基づいて算出する。
When the
例えば、上述の特徴２に関係する類似度を用いて、第１の他のオブジェクトのリズム情報と、第２の他のオブジェクトのリズム情報との類似度を算出してもよい。当該場合、算出部２０は、例えば、第１の他のオブジェクトのリズム情報によって示されるオブジェクトの主要部の中央領域の色の周期的な変化と、第２の他のオブジェクトのリズム情報によって示されるオブジェクトの主要部の中央領域の色の周期的な変化との類似度を算出し、第１の他のオブジェクトのリズム情報と、第２の他のオブジェクトのリズム情報との類似度としてもよい。
For example, the similarity between the rhythm information of the first other object and the rhythm information of the second other object may be calculated using the similarity related to the
「主要部の中央領域の色の周期的な変化の類似度」の算出手法としては種々の算出手法が考えられるが、一例として、算出部２０は、「主要部の中央領域の色の変化の周期の類似度」と「主要部の中央領域に現れる色の類似度」とに基づいて「主要部の中央領域の色の周期的な変化の類似度」を算出してもよい。なお、算出部２０は、第１の他のオブジェクトのリズム情報による「主要部の中央領域の色の変化の周期」と、第２の他のオブジェクトのリズム情報による「主要部の中央領域の色の変化の周期」とを比較し、短い方の周期を長い方の周期で除した値を「主要部の中央領域の色の変化の周期の類似度」としてもよい。
Various calculation methods are conceivable as the calculation method of “similarity of periodic change in color of the central region of the main part”. As an example, the
例えば、第１の他のオブジェクトのリズム情報による「主要部の中央領域の色の変化の周期」が４秒、第２の他のオブジェクトのリズム情報による「主要部の中央領域の色の変化の周期」が３秒である場合、周期「３（秒）」を周期「４（秒）」で除した値「０．７５」を「主要部の中央領域の色の変化の周期の類似度」とする。当該算出手法の場合、「主要部の中央領域の色の変化の周期の類似度」は０〜１の範囲となり、類似している程、１に近い値となる。 For example, “the color change period of the central region of the main part” based on the rhythm information of the first other object is 4 seconds, and “the color change of the central region of the main part is based on the rhythm information of the second other object. When the period is 3 seconds, a value “0.75” obtained by dividing the period “3 (seconds) by the period“ 4 (seconds) ”is“ similarity of the period of color change in the central region of the main part ”. And In the case of the calculation method, the “similarity of the period of color change in the central region of the main part” is in the range of 0 to 1, and the closer to the value, the closer to 1.
また、算出部２０は、第１の他のオブジェクトのリズム情報による「主要部の中央領域に現れる色（比較のため階調数を削減した色、他も同様）」と、第２の他のオブジェクトのリズム情報による「主要部の中央領域に現れる色」とを比較し、現れる数の多い方の色数を何れかによって現れる色の色数で除した値を「主要部の中央領域に現れる色の類似度」としてもよい。
In addition, the
例えば、第１の他のオブジェクトのリズム情報による「主要部の中央領域に現れる色」が３色、第２の他のオブジェクトのリズム情報による「主要部の中央領域に現れる色」が５色である場合、色数「５（色）」を色数「８（色）」で除した値「０．６２５」を「主要部の中央領域に現れる色の類似度」とする。当該算出手法の場合、「主要部の中央領域に現れる色の類似度」は０〜１の範囲となり、類似している程、１に近い値となる。 For example, the “color appearing in the central area of the main part” according to the rhythm information of the first other object is three colors, and the “color appearing in the central area of the main part” according to the rhythm information of the second other object is five colors. In some cases, a value “0.625” obtained by dividing the number of colors “5 (color)” by the number of colors “8 (color)” is set as “similarity of colors appearing in the central region of the main part”. In the case of this calculation method, the “similarity of the color appearing in the central region of the main part” is in the range of 0 to 1, and becomes closer to 1 as the similarity is increased.
また、「主要部の中央領域の色の変化の周期の類似度」と「主要部の中央領域に現れる色の類似度」とに基づいて「主要部の中央領域の色の周期的な変化の類似度」を算出する算出手法としては、種々の算出手法が考えられるが、一例として、算出部２０は、「主要部の中央領域の色の変化の周期の類似度」と「主要部の中央領域に現れる色の類似度」の平均値を「主要部の中央領域の色の周期的な変化の類似度」としてもよい。
In addition, based on “similarity of period of color change in the central area of the main part” and “similarity of color appearing in the central area of the main part”, As a calculation method for calculating the “similarity”, various calculation methods are conceivable. As an example, the
例えば、「主要部の中央領域の色の変化の周期の類似度」が０．７５、「主要部の中央領域に現れる色の類似度」が０．６２５である場合、平均値「０．６８７５」を「主要部の中央領域の色の周期的な変化の類似度」とする。当該算出手法の場合、「主要部の中央領域の色の周期的な変化の類似度」は０〜１の範囲となり、類似している程、１に近い値となる。 For example, when “similarity of the color change period in the central region of the main part” is 0.75 and “similarity of the color appearing in the central region of the main part” is 0.625, the average value “0.6875 "Is the similarity of the periodic change in the color of the central region of the main part". In the case of this calculation method, the “similarity of the periodic change in the color of the central region of the main part” is in the range of 0 to 1, and the closer to the value, the closer to 1.
なお、上述の平均値の算出時において、「主要部の中央領域の色の変化の周期の類似度」又は「主要部の中央領域に現れる色の類似度」に重み付けをした後に平均値を算出してもよい。なお、平均値は、相加平均に限らず、相乗平均を用いてもよい。また、平均値に代えて、中央値、最大値、又は、最小値を、「主要部の中央領域の色の周期的な変化の類似度」としてもよい。 At the time of calculating the above average value, the average value is calculated after weighting the “similarity of the color change period in the central area of the main part” or the “similarity of the color appearing in the central area of the main part”. May be. The average value is not limited to an arithmetic average, and a geometric average may be used. Further, instead of the average value, the median value, the maximum value, or the minimum value may be used as the “similarity of the periodic change in the color of the central region of the main part”.
また例えば、上述の特徴５に関係する類似度を用いて、第１の他のオブジェクトのリズム情報と、第２の他のオブジェクトのリズム情報との類似度を算出してもよい。当該場合、算出部２０は、例えば、第１の他のオブジェクトのリズム情報によって示されるオブジェクトの主要部以外の領域の変化しない色と、第２の他のオブジェクトのリズム情報によって示されるオブジェクトの主要部以外の領域の変化しない色との類似度を算出し、第１の他のオブジェクトのリズム情報と、第２の他のオブジェクトのリズム情報との類似度としてもよい。
Further, for example, the similarity between the rhythm information of the first other object and the rhythm information of the second other object may be calculated using the similarity related to the
「主要部以外の領域の変化しない色の類似度」の算出手法としては種々の算出手法が考えられるが、一例として、算出部２０は、予め、一の色と他の色との色の類似度を示す類似色情報（０から１の範囲をとり、色同士が類似している程、１に近い値をとる情報）を保持し、当該類似色情報に基づいて、第１の他のオブジェクトのリズム情報による主要部以外の領域の色と、第２の他のオブジェクトのリズム情報による主要部以外の領域の色の類似度を算出し、算出した値を「主要部以外の領域の変化しない色の類似度」としてもよい。但し、第１の他のオブジェクトのリズム情報による主要部以外の領域の色が周期的に変化する場合、又は、第２の他のオブジェクトのリズム情報による主要部以外の領域の色が周期的に変化した場合の何れかに該当する場合には、「主要部以外の領域の変化しない色の類似度」を０とする。
Various calculation methods can be considered as a calculation method of “similarity of colors that do not change in regions other than the main part”. As an example, the
また、算出部２０が、２以上の特徴に関係する類似度を用いて、第１の他のオブジェクトのリズム情報と、第２の他のオブジェクトのリズム情報との類似度を算出する場合には、各特徴に関係する類似度に基づいて、第１の他のオブジェクトのリズム情報と、第２の他のオブジェクトのリズム情報との類似度を算出してもよい。例えば、上述の特徴２及び特徴５に関係する類似度を用いる場合、特徴２に関係する類似度と、特徴５に関係する類似度とを夫々算出し、特徴２に関係する類似度と特徴５に関係する類似度の平均値を、第１の他のオブジェクトのリズム情報と、第２の他のオブジェクトのリズム情報との類似度としてもよい。
Further, when the
例えば、「特徴２に関係する類似度（例えば、上記の中央領域の色の周期的な変化の類似度）」が０．８７５、「特徴５に関係する類似度（例えば、上記の主要部以外の領域の変化しない色の類似度）」が０．８２５である場合、平均値「０．８５」を第１の他のオブジェクトのリズム情報と、第２の他のオブジェクトのリズム情報との類似度としてもよい。 For example, “similarity related to feature 2 (for example, similarity of periodic change in color of the central region)” is 0.875, “similarity related to feature 5 (for example, other than the main part described above) In the case where the similarity of the color of the non-changeable area) is 0.825, the average value “0.85” is the similarity between the rhythm information of the first other object and the rhythm information of the second other object. It may be a degree.
なお、上述の平均値の算出時において、「特徴２に関係する類似度」又は「特徴５に関係する類似度」に重み付けをした後に平均値を算出してもよい。なお、平均値は、相加平均に限らず、相乗平均を用いてもよい。また、平均値に代えて、中央値、最大値、又は、最小値を、「第１の他のオブジェクトのリズム情報と、第２の他のオブジェクトのリズム情報との類似度」としてもよい。
When calculating the average value, the average value may be calculated after weighting the “similarity related to
なお、第１の他のオブジェクトのリズム情報と、第２の他のオブジェクトのリズム情報との類似度を、特徴２、特徴５に関係する類似度に基づいて算出する例を説明したが、他の夫々の特徴に応じた夫々の算出手法を適用して、第１の他のオブジェクトのリズム情報と、第２の他のオブジェクトのリズム情報との類似度を算出してもよい。
Although the example in which the similarity between the rhythm information of the first other object and the rhythm information of the second other object is calculated based on the similarity related to the
なお、図９（ｂ）に示す各値（Ｄ１〜Ｄ７）として、画素グループ毎の平均画素値を用いる例を説明したが、平均画素値に代えて、例えば、最大画素値（画素グループ内の複数の画素の画素値の最大値）、最小画素値（画素グループ内の複数の画素の画素値の最小値）、中央値（画素グループ内の複数の画素の画素値の中央値）を用いてもよい。 In addition, although the example which uses the average pixel value for every pixel group as each value (D1-D7) shown in FIG.9 (b) was demonstrated, it replaced with an average pixel value, for example, the largest pixel value (inside a pixel group) Using the maximum pixel value of a plurality of pixels), minimum pixel value (minimum value of pixel values of a plurality of pixels in a pixel group), and median value (median value of pixel values of a plurality of pixels in a pixel group) Also good.
また、所定数の隣接画素を画素グループとし、リズム情報を構成する各値（図９（ｂ）に示す各値（Ｄ１〜Ｄ７））を算出する例を説明したが、画素値の差が所定値以下である隣接画素を画素グループとし、リズム情報を構成する各値を算出してもよい。 Further, an example has been described in which a predetermined number of adjacent pixels are used as a pixel group, and each value (each value (D1 to D7) illustrated in FIG. 9B) that calculates rhythm information is calculated. Each value constituting the rhythm information may be calculated by setting adjacent pixels equal to or less than the value as a pixel group.
図１０（ａ）は、図８に示した信号機のオブジェクトＯ２を構成する画素において、画素値の差が所定数以下である隣接画像を画素グループとして模式的に表したものである。図１０（ａ）において、Ｇａ１〜Ｇａ４は、各撮像タイミング（ｔ１〜ｔ７）の何れにおいても画素値の差が所定数以下である隣接画像を画素グループである（図９（ｂ）参照）。具体的には、Ｇａ１は青ランプの領域ｒ１−１−１、Ｇａ２は黄ランプの領域ｒ１−２−１、Ｇａ３は赤ランプの領域ｒ１−３−１、Ｇａ４はランプ以外の領域を表している（図８参照）。 FIG. 10A schematically shows adjacent images having a pixel value difference equal to or less than a predetermined number as a pixel group in the pixels constituting the traffic light object O 2 shown in FIG. In FIG. 10A, Ga1 to Ga4 are pixel groups that are adjacent images in which the difference in pixel value is equal to or less than a predetermined number at any of the imaging timings (t1 to t7) (see FIG. 9B). Specifically, Ga1 represents a blue lamp region r1-1-1, Ga2 represents a yellow lamp region r1-2-1, Ga3 represents a red lamp region r1-3-1, and Ga4 represents a region other than the lamp. (See FIG. 8).
図１０（ｂ）は、オブジェクトＯ２を図１０（ａ）の如く複数の画素グループに分割した場合における、オブジェクトＯ２の空間的な変化のパターンを表すリズム情報である。図１０（ｂ）に示す各値（Ｄ１〜Ｄ７）は、リズム情報を構成する値であって、各撮像タイミング（ｔ１、ｔ２、…）における、オブジェクトＯ２を構成する各画素グループの平均画素値である。但し、上述した様に、平均値に代えて、最大画素値、最小画素値、中央値を用いてもよい。 FIG. 10 (b), in case of dividing the object O 2 into a plurality of pixel groups as in FIG. 10 (a), a rhythm information representing the pattern of the spatial variation of the object O 2. Each value (D1 to D7) shown in FIG. 10B is a value constituting rhythm information, and is an average pixel of each pixel group constituting the object O 2 at each imaging timing (t1, t2,...). Value. However, as described above, the maximum pixel value, the minimum pixel value, and the median value may be used instead of the average value.
図１１（ａ）は、図８に示した信号機のオブジェクトＯ２を構成する画素において、画素値の差が所定数以下である隣接画像を画素グループとして模式的に表したものである。図１１（ａ）において、Ｇｂ１及びＧｂ４は、信号が青のときの撮像タイミング（ｔ１〜ｔ３）において画素値の差が所定数以下である隣接画像を画素グループである（図９（ｂ）参照）。具体的には、Ｇｂ１は青色の領域、Ｇｂ４は黒色及び灰色の領域を表している（図８参照）。即ち、消灯中の黄ランプ及び赤ランプの領域の画素値（黒色を示す値）とランプ以外の領域の画素値（灰色を示す値）の差は、所定値以下であるものとする。 FIG. 11A schematically shows adjacent images having a pixel value difference equal to or less than a predetermined number in the pixels constituting the traffic light object O 2 shown in FIG. 8 as a pixel group. In FIG. 11A, Gb1 and Gb4 are pixel groups that are adjacent images whose pixel value difference is equal to or less than a predetermined number at the imaging timing (t1 to t3) when the signal is blue (see FIG. 9B). ). Specifically, Gb1 represents a blue region, and Gb4 represents a black and gray region (see FIG. 8). That is, it is assumed that the difference between the pixel values (values indicating black) in the areas of the yellow lamp and the red lamp being turned off (values indicating black) and the pixel values (values indicating gray) in the areas other than the lamps is equal to or less than a predetermined value.
図１１（ｂ）において、Ｇｂ２及びＧｂ４は、信号が黄のときの撮像タイミング（ｔ４）において画素値の差が所定数以下である隣接画像を画素グループである（図９（ｂ）参照）。具体的には、Ｇｂ２は黄色の領域、Ｇｂ４は黒色及び灰色の領域を表している（図８参照）。即ち、消灯中の青ランプ及び赤ランプの領域の画素値（黒色を示す値）とランプ以外の領域の画素値（灰色を示す値）の差は、所定値以下であるものとする。 In FIG. 11B, Gb2 and Gb4 are pixel groups of adjacent images whose pixel value difference is equal to or smaller than a predetermined number at the imaging timing (t4) when the signal is yellow (see FIG. 9B). Specifically, Gb2 represents a yellow region and Gb4 represents a black and gray region (see FIG. 8). That is, it is assumed that the difference between the pixel values (values indicating black) in the areas of the blue lamp and the red lamp being turned off and the pixel values (values indicating gray) in the areas other than the lamps is equal to or less than a predetermined value.
図１１（ｃ）において、Ｇｂ３及びＧｂ４は、信号が赤のときの撮像タイミング（ｔ５〜ｔ７）において画素値の差が所定数以下である隣接画像を画素グループである（図９（ｂ）参照）。具体的には、Ｇｂ３は赤色の領域、Ｇｂ４は黒色及び灰色の領域を表している（図８参照）。即ち、消灯中の青ランプ及び黄ランプの領域の画素値（黒色を示す値）とランプ以外の領域の画素値（灰色を示す値）の差は、所定値以下であるものとする。 In FIG. 11C, Gb3 and Gb4 are pixel groups of adjacent images whose pixel value difference is equal to or less than a predetermined number at the imaging timing (t5 to t7) when the signal is red (see FIG. 9B). ). Specifically, Gb3 represents a red region, and Gb4 represents a black and gray region (see FIG. 8). That is, the difference between the pixel values (values indicating black) in the areas of the blue lamp and the yellow lamp being turned off and the pixel values (values indicating gray) in the areas other than the lamps is not more than a predetermined value.
図１１（ｄ）は、オブジェクトＯ２を図１１（ａ）〜（ｃ）の如く複数の画素グループに分割した場合における、オブジェクトＯ２の空間的な変化のパターンを表すリズム情報である。図１１（ｄ）に示す各値（Ｓ１〜Ｓ７）は、リズム情報を構成する値であって、各撮像タイミングにおける各画素グループの分布（領域の形状）である。具体的には、Ｓ１は青ランプの領域ｒ１−１−１、Ｓ２は黄ランプの領域ｒ１−２−１、Ｓ３は赤ランプの領域ｒ１−３−１、Ｓ４は青ランプ以外の領域、Ｓ５は黄ランプ以外の領域、Ｓ６は赤ランプ以外の領域の分布を表している。 FIG. 11 (d) in case of dividing the object O 2 into a plurality of pixel groups as shown in FIG. 11 (a) ~ (c) , a rhythm information representing the pattern of the spatial variation of the object O 2. Each value (S1 to S7) shown in FIG. 11D is a value constituting rhythm information and is a distribution (region shape) of each pixel group at each imaging timing. Specifically, S1 is a blue lamp area r1-1-1, S2 is a yellow lamp area r1-2-1, S3 is a red lamp area r1-3-1, S4 is a non-blue lamp area, S5. Represents a region other than the yellow lamp, and S6 represents a distribution of regions other than the red lamp.
即ち、図９（ｂ）に示すように所定数の隣接画素を画素グループとしリズム情報を表現するのではなく、図１０（ｂ）又は図１１（ｄ）に示すように画素値の差が所定値以下である隣接画素を画素グループとしリズム情報を表現してもよく、図１０（ｂ）又は図１１（ｄ）に示すように画素値の差が所定値以下である隣接画素を画素グループとしリズム情報を表現した場合には、図９（ｂ）に示すように所定数の隣接画素を画素グループとしリズム情報を表現した場合と同様に、リズム情報の類似度を算出する。 That is, the rhythm information is not expressed by using a predetermined number of adjacent pixels as a pixel group as shown in FIG. 9B, but the difference in pixel values is predetermined as shown in FIG. 10B or FIG. Rhythm information may be expressed by using adjacent pixels that are less than or equal to a pixel group as a pixel group, and adjacent pixels that have a pixel value difference that is less than or equal to a predetermined value as shown in FIG. When the rhythm information is expressed, the similarity of the rhythm information is calculated as in the case where the rhythm information is expressed with a predetermined number of adjacent pixels as a pixel group as shown in FIG.
以上、図５乃至図１１を用いて、リズム情報を、オブジェクトの時間的な変化のパターンとして表現し、類似度を算出する場合（図５乃至図７）と、オブジェクトの空間的な変化のパターンとして表現し、類似度を算出する場合（図８乃至図１１）とを個々に説明したが、リズム情報を、時間的な変化のパターン及び空間的な変化のパターンとして表現し、類似度を算出してもよい。即ち、類似度を算出する対象のリズム情報の形式が同一であれば、リズム情報同士の類似度の算出が可能であるため、オブジェクトの時間的な変化のパターンをリズム情報としても、オブジェクトの空間的な変化のパターンをリズム情報としても、両方のパターンをリズム情報としてもよい。なお、オブジェクトの空間的な変化のパターンとして、図８乃至図１１においては、説明の便宜上、人物以外（信号機）をオブジェクトとする例を示したが、人物がオブジェクトとなる場合の一例は、色又は模様が前面と後面とで異なる服を着て人物が動作する場合など、その人物の動きに応じて色が変化する場合などである。 As described above, the rhythm information is expressed as the temporal change pattern of the object and the similarity is calculated using FIGS. 5 to 11 and the spatial change pattern of the object. The case where the similarity is calculated individually (FIGS. 8 to 11) has been described individually, but the rhythm information is expressed as a temporal change pattern and a spatial change pattern, and the similarity is calculated. May be. That is, if the format of the rhythm information for which the similarity is calculated is the same, the similarity between the rhythm information can be calculated. Therefore, even if the temporal change pattern of the object is used as the rhythm information, the space of the object A pattern of a typical change may be used as rhythm information, and both patterns may be used as rhythm information. 8 to 11 show examples of objects other than a person (traffic light) as an object for convenience of explanation as an example of a spatial change pattern of an object. Or when the person moves with different clothes on the front and back, or when the color changes according to the movement of the person.
図１２は、電子機器１の動作の一例を示すフローチャートである。図１２に示すフローチャートの開始時において、リズム情報記憶部９０には複数のオブジェクト（人物）のリズム情報が記憶され、接続情報記憶部９２には当該複数の他の電子機器１００の接続情報が記憶されているものとする。
FIG. 12 is a flowchart illustrating an example of the operation of the
図１２において、算出部２０は、リズム情報記憶部９０に記憶されている複数のオブジェクト（人物）のリズム情報の類似度を算出する（ステップＳ１０）。算出部２０は、類似度の算出結果をグループ化部３０に出力する。
In FIG. 12, the
グループ化部３０は、算出部２０による類似度の算出結果に基づいて、当該複数のオブジェクト（人物）をグループ化し、グループ化情報を生成する（ステップＳ１２）。グループ化部３０は、グループ化情報をグループ化情報記憶部９４に記憶する。グループ化部３０は、グループ化情報をグループ化情報記憶部９４に記憶した旨を表示部４０に通知する。
The
表示部４０は、グループ化情報及び接続情報を表示する（ステップＳ１４）。具体的には、表示部４０は、接続情報記憶部９２とグループ化情報記憶部９４とを参照し、グループ別に、当該グループにグループ化されたオブジェクト（人物）が携帯している夫々の電子機器１００の機器ＩＤと、当該電子機器１００と通信するための接続情報とを表示する。
The
送信部５０は、接続情報記憶部９２とグループ化情報記憶部９４と動作制御情報記憶部９６とを参照し、グループ別に、当該グループにグループ化されたオブジェクト（人物）が携帯している夫々の電子機器１００が、同様に音声出力し、同様に発光し、又は、同様に振動するように、当該夫々の電子機器１００に動作制御情報を送信する（ステップＳ１６）。そして、本フローチャートは終了する。なお、送信部５０は、操作受付部（非図示）が所定のユーザ操作を受け付けたときに、動作制御情報を送信してもよい。
The
続いて、図１（ｂ）に示す態様（自電子機器１を含む、複数の電子機器（電子機器１及び電子機器１００）をグループ化の対象とする態様）について説明する。
Next, the mode illustrated in FIG. 1B (a mode in which a plurality of electronic devices (the
図１（ｂ）に示す態様の電子機器１の構成が、上述の図１（ａ）に示す態様の電子機器１の構成と異なる部分は、図２（ｃ）に示すように、検出部１２を有する点のみである。以下、差異部分（検出部１２）を中心に説明する。
As shown in FIG. 2 (c), the
電子機器１の検出部１２は、自電子機器１の筐体の動きを検出する。検出部１２によって検出された自電子機器１の筐体の動きは、当該電子機器１を携帯している人物（当該電子機器１のユーザ）のリズム情報としてリズム情報記憶部９０に記憶する。つまり、図２（ｃ）の態様の場合には、リズム情報記憶部９０には、抽出部１６によって撮像画像から抽出されたオブジェクト（例えば、他の電子機器１００のユーザ）のリズム情報と、当該電子機器１のユーザのリズム情報とが記憶される。
The
算出部２０は、取得部１０によって取得されたオブジェクトのリズム情報の類似度を算出する。具体的には、算出部２０は、検出部１２によって検出された当該電子機器１の筐体の動きを示す動き情報（当該電子機器１のユーザのリズム情報）と、抽出部１６によって抽出された他の人物のリズム情報との類似度を算出する。また、算出部２０は、抽出部１６によって抽出された他の人物同士のリズム情報の類似度を算出してもよい。
The
グループ化部３０は、算出部２０によって算出された当該電子機器１のユーザのリズム情報と、他の電子機器１００のユーザのリズム情報との類似度が所定の閾値以上である場合に、当該電子機器１のユーザと、他の携帯端末１００のユーザを同一グループにグループ化する。また、グループ化部３０は、他の電子機器１００のユーザ同士の類似度が所定の閾値以上である場合にも、当該他のユーザ同士を同一グループにグループ化してもよい。
When the similarity between the rhythm information of the user of the
グループ化部３０によって何れかのグループに自電子機器１のユーザが、１以上の他の電子機器１００のユーザとグループ化された場合には、自電子機器１と当該１以上の他の電子機器１００とが、同様に音声出力し、同様に発光し、又は、同様に振動するように処理をする。例えば、送信部５０が、動作制御情報記憶部９６に記憶されている設定値（自電子機器１の設定値）と同一の値を他の電子機器１００に送信してもよいし、設定部（非図示）が、送信部５０によって他の電子機器１００に送信する値（他の電子機器１００に対する設定値）を、自電子機器１の設定値として動作制御情報記憶部９６に記憶してもよい。
When the user of the
図１３は、電子機器１によるグループ化の結果を説明するための模式図である。
図１３（ａ）は、図１（ａ）に示した態様におけるグループ化の結果であって、電子機器１が、５台の他の電子機器１００（電子機器Ａ〜Ｅ）のユーザのうち、３台の電子機器（電子機器Ａ、Ｃ、Ｄ）のユーザをグループＧ１とし、２台の電子機器（電子機器Ｂ、Ｅ）のユーザをグループＧ２とし、更に、Ｇ１にグループ化されたユーザの電子機器（電子機器Ａ、Ｃ、Ｄ）に同様に音声を出力させ、Ｇ２にグループ化されたユーザの電子機器（電子機器Ｂ、Ｅ）に同様に音声を出力させている様子を表している。
FIG. 13 is a schematic diagram for explaining the result of grouping by the
FIG. 13A is a result of grouping in the mode illustrated in FIG. 1A, and the
つまり、電子機器１によれば、自分を除く複数の人物を簡便にグループ化することができる。また、同一のグループ化された人物が夫々に電子機器１００を携帯している場合には、夫々が携帯している電子機器１００に、同様に音声出力させ、同様に発光させ、又は、同様に振動させることが可能になる。
That is, according to the
図１３（ｂ）は、図１（ｂ）に示した態様におけるグループ化の結果であって、電子機器１が、自電子機器１のユーザ、及び、５台の電子機器（電子機器Ａ〜Ｅ）のユーザのうち、４台の電子機器（自電子機器１、電子機器Ａ、Ｃ、Ｄ）のユーザをグループＧ３とし、更に、Ｇ３にグループ化されたユーザの電子機器（自電子機器１、電子機器Ａ、Ｃ、Ｄ）に同様に音声を出力させている様子を表している。
FIG. 13B is a result of grouping in the mode shown in FIG. 1B, and the
つまり、電子機器１によれば、自分を含む複数の人物を簡便にグループ化することができる。また、自分と同一のグループ化された人物が夫々に電子機器１００を携帯している場合には、夫々が携帯している電子機器（電子機器１、電子機器１００）に、同様に音声出力させ、同様に発光させ、又は、同様に振動させることが可能になる。
That is, according to the
図１３（ｃ）は、図１（ｂ）に示した態様におけるグループ化の結果であって、電子機器１が、自電子機器１のユーザ、及び、５台の電子機器（電子機器Ａ〜Ｅ）のユーザのうち、４台の電子機器（自電子機器１、電子機器Ａ、Ｃ、Ｄ）のユーザをグループＧ３とし、２台の電子機器（電子機器Ｂ、Ｅ）のユーザをグループＧ２とし、更に、Ｇ３にグループ化されたユーザの電子機器（自電子機器１、電子機器Ａ、Ｃ、Ｄ）に同様に音声を出力させ、Ｇ２にグループ化された電子機器（電子機器Ｂ、Ｅ）に同様に音声を出力させている様子を表している。
FIG. 13C shows a result of grouping in the mode shown in FIG. 1B, in which the
つまり、電子機器１によれば、自分を含む複数の人物を簡便にグループ化し、また、自分を含まない複数の人物を簡便にグループ化することができる。また、同一のグループ化された人物が夫々に電子機器（電子機器１００）を携帯している場合には、夫々が携帯している電子機器（電子機器１、電子機器１００）に、同様に音声出力させ、同様に発光させ、又は、同様に振動させることが可能になる。
That is, according to the
以上、電子機器１によれば、オブジェクトを簡便にグループ化する。また、電子機器１によれば、同一グループにグループ化したオブジェクトである人物が携帯している複数の電子機器に、同様に音声出力させ、同様に発光させ、又は、同様に振動させることが可能になる。
As described above, according to the
なお、本発明の一実施形態による電子機器１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、電子機器１の各処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
Note that a program for executing each process of the
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 Further, the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic DRAM) in a computer system that becomes a server or a client when a program is transmitted through a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc., which hold programs for a certain period of time. The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
１…電子機器、１０…取得部、１２…検出部、１４…撮像部、１６…抽出部、２０…算出部、３０…グループ化部、４０…表示部、５０…送信部、６０…動作制御部、９０…リズム情報記憶部、９２…接続情報記憶部、９４…グループ化情報記憶部、９６…動作制御情報記憶部、１００…電子機器（他の電子機器）、１４０…表示部、１５０…送受信部、１６０…動作制御部、１９６…動作制御情報記憶部
DESCRIPTION OF
Claims (6)
前記取得部によって取得された各オブジェクトの前記リズム情報の類似度を算出する算出部と、
前記算出部によって算出された各オブジェクトの前記リズム情報の類似度に基づいて、前記各オブジェクトをグループ化するグループ化情報を生成するグループ化部と
を備えることを特徴とする電子機器。 An acquisition unit for acquiring rhythm information representing a temporal or spatial change pattern of an object in the captured image;
A calculation unit that calculates the similarity of the rhythm information of each object acquired by the acquisition unit;
An electronic apparatus comprising: a grouping unit that generates grouping information for grouping the objects based on the similarity of the rhythm information of the objects calculated by the calculation unit.
前記取得部は、
撮像部と、
前記撮像部によって撮像された撮像画像内のオブジェクトの前記リズム情報を抽出する抽出部と
を有し、
前記算出部は、
前記抽出部によって抽出された第１の他の人物の前記リズム情報と第２の他の人物の前記リズム情報との類似度を算出し、
前記グループ化部は、
前記算出部によって算出された前記第１の他の人物の前記リズム情報と前記第２の他の人物の前記リズム情報との類似度が所定の閾値以上である場合に、前記第１の他の人物と前記第２の他の人物を同一グループにグループ化することを特徴とする電子機器。 The electronic device according to claim 1,
The acquisition unit
An imaging unit;
An extraction unit that extracts the rhythm information of the object in the captured image captured by the imaging unit;
The calculation unit includes:
Calculating the similarity between the rhythm information of the first other person extracted by the extraction unit and the rhythm information of the second other person;
The grouping unit
When the similarity between the rhythm information of the first other person calculated by the calculation unit and the rhythm information of the second other person is greater than or equal to a predetermined threshold, the first other person An electronic apparatus, wherein a person and the second other person are grouped into the same group.
前記取得部は、
当該電子機器の筐体の動きを検出する検出部と、
撮像部と、
前記撮像部によって撮像された撮像画像内のオブジェクトの前記リズム情報を抽出する抽出部と
を有し、
前記算出部は、
前記検出部によって検出された当該電子機器の筐体の動きを示す動き情報を当該電子機器のユーザの前記リズム情報とし、当該電子機器のユーザの前記リズム情報と前記抽出部によって抽出された他の人物の前記リズム情報との類似度を算出し、
前記グループ化部は、
前記算出部によって算出された当該電子機器のユーザの前記リズム情報と前記他の人物の前記リズム情報との類似度が所定の閾値以上である場合に、当該電子機器のユーザと前記他の人物を同一グループにグループ化することを特徴とする電子機器。 The electronic device according to claim 1,
The acquisition unit
A detection unit for detecting the movement of the casing of the electronic device;
An imaging unit;
An extraction unit that extracts the rhythm information of the object in the captured image captured by the imaging unit;
The calculation unit includes:
The movement information indicating the movement of the casing of the electronic device detected by the detection unit is used as the rhythm information of the user of the electronic device, and the rhythm information of the user of the electronic device and the other extracted by the extraction unit Calculate the similarity of the person with the rhythm information,
The grouping unit
When the similarity between the rhythm information of the user of the electronic device calculated by the calculation unit and the rhythm information of the other person is equal to or greater than a predetermined threshold, the user of the electronic device and the other person are Electronic devices that are grouped into the same group.
前記グループ化部によって同一グループにグループ化された他の人物と通信するための接続情報を表示する表示部を更に備えることを特徴とする電子機器。 The electronic device according to claim 2 or claim 3,
An electronic apparatus, further comprising: a display unit that displays connection information for communicating with another person grouped in the same group by the grouping unit.
前記グループ化部によって同一グループにグループ化された人物の携帯する電子機器が、同様に音声出力し、同様に発光し、又は、同様に振動するように、他の電子機器に動作制御情報を送信する送信部を更に備えることを特徴とする電子機器。 The electronic device according to any one of claims 2 to 4,
Sending operation control information to other electronic devices so that electronic devices carried by persons grouped in the same group by the grouping unit similarly output sound, emit light in the same manner, or vibrate similarly. An electronic apparatus, further comprising:
前記電子機器の取得手段が、撮像画像内のオブジェクトの時間的又は空間的な変化のパターンを表すリズム情報を取得し、
前記電子機器の算出手段が、前記取得手段によって取得された各オブジェクトの前記リズム情報の類似度を算出し、
前記電子機器のグループ化手段が、前記算出手段によって算出された各オブジェクトの前記リズム情報の類似度に基づいて、前記各オブジェクトをグループ化するグループ化情報を生成する
ことを特徴とするグループ化方法。 A grouping method in an electronic device for grouping objects in a captured image,
The acquisition unit of the electronic device acquires rhythm information representing a temporal or spatial change pattern of an object in a captured image,
The electronic device calculation means calculates the similarity of the rhythm information of each object acquired by the acquisition means,
The grouping unit of the electronic device generates grouping information for grouping the objects based on the similarity of the rhythm information of the objects calculated by the calculating unit. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011046397A JP2012186536A (en) | 2011-03-03 | 2011-03-03 | Electronic device and grouping method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011046397A JP2012186536A (en) | 2011-03-03 | 2011-03-03 | Electronic device and grouping method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012186536A true JP2012186536A (en) | 2012-09-27 |
Family
ID=47016240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011046397A Pending JP2012186536A (en) | 2011-03-03 | 2011-03-03 | Electronic device and grouping method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012186536A (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001352291A (en) * | 2000-06-08 | 2001-12-21 | Sony Corp | Monitor and information providing unit |
| JP2006166408A (en) * | 2004-11-09 | 2006-06-22 | Canon Inc | Imaging apparatus and control method thereof |
| JP2006338273A (en) * | 2005-06-01 | 2006-12-14 | Nissan Motor Co Ltd | On-vehicle object detector, and object detection method |
| JP2007114885A (en) * | 2005-10-18 | 2007-05-10 | National Institute Of Information & Communication Technology | Classification method and device by similarity of image |
| JP2009042941A (en) * | 2007-08-07 | 2009-02-26 | Honda Motor Co Ltd | Object type decision device, vehicle, object type decision method, and program for object type decision |
| JP2010244194A (en) * | 2009-04-02 | 2010-10-28 | Toyota Motor Corp | Object identification device |
-
2011
- 2011-03-03 JP JP2011046397A patent/JP2012186536A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001352291A (en) * | 2000-06-08 | 2001-12-21 | Sony Corp | Monitor and information providing unit |
| JP2006166408A (en) * | 2004-11-09 | 2006-06-22 | Canon Inc | Imaging apparatus and control method thereof |
| JP2006338273A (en) * | 2005-06-01 | 2006-12-14 | Nissan Motor Co Ltd | On-vehicle object detector, and object detection method |
| JP2007114885A (en) * | 2005-10-18 | 2007-05-10 | National Institute Of Information & Communication Technology | Classification method and device by similarity of image |
| JP2009042941A (en) * | 2007-08-07 | 2009-02-26 | Honda Motor Co Ltd | Object type decision device, vehicle, object type decision method, and program for object type decision |
| JP2010244194A (en) * | 2009-04-02 | 2010-10-28 | Toyota Motor Corp | Object identification device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106383587B (en) | Augmented reality scene generation method, device and equipment | |
| CN109427083B (en) | Method, device, terminal and storage medium for displaying three-dimensional virtual image | |
| CN108259990B (en) | Video editing method and device | |
| US10776618B2 (en) | Mobile terminal and control method therefor | |
| CN105637529B (en) | Image capture input and projection output | |
| CN109923500A (en) | Augmented reality display device with deep learning sensor | |
| JP2020096269A (en) | Video distribution system, video distribution method, and video distribution program | |
| US9888090B2 (en) | Magic wand methods, apparatuses and systems | |
| CN106062862A (en) | System and method for immersive and interactive multimedia generation | |
| US20160342202A1 (en) | Virtual reality apparatus, feedback apparatus, and system and method for providing realistic service | |
| CN108572728B (en) | Information processing apparatus, information processing method, and program | |
| US9301268B2 (en) | Device synchronization | |
| US20170038912A1 (en) | Information providing device | |
| US10242253B2 (en) | Detection apparatus, detection method, and computer program product | |
| CN108492154A (en) | A kind of intelligent projection mapping method and its system based on the storage of block chain | |
| CN109272473A (en) | A kind of image processing method and mobile terminal | |
| KR101690656B1 (en) | Method and apparatus for generating media signal | |
| CN113014960B (en) | Method, device and storage medium for online video production | |
| US11455035B2 (en) | Inputs to virtual reality devices from touch surface devices | |
| JP2015114946A (en) | Image processor, program, and image processing method | |
| JP2012186536A (en) | Electronic device and grouping method | |
| JP2012186535A (en) | Electronic device and grouping method | |
| WO2012118138A1 (en) | Electronic device and grouping method | |
| JP6885402B2 (en) | Information processing equipment, information processing methods, and programs | |
| CN109471541A (en) | Air mouse method for tracing, system and storage medium based on virtual screen |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141030 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141118 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150317 |