JP2011077965A - Video distribution service achievement device based on viewer identification, video distribution service achievement method, video distribution service achievement program and recording medium with the same program recorded thereon - Google Patents
Video distribution service achievement device based on viewer identification, video distribution service achievement method, video distribution service achievement program and recording medium with the same program recorded thereon Download PDFInfo
- Publication number
- JP2011077965A JP2011077965A JP2009229223A JP2009229223A JP2011077965A JP 2011077965 A JP2011077965 A JP 2011077965A JP 2009229223 A JP2009229223 A JP 2009229223A JP 2009229223 A JP2009229223 A JP 2009229223A JP 2011077965 A JP2011077965 A JP 2011077965A
- Authority
- JP
- Japan
- Prior art keywords
- viewer
- video
- face image
- face
- video distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、視聴者識別に基づいた映像サービスの実現方法、およびその装置に関するものである。 The present invention relates to a video service realization method based on viewer identification and an apparatus therefor.
従来の映像サービスは、下記の二通りに大別できる。
(1)テレビ放送に代表される、視聴者を特定せず不特定多数の一般視聴者に向けて映像を放映するもの。
(2)ビデオ・オン・デマンドやYouTubeに代表される、視聴者が何らかのアクションを起こすことにより視聴者が要求した映像を放映するもの。
Conventional video services can be broadly divided into the following two types.
(1) Representing video for a large number of general viewers without specifying viewers, as represented by television broadcasting.
(2) Video that is requested by the viewer when the viewer takes some action, such as video-on-demand or Youtube.
尚、従来、ビデオ・オン・デマンドサーバ装置として、例えば特許文献1に記載のものが提案されていた。また、本発明で利用する技術および本発明に関連する技術としては、特許文献2、非特許文献1〜7に記載のものがある。
Conventionally, as a video-on-demand server device, for example, a device described in
上記の映像サービスは次のような問題点がある。 The above video service has the following problems.
(1)の方法は、特定の個人に向けた映像を放映していないため、必ずしも視聴者のニーズに合致した映像を放映しているとは限らない。また、広告を目的とした映像(広告映像)を放映する場合にも、例えば高齢者をターゲットとした商品の広告映像を若年視聴者に向けて放映してしまうなど、当該視聴者をターゲットとした広告が放映されるとは限らず、効果のないあるいは効果の薄い広告映像を放映してしまう可能性がある。 The method (1) does not necessarily broadcast a video that meets the needs of the viewer because it does not broadcast a video for a specific individual. In addition, when a video for advertising purposes (advertising video) is broadcast, for example, an advertising video of a product targeting an elderly person is broadcast to a younger viewer. The advertisement is not always broadcast, and there is a possibility that an ineffective or less effective advertisement video is broadcast.
(2)の方法は、視聴者は自分のニーズに合致した映像を取得することが可能であるが、欲しい映像を要求するためのアクションが視聴者にとって煩わしい操作であり、またその操作方法を知らない場合には、自分のニーズに合致した映像を取得することができない。また広告映像は、視聴者が自ら要求して取得するものではないことが多いので、(2)の方法は広告映像を放映するには不向きである。 In the method (2), the viewer can acquire a video that meets his needs, but the action for requesting the desired video is a troublesome operation for the viewer, and the user knows the operation method. If not, it will not be possible to obtain video that meets your needs. In addition, since the advertisement video is often not requested and acquired by the viewer, the method (2) is not suitable for broadcasting the advertisement video.
上述した従来の方法は、視聴者のニーズに沿った映像、または当該視聴者をターゲットにした広告映像を、視聴者を煩わせることなく放映することができないという問題がある。 The conventional method described above has a problem that it is not possible to broadcast a video that meets the viewer's needs or an advertising video that targets the viewer without bothering the viewer.
本発明は上記課題を解決するものであり、その目的は、煩わしい操作を行なうことなく、識別された視聴者の個人情報に基づいて視聴者のニーズに合致した映像を配信することができる視聴者識別に基づく映像配信サービス実現装置、方法、プログラム、記録媒体を提供することにある。 SUMMARY OF THE INVENTION The present invention solves the above-mentioned problems, and its purpose is to enable a viewer who can distribute a video meeting the viewer's needs based on the personal information of the identified viewer without performing a cumbersome operation. An object of the present invention is to provide a video delivery service realization apparatus, method, program, and recording medium based on identification.
上記課題を解決するための本発明の視聴者識別に基づく映像配信サービス実現装置は、予め視聴者の個人情報と顔画像を登録し、該登録された視聴者の顔画像と、撮像手段により撮像され入力された視聴者の顔画像との類似度を調べて顔を識別し、視聴者識別結果情報を出力する顔画像認識手段と、前記顔画像認識手段により識別された視聴者識別結果情報を映像配信手段へ送信する機能と、該映像配信手段から送信された映像データを映像表示手段に表示させる機能を有した映像再生手段と、前記映像再生手段から送信された視聴者識別結果情報に基づいて、放映する映像を決定し、該決定された映像データを前記映像再生手段に配信する映像配信手段と、を備えたことを特徴としている。 In order to solve the above problems, an apparatus for realizing a video distribution service based on viewer identification according to the present invention registers personal information and a face image of a viewer in advance, and captures the registered face image of the viewer and an imaging means. The face image recognition means for checking the similarity to the inputted face image of the viewer and identifying the face and outputting the viewer identification result information; and the viewer identification result information identified by the face image recognition means. Based on a video reproduction means having a function of transmitting to the video distribution means, a function of displaying the video data transmitted from the video distribution means on the video display means, and viewer identification result information transmitted from the video reproduction means. Video distribution means for determining a video to be broadcast and distributing the determined video data to the video reproduction means.
本発明によれば、例えば映像表示機器近傍に設置されたカメラで取得した画像を用いて視聴者を識別し、識別された視聴者の個人情報にもとづき映像が配信されることが可能である。そのため、視聴者のニーズに合致した映像を放映することが可能となり、特に広告を目的とした映像を配信する場合に、視聴者の年齢性別などの属性に合致した広告映像を配信できることとなり、広告効果を高めることができる。また、視聴者は一度顔画像を登録してしまえば、その後映像を要求するためのアクションを何も必要とされず、顔をカメラ近傍のテレビなどの映像表示装置に向けているだけでよいため、煩わしい操作をする必要がなくなる。 According to the present invention, for example, a viewer can be identified using an image acquired by a camera installed in the vicinity of a video display device, and a video can be distributed based on the personal information of the identified viewer. This makes it possible to broadcast videos that meet the needs of viewers, and in particular, when distributing videos for advertising purposes, it is possible to distribute advertising videos that match attributes such as the age and gender of viewers. The effect can be enhanced. Also, once the viewer has registered the face image, no action is required to request the video after that, and the face only needs to be directed to a video display device such as a TV near the camera. This eliminates the need for cumbersome operations.
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings, but the present invention is not limited to the following embodiments.
図1は、本発明の視聴者識別に基づく映像サービス実現装置の実施形態例を示す構成図である。視聴者はテレビモニタ等の映像表示装置1(映像表示手段)に向かって映像を視聴している。映像表示装置1近傍には1台または複数台のカメラ2(撮像手段)が設置されており、視聴者の顔を撮影している。カメラ2は無線あるいは有線のネットワークによって顔画像認識機能を備えた画像処理装置3(顔画像認識手段)に接続されており、画像処理装置3ではカメラ画像を使い視聴者を識別する。
FIG. 1 is a block diagram showing an embodiment of a video service realization apparatus based on viewer identification according to the present invention. The viewer watches the video toward the video display device 1 (video display means) such as a television monitor. One or a plurality of cameras 2 (imaging means) are installed in the vicinity of the
画像処理装置3は、セットトップボックス等の映像再生装置4(映像再生手段)に内在するか接続しており、視聴者の顔画像を登録する場合には映像表示装置1に登録作業用のウィンドウを表示する。また、画像処理装置3から出力される視聴者識別結果(視聴者識別結果情報)は映像再生装置4を経由して、ネットワーク5を使って映像を配信する放送局の映像配信装置6(映像配信手段)に送信される。映像配信装置6は前記視聴者識別結果にもとづき映像配信をコントロールし、視聴者に応じた映像データを映像再生装置4に配信する。映像再生装置4では受領した映像データを映像表示装置1に表示する。
The
尚映像表示装置1は、例えばコンピュータ端末のディスプレイなどで構成される。
The
図2は、画像処理装置3の構成を示すブロック図である。画像処理装置3は顔画像登録部31と顔識別部32を備えている。顔識別部32ではカメラ画像から人物の顔領域を検出し、顔画像登録部31において事前に登録されている顔画像と照合することによって、視聴者を識別する(例えば特許文献2で説明されている方法を用いて識別する)。顔識別部32からは、処理のタイミングごとに、視聴者識別結果(ユーザ名、性別、生年月日などの視聴者個人情報)が出力される。複数人が検出、識別された場合には、複数の視聴者識別結果が出力される。また、視聴者の顔画像を登録していない場合など、顔検出はされたが識別できない場合には、顔検出数のみが出力される。
FIG. 2 is a block diagram illustrating a configuration of the
顔画像登録部31は、視聴者から入力された個人情報と前記カメラ2により撮像された視聴者の顔画像を登録し、識別用データを作成するものであり、特許文献2に記載の登録用画像入力部11、顔検出部12、顔姿勢推定部13、顔再切り出し部14、顔形状再構成部15および登録顔記憶部16を備えている。
The face image registration unit 31 registers personal information input from the viewer and the face image of the viewer imaged by the
顔識別部32は、前記カメラ2により撮像された視聴者の認識用の顔画像を入力し、前記入力された認識用の顔画像から顔のある領域を検出し、前記検出された顔領域をもとに顔の姿勢を推定し、前記顔画像登録部31で作成された識別用データが示す視聴者の顔画像を、前記推定された顔の姿勢と同じ姿勢になるように回転させた顔画像と、前記入力された認識用の顔画像との類似度を調べて顔を識別し、視聴者の識別結果情報を出力するものであり、特許文献2に記載の認識用画像入力部17、顔検出部18、顔姿勢推定部19、顔再切り出し部20、登録顔回転部21、顔識別部22および結果出力部23を備えている。
The face identification unit 32 inputs a viewer's recognition face image captured by the
顔識別部32に関連する技術としては、非特許文献1〜5に記載のものがある。
本実施例では、上記非特許文献1および非特許文献2に記載の技術を利用し、顔識別を行うものとするが、これに限るものではない。本実施例では、まず非特許文献1の手法を応用し、あらかじめ用意されている顔検出および姿勢推定用のデータを用いて、画像から人物の顔領域の検出と当該顔の姿勢推定を実施する。次に非特許文献2の手法を応用し、あらかじめ用意されている視聴者の顔画像を用いて、検出された顔の個人識別を実施する。このとき、推定されている姿勢にもとづき、当該姿勢の視聴者顔画像を用いることで、精度の高い個人識別が可能となる。
In this embodiment, face recognition is performed using the techniques described in
顔画像登録部31では、識別させたい視聴者の顔画像を事前に登録する。登録作業は映像表示装置1に表示される登録用ウィンドウを用いて行なう。図3に、登録用ウィンドウの例を示す。個人情報表示部311では、視聴者のユーザ名、性別、生年月日を、キーボードやリモコンなどの文字入力用機器を用いて入力する。これら以外にも、年齢、趣味、居住地、血液型、職業、家族構成などの個人情報を入力することも考えられる。カメラ画像表示部312(撮像画像表示部)にはカメラ2で撮影されている映像がリアルタイムに表示されており、人物の頭部付近の形状を模倣した輪郭線または十字線などのガイドラインが重畳表示される。視聴者は自分の顔画像を登録する際、これらガイドラインを頭部の位置合わせのための補助線として使用する。
The face image registration unit 31 registers in advance the face image of the viewer to be identified. The registration work is performed using a registration window displayed on the
顔画像は正面向きだけを登録する方法、正面向きに加えて上下左右方向のさまざまな角度の顔を登録する方法があり、顔識別処理方法に依存する。本実施例では、上記非特許文献1および非特許文献2を利用して顔識別を行う方法を説明するものであり、正面向きに加えて上下左右向きの顔を登録する。顔画像の登録には複数の方法があり、最もシンプルな方法は、(1)カメラ画像表示部312を確認しながら、1枚ずつ所定の方向を向いた顔画像を手動で撮影し登録していく方法である。また別の方法としては、(2)顔識別部32で使用する顔検出機能と顔姿勢推定機能を利用し、視聴者はカメラ前で顔を上下左右に動かすことにより、視聴者の顔領域を自動的に検出、姿勢推定し、該当する向きの顔画像として登録していく方法がある。本実施例では、後者(2)の方法を用いることとして説明するが、これに限るものではない。
For face images, there are a method for registering only the front direction, and a method for registering faces at various angles in the vertical and horizontal directions in addition to the front direction, depending on the face identification processing method. In the present embodiment, a method for performing face identification using
登録顔画像表示部313には、登録した複数の顔画像が表示されており、視聴者は登録された顔画像が所定の角度の顔画像として適当なのか否か確認できる。不適当だと判断された場合には、その顔画像を削除し、再登録可能である。図3の例では、登録する顔画像の枚数は左右方向5枚×上下方向3枚の計15枚であるが、左右方向7枚×上下方向3枚の計21枚など、任意の枚数の顔画像を登録可能である。すべての向きの顔画像が登録されていない場合は、欠落している顔画像を、その近傍の向きの顔画像で流用する。また、登録顔画像表示部313には、登録させたい向きの顔画像例がコンピュータグラフィックスや写真などで例示されており、視聴者はどのような向きの顔画像を登録すべきなのか分かるよう工夫されている。 The registered face image display unit 313 displays a plurality of registered face images, and the viewer can check whether the registered face image is appropriate as a face image at a predetermined angle. If it is determined to be inappropriate, the face image can be deleted and re-registered. In the example of FIG. 3, the number of face images to be registered is 15 in total, 5 in the horizontal direction and 3 in the vertical direction, but any number of faces such as 21 in the horizontal direction and 3 in the vertical direction is 21 in total. Images can be registered. When face images in all directions are not registered, the missing face image is used as a face image in the vicinity. In addition, the registered face image display unit 313 exemplifies face images in a direction desired to be registered using computer graphics, photographs, and the like, so that the viewer can know what direction the face image should be registered. It has been devised.
複数の顔画像を登録する別の方法として、(3)顔部分の3次元形状情報を取得し、そこから複数の姿勢の顔画像を再構成し、登録していく方法も考えられる。3次元形状情報の取得には、レーザやカメラを使った3次元デジタイザを使う方法の他、非特許文献6に記載の技術を使う方法がある。
As another method for registering a plurality of face images, (3) a method of acquiring three-dimensional shape information of a face portion, reconstructing and registering face images of a plurality of postures therefrom, is also conceivable. The acquisition of the three-dimensional shape information includes a method using a technique described in
尚、前記顔画像登録部31で行われる処理のフローチャートは図4のとおりである。まず顔画像登録部31はステップS11において、キーボードやリモコンなどの文字入力用機器を用いて視聴者から入力される個人情報を入力する。 Note that the flowchart of the process performed by the face image registration unit 31 is as shown in FIG. First, in step S11, the face image registration unit 31 inputs personal information input from the viewer using a character input device such as a keyboard or a remote controller.
次に適当な画像が登録されるまで、図2で述べた顔画像登録処理が行われる(ステップS12,S13)。 Next, the face image registration process described in FIG. 2 is performed until an appropriate image is registered (steps S12 and S13).
次にステップS14において、前記入力された個人情報と登録された顔画像に基づいて識別用データを作成する。 In step S14, identification data is created based on the inputted personal information and the registered face image.
次にステップS15において、他の視聴者を登録するか否かを判定し、YESの場合はステップS11に戻り、NOの場合は処理を終了する。 Next, in step S15, it is determined whether or not to register another viewer. If YES, the process returns to step S11, and if NO, the process ends.
また、前記顔識別部32で行われる処理のフローチャートは図5のとおりである。まずステップS21において、カメラ2で撮像された認識用の画像を入力する。
Further, a flowchart of processing performed by the face identifying unit 32 is as shown in FIG. First, in step S21, a recognition image captured by the
次にステップS22において、顔検出用データを用いて、前記入力された認識用の画像から顔のある領域を、例えば非特許文献3に記載の手法を応用して検出する。
Next, in step S22, using the face detection data, a region with a face is detected from the input recognition image by applying the method described in
次にステップS23において、顔姿勢推定用データを用いて、前記検出された顔領域について、例えば非特許文献1に記載の手法を応用して顔の姿勢を推定する。
Next, in step S23, using the face posture estimation data, for example, a face posture is estimated for the detected face region by applying the method described in
次にステップS24において、前記顔画像登録部31により作成された識別用データを用いて、例えば特許文献2、非特許文献2に記載の手法を応用して、前記推定されている姿勢に基づいて前記検出された顔の視聴者識別を行って、その視聴者識別結果を出力する。
Next, in step S24, using the identification data created by the face image registration unit 31, the method described in, for example,
映像再生装置4は、ケーブルテレビのセットトップボックスや、IPテレビのチューナなど、放送局から送信された映像データを映像表示装置1に表示するための装置であり、双方向通信機能を備える。画像処理装置3から出力される視聴者識別結果は、まず映像再生装置4に入力され、ネットワーク5を経由して放送局側に存在する映像配信装置6に送信される。送信のタイミングは任意であり、ネットワーク5や映像配信装置6のトラフィックを考慮して設定可能する。
The
映像配信装置6は、映像を配信する放送局に存在する映像データを配信するための装置であり、双方向通信機能を備える。図6に、映像配信装置6の構成例を示す。映像制御部61は、映像再生装置4から送信された視聴者識別結果を受領する視聴者識別結果入力部611と、性別、年齢といった属性を判定する視聴者属性判定部612と、その判定結果から当該視聴者に対する放映リストを作成する放映リスト作成部613とを備えている。映像配信部62は、映像制御部61で作成された放映リストにもとづき、映像データベース621内の映像データを映像再生装置4へ配信する。
The
映像配信装置6で行なわれる処理のフローチャートは図7のとおりである。まずステップS31において、視聴者属性判定部612が、視聴者識別結果入力部611に入力された視聴者識別結果について、視聴者の属性を判定する。
A flowchart of processing performed in the
次にステップS32において、放映リスト作成部613が、前記属性判定結果から当該視聴者に対する放映リストを作成する。
Next, in step S32, the broadcast
次にステップS33において、映像配信部62が、前記作成された放映リストに基づいて映像データを映像再生装置4へ配信する。
In step S33, the video distribution unit 62 distributes video data to the
図8〜図11に、映像制御部61で行われる処理の例を示す。 8 to 11 show examples of processing performed by the video control unit 61. FIG.
図8は、「ユーザ名:電電父」が識別された例である。「電電父」には「性別:男、生年月日:1970年1月1日」という個人情報が付与されているとすると、視聴者識別結果入力部611には「ユーザ名:電電父、性別:男、生年月日:1970年1月1日」という視聴者識別結果が入力される。視聴者属性判定部612では、視聴者識別結果の性別と生年月日から視聴者属性を判定する。
FIG. 8 is an example in which “user name: electric father” is identified. If the personal information “sex: male, date of birth: January 1, 1970” is given to “electric father,” the viewer identification result
視聴者属性の例としては、マーケティング分野等で使用されている、性別と年齢からなる8層の属性があり、具体的にはC層(4〜12歳)、T層(13〜19歳)、M1層(男性20〜34歳)、M2層(男性35〜49歳)、M3層(男性50歳〜)、F1層(女性20〜34歳)、F2層(女性35〜49歳)、F3層(女性50歳〜)である。このほか、視聴者属性を性別のみで判定する方法、年齢を10歳刻みで判定する方法、年齢をより大まかに3段階程度に分類して判定する方法など、視聴者属性を判定する方法は任意である。 As an example of the viewer attribute, there are eight-layer attributes consisting of gender and age used in the marketing field, etc. Specifically, the C-layer (4-12 years old), the T-layer (13-19 years old) , M1 layer (male 20-34 years old), M2 layer (male 35-49 years old), M3 layer (male 50 years old ~), F1 layer (female 20-34 years old), F2 layer (female 35-49 years old), It is F3 layer (female 50 years old ~). In addition, a method for determining viewer attributes such as a method for determining viewer attributes only by gender, a method for determining age in increments of 10 years, and a method for determining age by roughly classifying into three levels is arbitrary. It is.
図8の例では、男性かつ39歳であることから、視聴者属性はM2層であると判定される。放映リスト作成部613では、判定された視聴者属性にもとづき、映像の配信リストを作成する。ここでは、コマーシャル映像を配信する場合を例として示す。放送局には配信予定のコマーシャル映像が10本蓄積されており、各コマーシャルはターゲットとする視聴者属性が設定されているものとする。CMリスト6131にその例を示す。CMリスト6131には、M2層向けのコマーシャル映像が2本存在しており(CM_M2(1)およびCM_M2(2))、視聴者の属性はM2層であることから、これら2本のコマーシャル映像が当該視聴者に配信する映像の候補となる。これら候補映像のうち、そのすべてを配信する方法、ランダムに選択された1本を配信する方法、配信する本数と順番をあらかじめ定めておきそのルールに従って配信する方法、などが考えられる。
In the example of FIG. 8, since it is a man and 39 years old, it determines with a viewer attribute being a M2 layer. The broadcast
図8の例はすべてを配信する方法を示しており、放映リスト6132にはCM_M2(1)およびCM_M2(2)が設定される。放映の順番はランダムに設定する方法、またはあらかじめ決められた順に設定する方法があるが、ここではあらかじめ決められた順番(CM名の括弧内の数字が放映順の優先度を表す)に放映するよう、放映リストに設定する例を示す。 The example of FIG. 8 shows a method of distributing everything, and CM_M2 (1) and CM_M2 (2) are set in the broadcast list 6132. There is a method of setting the airing order at random or a method of setting in a predetermined order. Here, the airing is performed in a predetermined order (the number in the parenthesis of the CM name indicates the priority of the airing order). An example of setting a broadcast list is shown.
図9の例では、視聴者が2名識別されており、図8で説明した例と同様にして、視聴者属性はM2層およびC層と判別される。この場合、2名の視聴者の属性に対応したコマーシャル映像である4本(CM_C(1)、CM_C(2)、CM_M2(1)、CM_M2(2))が視聴者に配信する映像の候補となる。映像の候補が複数の属性にまたがる場合、放映の順番をランダムに設定する方法と、あらかじめ決められたルールに従って設定する方法があり、ここでは放映順を決める際、F1層>F2層>F3層>M1層>M2層>M3層>T層>C層という属性の優先度の関係性を使うこととする。 In the example of FIG. 9, two viewers are identified, and the viewer attributes are discriminated as the M2 layer and the C layer as in the example described with reference to FIG. In this case, four commercial videos (CM_C (1), CM_C (2), CM_M2 (1), CM_M2 (2)) corresponding to the attributes of two viewers are candidates for video to be distributed to the viewers. Become. When video candidates span a plurality of attributes, there are a method of randomly setting the broadcast order and a method of setting according to a predetermined rule. Here, when determining the broadcast order, F1 layer> F2 layer> F3 layer It is assumed that the priority relationship of attributes is used:> M1 layer> M2 layer> M3 layer> T layer> C layer.
すなわち、図9の例では、M2層向けの映像のほうがC層向けの映像よりも優先度が高くなり、放映リストに並ぶ順番はM2層向けの映像が先に設定される。次に、各属性に割り当てられた複数のコマーシャル映像の放映順番を決めることになるが、ここでは図8の例と同様、あらかじめ決められたルール(CM名の括弧内の数字が放映順の優先度を表す)に従って放映することとし、放映リスト6132はCM_M2(1)、CM_M2(2)、CM_C(1)、CM_C(2)と設定される。 That is, in the example of FIG. 9, the video for the M2 layer has a higher priority than the video for the C layer, and the video for the M2 layer is set first in the order in the broadcast list. Next, the broadcast order of a plurality of commercial videos assigned to each attribute is determined. Here, as in the example of FIG. 8, a predetermined rule (the number in parentheses of the CM name is the priority of the broadcast order). The broadcast list 6132 is set to CM_M2 (1), CM_M2 (2), CM_C (1), and CM_C (2).
図10の例では、視聴者は2名検出されているが、顔画像が未登録または識別処理に失敗などの理由により、ユーザ名が「不明」である。このような場合には、視聴者属性判定部612での処理はスキップされ、放映リスト作成部613での処理に移る。この場合、CMリスト6131に存在するすべての映像が配信候補となる。これら映像の中から、何をどのような順番で配信するかについては、ランダムに配信する方法、属性ごとに1本ずつランダムに配信する方法、あらかじめ決められたルールに従って配信する方法などが考えられるが、ここでは図9の例で説明した視聴者属性の優先度を表す関係性にしたがい、CMリストに存在するすべてのコマーシャル映像を放映リストに設定することとする。
In the example of FIG. 10, two viewers are detected, but the user name is “unknown” due to reasons such as unregistered face images or failure in identification processing. In such a case, the process in the viewer
図11の例では、視聴者は2名検出されているが、そのうちの1名は「不明」である。識別されている「電電母」の属性はF1層と判定され、「不明」視聴者の属性判定はスキップされる。放映リスト作成部613では、F1層をターゲットとしたコマーシャル映像であるCM_F1(1)が放映リスト6132に設定される。
In the example of FIG. 11, two viewers are detected, but one of them is “unknown”. The identified attribute of “electric mother” is determined as the F1 layer, and attribute determination of the “unknown” viewer is skipped. In the broadcast
なお、上記説明した実施例では、視聴者識別ができなかった場合に視聴者属性判定部612での処理をスキップしているが、顔画像から年齢と性別を推定し、これにもとづき視聴者属性を判定する方法もある。顔画像から年齢性別を推定する方法に関しては、非特許文献7に記載の技術がある。
In the above-described embodiment, when the viewer cannot be identified, the processing in the viewer
また、上記説明した映像制御部61での処理例では、視聴者の属性のみを使用して配信する映像を制御しているが、年齢性別以外の視聴者個人情報を用いて制御する方法、視聴者の数を用いて制御する方法、連続視聴時間を用いて制御する方法、時刻や時間帯を用いて制御する方法、などの実施例も考えられる。 Further, in the processing example in the video control unit 61 described above, the video to be distributed is controlled using only the viewer's attributes, but the control method using the viewer's personal information other than the age gender, Embodiments such as a method of controlling using the number of users, a method of controlling using continuous viewing time, and a method of controlling using time and time zone are also conceivable.
また、放映リスト6132を作成するタイミングについては、視聴者識別結果が入力される度に実施する方法、すでに作成済みの放映リストに設定された映像がすべて放映された後に実施する方法などが考えられる。 As for the timing of creating the broadcast list 6132, a method that is performed every time a viewer identification result is input, a method that is performed after all the videos set in the already created broadcast list are broadcast, and the like are conceivable. .
また、映像配信装置6では、ネットワーク5を経由して複数の家庭から送信されてくる視聴者識別結果を集計することにより、視聴者数や視聴率を測定することも可能である。この場合、視聴者数や視聴率は、視聴者個人情報を用い、属性別に集計することも可能である。また、映像配信装置6は、視聴者識別結果、視聴者数、視聴率をグラフ形式で表示したり、表形式で表示したりする機能を有することも考えられる。
In addition, the
また、本実施形態の視聴者識別に基づく映像配信サービス実現装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の視聴者識別に基づく映像配信サービス実現方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばFD(Floppy(登録商標) Disk)や、MO(Magneto−Optical disk)、ROM(Read Only Memory)、メモリカード、CD(Compact Disk)−ROM、DVD(Digital Versatile Disk)−ROM、CD−R、CD−RW、HDD、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。 In addition, some or all of the functions of each means in the video distribution service realization apparatus based on viewer identification according to the present embodiment are configured by a computer program, and the program is executed using the computer to realize the present invention. Needless to say, the procedure in the video delivery service realization method based on the viewer identification according to the present embodiment can be configured by a computer program and the program can be executed by the computer. The program is stored in a computer-readable recording medium such as FD (Floppy (registered trademark) Disk), MO (Magneto-Optical disk), ROM (Read Only Memory), memory card, CD (Compact Disc). k) -ROM, DVD (Digital Versatile Disk) -ROM, CD-R, CD-RW, HDD, removable disk, etc., and can be stored and distributed. It is also possible to provide the above program through a network such as the Internet or electronic mail.
1…映像表示装置
2…カメラ
3…画像処理装置
4…映像再生装置
5…ネットワーク
6…映像配信装置
11…登録用画像入力部
12、18…顔検出部
13、19…顔姿勢推定部
14、20…顔再切り出し部
15…顔形状再構成部
16…登録顔記憶部
17…認識用画像入力部
21…登録顔回転部
22…顔識別部
23…結果出力部
61…映像制御部
62…映像配信部
311…個人情報表示部
312…カメラ画像表示部
313…登録顔画像表示部
611…視聴者識別結果入力部
612…視聴者属性判定部
613…放映リスト作成部
621…映像データベース
6131…CMリスト
6132…放映リスト
DESCRIPTION OF
Claims (10)
前記顔画像認識手段により識別された視聴者識別結果情報を映像配信手段へ送信する機能と、該映像配信手段から送信された映像データを映像表示手段に表示する機能を有した映像再生手段と、
前記映像再生手段から送信された視聴者識別結果情報に基づいて、放映する映像を決定し、該決定された映像データを前記映像再生手段に配信する映像配信手段と、を備えたことを特徴とする視聴者識別に基づく映像配信サービス実現装置。 The viewer's personal information and face image are registered in advance, the face is identified by checking the similarity between the registered viewer's face image and the viewer's face image captured and input by the imaging means, and viewing Face image recognition means for outputting person identification result information;
A video reproduction means having a function of transmitting the viewer identification result information identified by the face image recognition means to a video distribution means, and a function of displaying the video data transmitted from the video distribution means on the video display means;
Video distribution means for determining a video to be broadcast based on the viewer identification result information transmitted from the video reproduction means, and for delivering the determined video data to the video reproduction means. An apparatus for realizing a video distribution service based on viewer identification.
前記視聴者識別結果情報に基づいて視聴者の属性を判定する視聴者属性判定部と、
前記視聴者属性判定部により判定された属性、又は前記視聴者識別結果情報に応じて、放映する映像のリストを作成する放映リスト作成部と、
前記放映リスト作成部により作成されたリストの映像データを前記映像再生手段に配信する映像配信部と、を備えたことを特徴とする請求項1に記載の視聴者識別に基づく映像配信サービス実現装置。 The video distribution means includes
A viewer attribute determining unit that determines an attribute of the viewer based on the viewer identification result information;
A broadcast list creation unit that creates a list of videos to be broadcast according to the attribute determined by the viewer attribute determination unit or the viewer identification result information;
The video distribution service realization device based on viewer identification according to claim 1, further comprising: a video distribution unit that distributes video data of the list created by the broadcast list creation unit to the video reproduction means. .
前記顔画像認識手段は、
視聴者から入力された個人情報と前記撮像手段により撮像された視聴者の顔画像を登録し、識別用データを作成する顔画像登録部と、
前記撮像手段により撮像された視聴者の認識用の顔画像を入力し、前記入力された認識用の顔画像から顔のある領域を検出し、前記検出された顔領域をもとに顔の姿勢を推定し、前記顔画像登録部で作成された識別用データが示す視聴者の顔画像を、前記推定された顔の姿勢と同じ姿勢になるように回転させた顔画像と、前記入力された認識用の顔画像との類似度を調べて顔を識別し、視聴者の識別結果情報を出力する顔識別部と、を備えたことを特徴とする請求項1又は2に記載の視聴者識別に基づく映像配信サービス実現装置。 The video display means includes a personal information display section that displays personal information input from a viewer, a captured image display section that displays a face image of the viewer imaged by the imaging means, and a face image recognition means. A registered face image display unit for displaying the face image of the viewer to be registered,
The face image recognition means includes
A face image registration unit for registering personal information input from the viewer and the face image of the viewer imaged by the imaging means, and creating identification data;
The viewer's face image for recognition of the viewer imaged by the imaging means is input, an area with a face is detected from the input face image for recognition, and the posture of the face based on the detected face area The face image of the viewer indicated by the identification data created by the face image registration unit is rotated so as to have the same posture as the estimated face posture, and the input 3. The viewer identification according to claim 1, further comprising: a face identifying unit that identifies a face by checking a similarity to a face image for recognition, and outputs identification result information of the viewer. Video distribution service realization device based on.
映像再生手段が、前記顔画像認識手段により識別された視聴者識別結果情報を映像配信手段へ送信するステップと、
映像配信手段が、前記映像再生手段から送信された視聴者識別結果情報に基づいて、放映する映像を決定し、該決定された映像データを前記映像再生手段に配信する映像配信ステップと、
映像再生手段が、前記映像配信手段から送信された映像データを映像表示手段に表示させるステップと、を備えたことを特徴とする視聴者識別に基づく映像配信サービス実現方法。 The face image recognition means registers the viewer's personal information and face image in advance, and checks the similarity between the registered viewer's face image and the viewer's face image captured and input by the imaging means. A face image recognition step of identifying a face and outputting viewer identification result information;
A step of transmitting the viewer identification result information identified by the face image recognition unit to the video distribution unit;
A video distribution step in which video distribution means determines a video to be broadcast based on the viewer identification result information transmitted from the video reproduction means, and distributes the determined video data to the video reproduction means;
A method for realizing a video distribution service based on viewer identification, comprising: a step of displaying video data transmitted from the video distribution unit on a video display unit.
前記映像再生手段から送信された視聴者識別結果情報に基づいて視聴者の属性を判定する視聴者属性判定ステップと、
前記視聴者属性判定ステップにより判定された属性、又は前記視聴者識別結果情報に応じて、放映する映像のリストを作成する放映リスト作成ステップと、
前記放映リスト作成ステップにより作成されたリストの映像データを前記映像再生手段に配信する映像配信ステップと、を備えたことを特徴とする請求項5に記載の視聴者識別に基づく映像配信サービス実現方法。 The video distribution step includes:
Viewer attribute determination step of determining the attribute of the viewer based on the viewer identification result information transmitted from the video reproduction means;
A broadcast list creation step of creating a list of videos to be broadcast according to the attribute determined in the viewer attribute determination step or the viewer identification result information;
6. The method for realizing a video distribution service based on viewer identification according to claim 5, further comprising: a video distribution step of distributing the video data of the list created in the broadcast list creation step to the video reproduction means. .
前記顔画像認識手段の顔画像登録部が、視聴者から入力された個人情報を前記映像表示手段に表示させるステップと、前記撮像手段により撮像された視聴者の顔画像を前記映像表示手段に表示させるステップと、顔画像認識手段に登録する視聴者の顔画像を前記映像表示手段に表示させるステップと、視聴者から入力された個人情報と前記撮像手段により撮像された視聴者の顔画像を登録し、識別用データを作成する顔画像登録ステップと、
前記顔画像認識手段の顔識別部が、前記撮像手段により撮像された視聴者の認識用の顔画像を入力し、前記入力された認識用の顔画像から顔のある領域を検出し、前記検出された顔領域をもとに顔の姿勢を推定し、前記顔画像登録ステップで作成された識別用データが示す視聴者の顔画像を、前記推定された顔の姿勢と同じ姿勢になるように回転させた顔画像と、前記入力された認識用の顔画像との類似度を調べて顔を識別し、視聴者の識別結果情報を出力する顔識別ステップと、を備えたことを特徴とする請求項5又は6に記載の視聴者識別に基づく映像配信サービス実現方法。 The face image recognition step includes
The face image registration unit of the face image recognition unit displays the personal information input from the viewer on the video display unit, and displays the viewer's face image captured by the imaging unit on the video display unit. A step of displaying the face image of the viewer registered in the face image recognition means on the video display means, and registering the personal information input from the viewer and the face image of the viewer imaged by the imaging means A face image registration step for creating identification data;
The face identification unit of the face image recognition means inputs a face image for viewer recognition taken by the image pickup means, detects a region with a face from the input face image for recognition, and detects the detection The posture of the face is estimated based on the determined face region, and the face image of the viewer indicated by the identification data created in the face image registration step is set to the same posture as the estimated face posture. A face identifying step of identifying a face by examining a similarity between the rotated face image and the input recognition face image, and outputting viewer identification result information. The video delivery service realization method based on the viewer identification of Claim 5 or 6.
前記放映リスト作成ステップは、前記視聴者属性判定ステップにより判定された属性に対応する前記リスト内の配信予定映像を抽出して放映リストを作成することを特徴とする請求項6又は7に記載の視聴者識別に基づく映像配信サービス実現方法。 It has a list that matches the attributes of viewers and the video scheduled for distribution,
8. The broadcast list creation step of creating a broadcast list by extracting a distribution scheduled video in the list corresponding to the attribute determined by the viewer attribute determination step. 8. Video distribution service realization method based on viewer identification.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009229223A JP5483543B2 (en) | 2009-10-01 | 2009-10-01 | Video distribution service realization apparatus based on viewer identification, video distribution service realization method, video distribution service realization program, and recording medium recording the program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009229223A JP5483543B2 (en) | 2009-10-01 | 2009-10-01 | Video distribution service realization apparatus based on viewer identification, video distribution service realization method, video distribution service realization program, and recording medium recording the program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011077965A true JP2011077965A (en) | 2011-04-14 |
JP5483543B2 JP5483543B2 (en) | 2014-05-07 |
Family
ID=44021416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009229223A Expired - Fee Related JP5483543B2 (en) | 2009-10-01 | 2009-10-01 | Video distribution service realization apparatus based on viewer identification, video distribution service realization method, video distribution service realization program, and recording medium recording the program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5483543B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013077040A1 (en) * | 2011-11-24 | 2013-05-30 | シャープ株式会社 | Content providing apparatus, program to be executed by content providing apparatus, television receiver, and storage medium having program stored therein |
US9665922B2 (en) | 2012-11-30 | 2017-05-30 | Hitachi Maxell, Ltd. | Picture display device, and setting modification method and setting modification program therefor |
JP2018156421A (en) * | 2017-03-17 | 2018-10-04 | ヤフー株式会社 | Display program, display method, terminal device, creation device, creation method, and creation program |
JP2020532905A (en) * | 2017-08-29 | 2020-11-12 | ホーム コントロール シンガポール プライベート リミテッド | User recognition methods and devices for providing personalized guides, content and services, and targeted advertising without intentional user registration. |
JP2021150889A (en) * | 2020-03-23 | 2021-09-27 | グリー株式会社 | Computer program, server device, terminal device, and method |
WO2021241209A1 (en) * | 2020-05-29 | 2021-12-02 | 株式会社コナミデジタルエンタテインメント | Distribution system, distribution system controlling method, and computer program |
JP2021190057A (en) * | 2020-05-29 | 2021-12-13 | 株式会社コナミデジタルエンタテインメント | Distribution system, control method for distribution system, and computer program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09171560A (en) * | 1995-12-20 | 1997-06-30 | Oki Electric Ind Co Ltd | Device for detecting face inclination |
JP2006324809A (en) * | 2005-05-17 | 2006-11-30 | Sony Corp | Information processor, information processing method, and computer program |
JP2009510645A (en) * | 2005-10-04 | 2009-03-12 | 株式会社ソニー・コンピュータエンタテインメント | Processing and apparatus for automatically identifying users of home appliances |
WO2009067670A1 (en) * | 2007-11-21 | 2009-05-28 | Gesturetek, Inc. | Media preferences |
-
2009
- 2009-10-01 JP JP2009229223A patent/JP5483543B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09171560A (en) * | 1995-12-20 | 1997-06-30 | Oki Electric Ind Co Ltd | Device for detecting face inclination |
JP2006324809A (en) * | 2005-05-17 | 2006-11-30 | Sony Corp | Information processor, information processing method, and computer program |
JP2009510645A (en) * | 2005-10-04 | 2009-03-12 | 株式会社ソニー・コンピュータエンタテインメント | Processing and apparatus for automatically identifying users of home appliances |
WO2009067670A1 (en) * | 2007-11-21 | 2009-05-28 | Gesturetek, Inc. | Media preferences |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015039094A (en) * | 2011-11-24 | 2015-02-26 | シャープ株式会社 | Content providing apparatus, program to be executed by content providing apparatus, television receiver, and storage medium having program stored therein |
WO2013077040A1 (en) * | 2011-11-24 | 2013-05-30 | シャープ株式会社 | Content providing apparatus, program to be executed by content providing apparatus, television receiver, and storage medium having program stored therein |
US11227356B2 (en) | 2012-11-30 | 2022-01-18 | Maxell, Ltd. | Picture display device, and setting modification method and setting modification program therefor |
US9665922B2 (en) | 2012-11-30 | 2017-05-30 | Hitachi Maxell, Ltd. | Picture display device, and setting modification method and setting modification program therefor |
US10097900B2 (en) | 2012-11-30 | 2018-10-09 | Maxell, Ltd. | Picture display device, and setting modification method and setting modification program therefor |
US11823304B2 (en) | 2012-11-30 | 2023-11-21 | Maxell, Ltd. | Picture display device, and setting modification method and setting modification program therefor |
JP2018156421A (en) * | 2017-03-17 | 2018-10-04 | ヤフー株式会社 | Display program, display method, terminal device, creation device, creation method, and creation program |
JP7281449B2 (en) | 2017-08-29 | 2023-05-25 | ホーム コントロール シンガポール プライベート リミテッド | User recognition method and apparatus for providing personalized guides, content and services, and targeted advertisements without intentional user registration |
JP2020532905A (en) * | 2017-08-29 | 2020-11-12 | ホーム コントロール シンガポール プライベート リミテッド | User recognition methods and devices for providing personalized guides, content and services, and targeted advertising without intentional user registration. |
JP2021150889A (en) * | 2020-03-23 | 2021-09-27 | グリー株式会社 | Computer program, server device, terminal device, and method |
JP7244450B2 (en) | 2020-03-23 | 2023-03-22 | グリー株式会社 | Computer program, server device, terminal device, and method |
JP7496558B2 (en) | 2020-03-23 | 2024-06-07 | グリー株式会社 | Computer program, server device, terminal device, and method |
WO2021241209A1 (en) * | 2020-05-29 | 2021-12-02 | 株式会社コナミデジタルエンタテインメント | Distribution system, distribution system controlling method, and computer program |
JP2021190057A (en) * | 2020-05-29 | 2021-12-13 | 株式会社コナミデジタルエンタテインメント | Distribution system, control method for distribution system, and computer program |
JP7082431B2 (en) | 2020-05-29 | 2022-06-08 | 株式会社コナミデジタルエンタテインメント | Distribution system, distribution system control method and computer program |
Also Published As
Publication number | Publication date |
---|---|
JP5483543B2 (en) | 2014-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5483543B2 (en) | Video distribution service realization apparatus based on viewer identification, video distribution service realization method, video distribution service realization program, and recording medium recording the program | |
US10346860B2 (en) | Audience attendance monitoring through facial recognition | |
US9706235B2 (en) | Time varying evaluation of multimedia content | |
US9860593B2 (en) | Devices, systems, methods, and media for detecting, indexing, and comparing video signals from a video display in a background scene using a camera-enabled device | |
US9560411B2 (en) | Method and apparatus for generating meta data of content | |
US20100158391A1 (en) | Identification and transfer of a media object segment from one communications network to another | |
CN102467661B (en) | Multimedia device and method for controlling the same | |
US10873788B2 (en) | Detection of common media segments | |
US20150227780A1 (en) | Method and apparatus for determining identity and programing based on image features | |
US9411414B2 (en) | Method and system for providing immersive effects | |
US20230122126A1 (en) | Audience attendance monitoring through facial recognition | |
US20130276029A1 (en) | Using Gestures to Capture Multimedia Clips | |
US20130297650A1 (en) | Using Multimedia Search to Identify Products | |
WO2017166472A1 (en) | Advertisement data matching method, device, and system | |
WO2015045439A1 (en) | System, method and program for identifying program being viewed | |
KR101947079B1 (en) | Psychological reaction inference system and method of a watching viewer on broadcasting contents | |
US20230156269A1 (en) | Systems and methods for generating a notification in response to a live broadcast | |
US20230418538A1 (en) | Information processing device, content display system, and content display method | |
WO2022239117A1 (en) | Information processing device, content display system, and content display method | |
KR102287281B1 (en) | Method for gaze analysis and apparatus for executing the method | |
JP2023063614A (en) | Distribution device, distribution method, and distribution program | |
TW201118822A (en) | Information displaying system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130521 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130718 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5483543 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |