JP2015106862A - Content information acquisition device and program, and content distribution device - Google Patents

Content information acquisition device and program, and content distribution device Download PDF

Info

Publication number
JP2015106862A
JP2015106862A JP2013248884A JP2013248884A JP2015106862A JP 2015106862 A JP2015106862 A JP 2015106862A JP 2013248884 A JP2013248884 A JP 2013248884A JP 2013248884 A JP2013248884 A JP 2013248884A JP 2015106862 A JP2015106862 A JP 2015106862A
Authority
JP
Japan
Prior art keywords
information
content
digital watermark
individual
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013248884A
Other languages
Japanese (ja)
Inventor
恵吾 真島
Keigo Majima
恵吾 真島
晴幸 中村
Haruyuki Nakamura
晴幸 中村
剛史 大田
Takashi Ota
剛史 大田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2013248884A priority Critical patent/JP2015106862A/en
Publication of JP2015106862A publication Critical patent/JP2015106862A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a content information acquisition device capable of acquiring the relevant information of an object reflected in a content, by photographing a screen displaying the content.SOLUTION: A content information acquisition device 3 includes detection means 31 detecting a digital watermark for each region sectioned by a predetermined division number from an image captured by capturing means 30, object individual information display means 33 for acquiring the individual information of an object corresponding to the identification information specifying an object detected as a digital watermark from a server, and displaying to display means 37, and object relevant information display means 35 for acquiring the relevant information corresponding to the designated individual information by designating the position of the individual information to a user via designation means 38, and displaying in the display means 37.

Description

本発明は、電子透かしが埋め込まれた映像コンテンツを撮影し、電子透かしで特定された取得元から、コンテンツの映像内に映っているオブジェクトの関連情報を取得することが可能なコンテンツ情報取得装置およびそのプログラム、ならびに、前記電子透かしを埋め込んで映像コンテンツを配信するコンテンツ配信装置に関する。   The present invention is a content information acquisition apparatus capable of capturing video content in which a digital watermark is embedded and acquiring related information of an object shown in the video of the content from an acquisition source specified by the digital watermark. The present invention relates to a program and a content distribution apparatus that distributes video content by embedding the digital watermark.

従来、表示装置に表示されたコンテンツ(映像コンテンツ)内のオブジェクトに関連する情報を取得する手法として、関連情報を取得するためのWebサイトのアドレスを示すバーコード、2次元コード、透かし情報(電子透かし)等を利用する手法が知られている(特許文献1参照)。   Conventionally, as a method of acquiring information related to an object in content (video content) displayed on a display device, a bar code indicating a website address for acquiring related information, a two-dimensional code, watermark information (electronic A method using a watermark is known (see Patent Document 1).

この従来手法において、バーコード、2次元コード等のコード情報を利用する手法は、表示装置に表示したコンテンツに映っているオブジェクトに対応付けてコード情報を表示する。そして、カメラ付き携帯電話が、そのコード情報を撮影し、コード情報を解析することで、対応するWebサイトから、関連情報を取得する。
また、この手法では、コンテンツを表示した画面内に、関連情報を取得可能な複数のオブジェクトが存在する場合、それぞれのオブジェクトに対応付けてコード情報を表示する。そして、カメラ付き携帯電話が、コンテンツが表示された画面を撮影した撮影画像内で、コード情報が表示されている領域と、携帯電話のボタン配置とを予め対応付けておき、ユーザが押下したボタンの位置に対応して表示されているコード情報を解析することで、関連情報を取得する。
In this conventional method, a method using code information such as a barcode or a two-dimensional code displays code information in association with an object shown in content displayed on a display device. Then, the camera-equipped mobile phone captures the code information and analyzes the code information to obtain related information from the corresponding website.
Also, in this method, when there are a plurality of objects from which related information can be acquired in the screen displaying the content, code information is displayed in association with each object. Then, the camera mobile phone associates the area where the code information is displayed with the button arrangement of the mobile phone in the captured image obtained by photographing the screen on which the content is displayed, and the button pressed by the user The related information is acquired by analyzing the code information displayed in correspondence with the position of.

また、従来手法において、電子透かしを利用する手法は、コンテンツに映っているオブジェクト上に電子透かしを埋め込んだ状態で表示装置の画面上にコンテンツを表示する。そして、カメラ付き携帯電話が、オブジェクトを撮影し、当該オブジェクト上に埋め込まれている電子透かしを検出し、解析することで、対応するWebサイトから、関連情報を取得する。   Further, in the conventional method, a method using a digital watermark displays content on a screen of a display device in a state where the digital watermark is embedded in an object shown in the content. Then, the camera-equipped mobile phone captures the relevant information from the corresponding Web site by photographing the object, detecting and analyzing the digital watermark embedded in the object.

特開2005−122516号公報JP 2005-122516 A

しかし、従来のコード情報を利用する手法は、オブジェクトとともにコード情報を画面上に表示するため、ユーザが視認する情報としては意味がないコード情報によって、オブジェクトが覆われてしまい、ユーザがオブジェクトを認識することができないことがあるという問題がある。   However, in the conventional method using code information, code information is displayed on the screen together with the object. Therefore, the object is covered with code information that is meaningless as information visually recognized by the user, and the user recognizes the object. There is a problem that there are things that can not be done.

また、従来の電子透かしを利用する手法は、コンテンツの視認を妨げないが、コンテンツの映像に複数のオブジェクトが存在し、その一部のオブジェクトに対して関連情報を提供する場合、ユーザは、どのオブジェクトに関連情報が対応付けられているのかを認識することができないという問題がある。   In addition, the conventional method using digital watermark does not prevent the viewing of content, but when there are multiple objects in the video of the content and related information is provided for some of the objects, There is a problem that it is impossible to recognize whether related information is associated with an object.

さらに、従来の電子透かしを利用する手法は、コンテンツの映像に複数のオブジェクトが存在し、画面全体をカメラで撮影した場合、端末が撮影画像から関連情報が対応付けられたオブジェクトの位置や数を把握することができない。
そのため、この手法は、従来のコード情報を利用する手法のように、電子透かしが埋め込まれたオブジェクトの位置を対応するボタンの位置で指定したり、近年のスマートフォン、タブレット端末等のように、オブジェクトの位置をタップ操作で指定したり、等のオブジェクトの選択手法を用いることができない。
Furthermore, in the conventional technique using digital watermark, when there are a plurality of objects in the content video and the entire screen is shot with a camera, the terminal determines the position and number of objects associated with the related information from the shot image. I can't figure it out.
Therefore, this method specifies the position of an object with an embedded digital watermark by the position of the corresponding button, as in the conventional method using code information, or the object as in recent smartphones, tablet terminals, etc. It is not possible to specify the position of the object by a tap operation or use an object selection method such as an object.

このように、従来の電子透かしを利用する手法は、映像上に複数のオブジェクトが映っているコンテンツが表示された画面全体を撮影した場合、オブジェクトごとに埋め込まれた電子透かしを検出することができず、対応する関連情報を取得することができないという問題がある。   As described above, the conventional technique using the digital watermark can detect the digital watermark embedded for each object when the entire screen on which the content including a plurality of objects is displayed is captured. Therefore, there is a problem that corresponding related information cannot be acquired.

本発明は、このような問題に鑑みてなされたものであり、コンテンツを表示した画面全体を撮影し、複数のオブジェクトが存在する映像から、関連情報が対応付けられたオブジェクトの位置や認識して、映像上に映っている個々のオブジェクトの関連情報を取得可能なコンテンツ情報取得装置およびそのプログラム、ならびに、コンテンツ配信装置を提供することを課題とする。   The present invention has been made in view of such problems, and captures the entire screen on which content is displayed, and recognizes the position of the object associated with the related information from the video including a plurality of objects. It is an object of the present invention to provide a content information acquisition device that can acquire related information of individual objects shown on a video, a program thereof, and a content distribution device.

前記課題を解決するため、本発明に係るコンテンツ情報取得装置は、映像フレームを予め定めた分割数で区分した領域のうちで、映像上に映る個々のオブジェトがそれぞれ個別に収まる範囲の1以上の前記領域に、前記オブジェクトを特定する同じ識別情報が電子透かしで埋め込まれた映像コンテンツを、コンテンツ表示装置の表示画面に表示された状態で撮影し、前記オブジェクトに関連する関連情報を、ネットワークを介して取得するコンテンツ情報取得装置であって、領域別電子透かし検出手段と、オブジェクト個別情報表示手段と、オブジェクト関連情報表示手段と、を備える構成とした。   In order to solve the above-described problem, the content information acquisition apparatus according to the present invention includes at least one of a range in which individual objects appearing on a video are individually contained in a region obtained by dividing a video frame by a predetermined number of divisions. Video content in which the same identification information for identifying the object is embedded in the area with a digital watermark is photographed while being displayed on a display screen of a content display device, and related information related to the object is obtained via a network. The content information acquisition apparatus to be acquired is configured to include an area-specific digital watermark detection unit, an object individual information display unit, and an object related information display unit.

かかる構成において、コンテンツ情報取得装置は、領域別電子透かし検出手段によって、撮影手段で撮影された撮影画像(静止画像、動画像)から、映像フレームの予め定めた分割数で区分された領域ごとに電子透かしを検出する。このように、領域別電子透かし検出手段は、撮影画像にオブジェクトが映っているか否かに関わらず、予め定めた領域単位で電子透かしの検出を行う。これによって、領域別電子透かし検出手段は、撮影画像内で、オブジェクトが映っている位置を、予め定めた領域単位で認識することができる。   In such a configuration, the content information acquisition apparatus uses the digital watermark detection unit for each region for each region divided by a predetermined number of divisions of the video frame from the captured image (still image or moving image) captured by the capturing unit. Detect digital watermarks. Thus, the area-specific digital watermark detection means detects the digital watermark in units of predetermined areas regardless of whether or not the object is shown in the captured image. Thereby, the area-specific digital watermark detection means can recognize the position where the object is reflected in the captured image in units of predetermined areas.

そして、コンテンツ情報取得装置は、オブジェクト個別情報表示手段によって、電子透かしとして検出した、識別情報に対応するオブジェクトの個別情報をサーバから取得し、表示手段に表示する。
このように、オブジェクト個別情報表示手段は、ユーザが視認する情報としては意味がないバーコード等のコード情報ではなく、領域単位で埋め込まれている電子透かしを検出することで、その電子透かしで特定されるオブジェクトの名称等の個別情報を画面上に表示する。そのため、オブジェクト個別情報表示手段は、関連情報を提供可能なオブジェクトの位置をユーザに認識させることができるとともに、オブジェクトを表示している画面を、ユーザにとって意味のない情報で覆い隠すことがない。
Then, the content information acquisition apparatus acquires, from the server, the individual information of the object corresponding to the identification information detected as the electronic watermark by the object individual information display unit, and displays it on the display unit.
In this way, the object individual information display means identifies the digital watermark embedded in each area, not the code information such as a barcode which is meaningless as the information visually recognized by the user. Individual information such as the name of the object to be displayed is displayed on the screen. Therefore, the object individual information display unit can make the user recognize the position of the object that can provide the related information, and does not cover the screen displaying the object with information that is meaningless to the user.

そして、コンテンツ情報取得装置は、オブジェクト関連情報表示手段によって、表示手段に表示された個別情報の位置を、指定手段を介して指定されることで、その指定された個別情報に対応するオブジェクトの関連情報をサーバから取得し、表示手段に表示する。   Then, the content information acquisition apparatus designates the position of the individual information displayed on the display means by the object related information display means via the designation means, so that the relation of the object corresponding to the designated individual information is displayed. Information is acquired from the server and displayed on the display means.

なお、本発明に係るコンテンツ情報取得装置は、オブジェクト個別情報表示手段を構成から省略して、領域別電子透かし検出手段で検出した識別情報から、直接、オブジェクト関連情報表示手段によって、オブジェクトの関連情報をサーバから取得して表示することとしてもよい。
また、本発明に係るコンテンツ情報取得装置は、コンピュータを前記した各手段として機能させるためのコンテンツ情報取得プログラムで動作させることができる。
The content information acquisition apparatus according to the present invention omits the object individual information display unit from the configuration, and directly relates the object information from the identification information detected by the area-specific digital watermark detection unit by the object related information display unit. May be acquired from the server and displayed.
The content information acquisition apparatus according to the present invention can be operated by a content information acquisition program for causing a computer to function as each of the above-described means.

また、本発明に係るコンテンツ配信装置は、コンテンツの映像上に映るオブジェクトに、ネットワークを介して、前記オブジェクトに関連する関連情報を取得するための当該オブジェクトを特定する識別情報を電子透かしで埋め込んで配信するコンテンツ配信装置であって、埋め込み情報記憶手段と、領域別電子透かし埋め込み手段と、送信手段と、を備える構成とした。   In addition, the content distribution apparatus according to the present invention embeds identification information for identifying an object for acquiring related information related to the object with an electronic watermark embedded in the object shown on the content video via the network. A content distribution apparatus for distribution includes an embedded information storage unit, an area-specific digital watermark embedding unit, and a transmission unit.

かかる構成において、コンテンツ配信装置は、予め埋め込み情報記憶手段に、コンテンツに対応付けて、識別情報と、コンテンツの表示時間において、識別情報を電子透かしとして埋め込む埋め込み時間と、コンテンツの映像フレームを予め定めた分割数で区分した領域であって、識別情報を電子透かしとして埋め込む埋め込み領域と、を埋め込み情報として記憶する。この情報によって、コンテンツのどの映像フレームのどの領域にどの識別情報を埋め込むかが特定される。   In such a configuration, the content distribution apparatus predetermines the identification information, the embedding time for embedding the identification information as a digital watermark in the display time of the content, and the video frame of the content in the embedded information storage unit in advance. An embedded area in which the identification information is embedded as a digital watermark is stored as embedded information. This information specifies which identification information is to be embedded in which region of which video frame of the content.

そして、コンテンツ配信装置は、領域別電子透かし埋め込み手段によって、埋め込み情報記憶手段に記憶されている埋め込み情報に基づいて、コンテンツの埋め込み時間に対応する映像フレームに、埋め込み領域ごとに識別情報を電子透かしで埋め込む。
そして、コンテンツ配信装置は、送信手段によって、識別情報を電子透かしで埋め込んだコンテンツを送信する。
Then, the content distribution apparatus uses the digital watermark embedding unit for each area to add the identification information for each embedding area to the video frame corresponding to the embedding time of the content based on the embedding information stored in the embedding information storage unit. Embed with
Then, the content distribution apparatus transmits the content in which the identification information is embedded with a digital watermark by the transmission means.

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、コンテンツの空間方向に予め定めた分割数で区分された領域に、オブジェクトに対応する電子透かしを埋め込むため、コンテンツ情報取得装置は、オブジェクトそのものの位置を認識する必要はなく、電子透かしが埋め込まれている領域としてオブジェクトの位置を簡易に認識することができる。
そのため、コンテンツ情報取得装置は、ユーザが、撮影手段によって、コンテンツが表示されている画面全体を撮影するだけで、その中に埋め込まれている電子透かしにより、オブジェクトの関連情報を取得して表示することができる。
The present invention has the following excellent effects.
According to the present invention, since the electronic watermark corresponding to the object is embedded in the area divided by the predetermined number of divisions in the spatial direction of the content, the content information acquisition device does not need to recognize the position of the object itself, The position of the object can be easily recognized as an area in which the digital watermark is embedded.
Therefore, in the content information acquisition device, the user simply captures the entire screen on which the content is displayed by the photographing means, and acquires and displays the related information of the object with the digital watermark embedded therein. be able to.

本発明の実施形態に係るコンテンツ情報取得システムの構成を示す全体構成図である。It is a whole lineblock diagram showing the composition of the contents information acquisition system concerning the embodiment of the present invention. 図1のコンテンツ配信装置の構成を示すブロック構成図である。It is a block block diagram which shows the structure of the content delivery apparatus of FIG. 図1のコンテンツ表示装置の構成を示すブロック構成図である。It is a block block diagram which shows the structure of the content display apparatus of FIG. 図1のコンテンツ情報取得装置の構成を示すブロック構成図である。It is a block block diagram which shows the structure of the content information acquisition apparatus of FIG. コンテンツ内のフレームで電子透かしを埋め込む領域を説明するための図であって、(a)はフレームを分割した埋め込み領域の例を示した図、(b)は各埋め込み領域に電子透かしを埋め込んだ状態を模式的に示した図である。It is a figure for demonstrating the area | region which embeds a digital watermark in the frame in a content, (a) is the figure which showed the example of the embedding area which divided | segmented the frame, (b) embedded the digital watermark in each embedding area It is the figure which showed the state typically. 電子透かしの埋め込みパターンを示す図であって、(a)は左上、(b)は右上、(c)は左下、(d)は右下にそれぞれに映っているオブジェクトに対して、それぞれの電子透かしを埋め込んだ例を示す図である。It is a figure which shows the embedding pattern of a digital watermark, Comprising: (a) is an upper left, (b) is an upper right, (c) is a lower left, (d) is each electronic with respect to the object reflected on the lower right, respectively. It is a figure which shows the example which embedded the watermark. 電子透かしの埋め込みパターンを示す図であって、(a)は上半分、(b)は下半分、(c)は左半分、(d)は右半分にそれぞれに映っているオブジェクトに対して、それぞれの電子透かしを埋め込んだ例を示す図である。It is a figure which shows the embedding pattern of a digital watermark, (a) is an upper half, (b) is a lower half, (c) is a left half, (d) is with respect to the object reflected in the right half, respectively. It is a figure which shows the example which embedded each digital watermark. 電子透かしの埋め込みパターンの例を示す図であって、映像全体に映っているオブジェクトに対して、電子透かしを埋め込んだ例を示す図である。It is a figure which shows the example of the embedding pattern of a digital watermark, Comprising: It is a figure which shows the example which embedded the digital watermark with respect to the object reflected in the whole image | video. 電子透かしの埋め込みパターンの例を示す図であって、複数の埋め込みパターンを組み合わせた例を示す図である。It is a figure which shows the example of the embedding pattern of a digital watermark, Comprising: It is a figure which shows the example which combined several embedding patterns. 図4のコンテンツ情報取得装置の領域別電子透かし検出手段の処理内容を示す模式図であって、(a)は撮影画像、(b)は分割画像、(c)は電子透かしで埋め込まれた識別情報を示す。5A and 5B are schematic diagrams showing processing contents of the area-specific digital watermark detection means of the content information acquisition apparatus of FIG. 4, where (a) is a captured image, (b) is a divided image, and (c) is an identification embedded with a digital watermark. Indicates information. オブジェクト個別情報(オブジェクト名称)の描画パターンを示す図であって、(a)は左上、(b)は右上、(c)は左下、(d)は右下にそれぞれに映っているオブジェクトに対して、オブジェクト個別情報を描画した例を示す図である。It is a figure which shows the drawing pattern of object individual information (object name), Comprising: (a) is an upper left, (b) is an upper right, (c) is a lower left, (d) is with respect to the object reflected on the lower right, respectively. It is a figure which shows the example which drawn object individual information. オブジェクト個別情報(オブジェクト名称)の描画パターンを示す図であって、(a)は上半分、(b)は下半分、(c)は左半分、(d)は右半分にそれぞれに映っているオブジェクトに対して、オブジェクト個別情報を描画した例を示す図である。It is a figure which shows the drawing pattern of object individual information (object name), (a) is reflected in the upper half, (b) is reflected in the lower half, (c) is reflected in the left half, and (d) is reflected in the right half. It is a figure which shows the example which drawn the object separate information with respect to the object. オブジェクト個別情報(オブジェクト名称)の描画パターンを示す図であって、映像全体に映っているオブジェクトに対して、オブジェクト個別情報を描画した例を示す図である。It is a figure which shows the drawing pattern of object individual information (object name), Comprising: It is a figure which shows the example which drawn object individual information with respect to the object reflected in the whole image | video. オブジェクト個別情報(オブジェクト名称)の描画パターンを示す図であって、複数の描画パターンを組み合わせた例を示す図である。It is a figure which shows the drawing pattern of object separate information (object name), Comprising: It is a figure which shows the example which combined several drawing patterns. オブジェクト個別情報(オブジェクト名称)の描画パターンの他の例を示す図であって、(a)は矩形形状とならない埋め込みパターンの例、(b)、(c)はそのときの描画パターンの例を示す図である。It is a figure which shows the other example of the drawing pattern of object separate information (object name), Comprising: (a) is an example of the embedding pattern which does not become a rectangular shape, (b), (c) is an example of the drawing pattern at that time FIG. 図4のコンテンツ情報取得装置のオブジェクト関連情報表示手段の表示例を示す図であって、(a)はオブジェクト個別情報を表示した画面、(b)はオブジェクト関連情報を表示した画面、(c)はオブジェクト関連情報を表示した他の画面の例を示す図である。It is a figure which shows the example of a display of the object related information display means of the content information acquisition apparatus of FIG. 4, Comprising: (a) is the screen which displayed object individual information, (b) is the screen which displayed object related information, (c) FIG. 10 is a diagram showing an example of another screen displaying object related information. 図1のコンテンツ配信装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the content delivery apparatus of FIG. 図1のコンテンツ情報取得装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the content information acquisition apparatus of FIG. オブジェクト個別情報(オブジェクト名称)の描画パターンの変形例を示す図であって、(a)はコンテンツの映像上にオブジェクト個別情報を配列して描画した例、(b)はコンテンツの映像を縮小し、空き領域にオブジェクト個別情報を配列して描画した例を示す図である。It is a figure which shows the modification of the drawing pattern of object individual information (object name), Comprising: (a) is the example which arranged and drawn the object individual information on the image | video of content, (b) reduced the image | video of content. FIG. 4 is a diagram illustrating an example in which individual object information is arranged and drawn in a free area. コンテンツ情報取得装置の他の構成を示すブロック構成図である。It is a block block diagram which shows the other structure of a content information acquisition apparatus. 図20のコンテンツ情報取得装置のオブジェクト関連情報表示手段の表示例を示す図であって、(a)はタブを設けたウィンドウでオブジェクト関連情報を複数表示した例、(b)は複数のウィンドウを部分的に重ねてオブジェクト関連情報を複数表示した例を示す図である。FIG. 21 is a diagram illustrating a display example of the object related information display unit of the content information acquisition apparatus in FIG. 20, where (a) shows an example in which a plurality of object related information is displayed in a window provided with a tab, and (b) shows a plurality of windows. It is a figure which shows the example which displayed several object relevant information partially overlapped.

以下、本発明の実施形態について図面を参照して説明する。
<コンテンツ情報取得システムの構成>
最初に、図1を参照して、本発明の実施形態に係るコンテンツ情報取得システムSの構成について説明する。
図1に示したコンテンツ情報取得システムSは、コンテンツ(映像コンテンツ)に電子透かしとして埋め込まれた情報から、コンテンツ情報の取得元を特定し、コンテンツ情報を取得して、ユーザの端末(コンテンツ情報取得装置)に提示するものである。
Embodiments of the present invention will be described below with reference to the drawings.
<Configuration of content information acquisition system>
Initially, with reference to FIG. 1, the structure of the content information acquisition system S which concerns on embodiment of this invention is demonstrated.
The content information acquisition system S shown in FIG. 1 specifies the acquisition source of content information from information embedded as digital watermark in the content (video content), acquires the content information, and obtains the user terminal (content information acquisition). Device).

ここで、コンテンツ情報とは、コンテンツの映像内に映っているオブジェクトの名称等の個別情報(以下、オブジェクト個別情報という)や、オブジェクトに関連する関連情報(以下、オブジェクト関連情報という)である。また、オブジェクトは、コンテンツの映像上に映る人物、物等の物体であって、オブジェクト個別情報やオブジェクト関連情報が対応付けられる対象である。なお、オブジェクトは、1つの個体である必要はなく、複数の同種の物体の集合(1群のオブジェクト)であっても構わない。   Here, the content information is individual information (hereinafter referred to as object individual information) such as the name of an object shown in the video of the content, or related information related to the object (hereinafter referred to as object related information). An object is an object such as a person or an object shown on the content video, and is a target to which object individual information or object related information is associated. Note that the object need not be one individual, and may be a set of a plurality of objects of the same kind (a group of objects).

ここでは、コンテンツ情報取得システムSは、コンテンツ配信装置1と、コンテンツ表示装置2と、コンテンツ情報取得装置3と、複数のサーバ4とを備え、コンテンツ情報取得装置3と複数のサーバ4とを、ネットワークNを介して接続した構成となっている。   Here, the content information acquisition system S includes a content distribution device 1, a content display device 2, a content information acquisition device 3, and a plurality of servers 4. The content information acquisition device 3 and the plurality of servers 4 are It is configured to be connected via a network N.

コンテンツ配信装置1は、コンテンツに、少なくともコンテンツの映像内に映っているオブジェクトを特定するための識別情報(ID)を電子透かしとして埋め込んで配信するものである。例えば、コンテンツ配信装置1は、放送局に設置され、電子透かしを埋め込んだコンテンツを放送信号として送信する。   The content distribution apparatus 1 distributes the content by embedding at least identification information (ID) for specifying an object shown in the video of the content as a digital watermark. For example, the content distribution apparatus 1 is installed in a broadcast station and transmits a content embedded with a digital watermark as a broadcast signal.

コンテンツ表示装置2は、コンテンツを画面上に表示するものである。ここでは、コンテンツ表示装置2は、コンテンツ配信装置1から送信されるコンテンツを受信して、画面上に表示する。例えば、コンテンツ表示装置2は、家庭内に設置されるテレビ受像装置、パブリックビューイングまたはデジタルサイネージ向けに設置される大型モニタ装置等である。   The content display device 2 displays content on the screen. Here, the content display device 2 receives the content transmitted from the content distribution device 1 and displays it on the screen. For example, the content display device 2 is a television receiver installed in a home, a large monitor device installed for public viewing or digital signage, and the like.

コンテンツ情報取得装置3は、コンテンツ表示装置2のコンテンツが表示された画面全体を撮影し、電子透かしを検出することで、撮影された画面内に映っているオブジェクトを特定し、サーバ4からコンテンツ情報を取得するものである。このコンテンツ情報取得装置3は、カメラ付き携帯端末として、スマートフォン、タブレット端末(タブレット型PCを含む)等として構成することができる。   The content information acquisition device 3 shoots the entire screen on which the content of the content display device 2 is displayed and detects an electronic watermark, thereby identifying an object shown in the captured screen, and the content information from the server 4. Is something to get. The content information acquisition apparatus 3 can be configured as a smartphone, a tablet terminal (including a tablet PC), or the like as a camera-equipped mobile terminal.

サーバ4は、ネットワークNを介して、コンテンツ情報を提供するものである。
なお、サーバ4は、コンテンツの映像内に映っているオブジェクトの名称等のオブジェクト個別情報およびオブジェクト関連情報の取得元となるWebサーバ4と、電子透かしとして埋め込まれた識別情報(ID)とWebサーバ4のアドレス(URL)とを関連付けて管理する検索サーバ4とがある。
以下、コンテンツ配信装置1、コンテンツ表示装置2、コンテンツ情報取得装置3の順で各装置の構成を説明する。なお、サーバ4については、一般的なWebサーバ、検索サーバとして構成できるため、ここでは、説明を省略する。
The server 4 provides content information via the network N.
The server 4 includes a Web server 4 1 as the acquisition source of the object individual information and object-related information such as the name of the object is reflected in the video content, the identification information embedded as an electronic watermark (ID) Web there is a search server 4 2 which manages in association with the server 4 first address (URL).
Hereinafter, the configuration of each device will be described in the order of the content distribution device 1, the content display device 2, and the content information acquisition device 3. Since the server 4 can be configured as a general Web server or search server, description thereof is omitted here.

〔コンテンツ配信装置の構成〕
まず、図2を参照して、コンテンツ配信装置1の構成について説明する。ここでは、コンテンツ配信装置1は、コンテンツ記憶手段10と、埋め込み情報記憶手段11と、領域別電子透かし埋め込み手段12と、送信手段13と、を備える。
[Configuration of content distribution device]
First, the configuration of the content distribution device 1 will be described with reference to FIG. Here, the content distribution apparatus 1 includes content storage means 10, embedded information storage means 11, area-specific digital watermark embedding means 12, and transmission means 13.

コンテンツ記憶手段10は、コンテンツを記憶するもので、ハードディスク等の一般的な記憶装置で構成される。このコンテンツ記憶手段10は、コンテンツを特定するための識別情報(コンテンツID)と対応付けてコンテンツのデータを記憶する。   The content storage means 10 stores content and is configured by a general storage device such as a hard disk. The content storage unit 10 stores content data in association with identification information (content ID) for specifying content.

埋め込み情報記憶手段11は、コンテンツIDと、コンテンツに電子透かしとして埋め込まれるオブジェクトを識別するための識別情報(識別ID)と、埋め込み時間と、埋め込み領域とを対応付けた埋め込み情報を記憶するものである。   The embedded information storage unit 11 stores embedded information in which a content ID, identification information (identification ID) for identifying an object embedded as a digital watermark in the content, an embedded time, and an embedded area are associated with each other. is there.

ここで、識別IDは、例えば、コンテンツを特定するための識別情報であるコンテンツIDと、当該コンテンツの映像内に映っているオブジェクトを特定するための識別情報であるオブジェクトIDとで構成される。
また、埋め込み時間は、コンテンツの表示時間において、オブジェクトが表示され、当該オブジェクトに対応する電子透かしを埋め込む時間を示す。
Here, the identification ID includes, for example, a content ID that is identification information for specifying the content and an object ID that is identification information for specifying the object shown in the video of the content.
The embedding time indicates a time during which an object is displayed and a digital watermark corresponding to the object is embedded in the content display time.

また、埋め込み領域は、コンテンツ内のフレーム(映像フレーム)で、識別IDを電子透かしとして埋め込む領域を示す。ここで、埋め込み領域は、フレームを予め定めた領域に区分した領域単位とする。例えば、図5(a)に示すように、フレームFを縦横それぞれ2分割した4つの領域を電子透かしの埋め込み領域(R1〜R4)とし、図5(b)に示すように、それぞれの領域単位で個別の電子透かし(図中、A〜B)が埋め込まれる領域となる。
なお、オブジェクトが複数の分割領域に跨って配置される場合、その分割領域に対応する埋め込み領域には、同じ電子透かし(識別ID)を埋め込むこととする。
The embedding area indicates an area where the identification ID is embedded as a digital watermark in a frame (video frame) in the content. Here, the embedding area is an area unit obtained by dividing the frame into predetermined areas. For example, as shown in FIG. 5A, four regions obtained by dividing the frame F into two vertically and horizontally are set as digital watermark embedding regions (R1 to R4), and each region unit as shown in FIG. 5B. Thus, an individual digital watermark (A to B in the figure) is embedded.
When an object is arranged across a plurality of divided areas, the same digital watermark (identification ID) is embedded in the embedded area corresponding to the divided area.

ここで、図6〜図9を参照(適宜図5参照)して、電子透かしの埋め込みパターンの例について説明する。なお、ここでは、電子透かしの埋め込み領域を、図5(a)に示したフレームFの縦横に2分割した4つの分割領域とする。   Here, an example of a digital watermark embedding pattern will be described with reference to FIGS. 6 to 9 (refer to FIG. 5 as appropriate). Here, the digital watermark embedding area is assumed to be four divided areas divided into two in the vertical and horizontal directions of the frame F shown in FIG.

1つ(1群)のオブジェクトをフレームFの1つ分割領域上に配置する場合、図6(a)のMA1,図6(b)のMA2,図6(c)のMA3,図6(d)のMA4の埋め込みパターンで示すように、そのオブジェクトを配置する分割領域を電子透かしの埋め込み領域とする。
例えば、図6(a)に示すように、フレームFの分割領域である左上の領域にオブジェクト(図中、バナナ)を配置する場合、領域R1を電子透かしの埋め込み領域とする。
When one (one group) object is arranged on one divided area of the frame F, M A1 in FIG. 6A , M A2 in FIG. 6B, M A3 in FIG. As shown by the M A4 embedding pattern 6 (d), the divided area where the object is arranged is set as an embedding area of the digital watermark.
For example, as shown in FIG. 6A, when an object (banana in the figure) is arranged in the upper left area, which is a divided area of the frame F, the area R1 is set as a digital watermark embedding area.

また、1つ(1群)のオブジェクトをフレームFの2つ分割領域に跨って配置する場合、図7(a)のMB1,図7(b)のMB2,図7(c)のMB3,図7(d)のMB4の埋め込みパターンで示すように、そのオブジェクトが配置される2つの分割領域を同じ電子透かしの埋め込み領域とする。
例えば、図7(a)に示すように、フレームの分割領域である左上および右上の領域にオブジェクト(図中、バナナ)を跨って配置する場合、領域R1,R2を同じ電子透かしの埋め込み領域とする。
When one (group) object is arranged across two divided areas of the frame F, M B1 in FIG. 7A, M B2 in FIG. 7B, and M B in FIG. 7C. B3, as indicated in the embedded pattern M B4 in FIG. 7 (d), the two divided areas the object is located in the same electronic watermark embedding region.
For example, as shown in FIG. 7A, in the case where objects (bananas in the figure) are placed across the upper left and upper right areas, which are divided areas of the frame, the areas R1 and R2 are set as the same digital watermark embedding areas. To do.

また、1つ(1群)のオブジェクトをフレームFの4つ分割領域に跨って配置する場合、図8のMC1の埋め込みパターンで示すように、そのオブジェクトが配置される4つの分割領域全体を同じ電子透かしの埋め込み領域とする。
例えば、図8に示すように、フレームのすべての分割領域にオブジェクト(図中、バナナ)を跨って配置する場合、領域R1,R2,R3,R4を同じ電子透かしの埋め込み領域とする。
When one (group) object is arranged across the four divided areas of the frame F, as shown by the embedding pattern of MC1 in FIG. The same digital watermark is embedded.
For example, as shown in FIG. 8, in the case where objects (bananas in the figure) are arranged across all the divided areas of the frame, the areas R1, R2, R3, and R4 are set as embedded areas of the same digital watermark.

なお、ここでは、埋め込みパターンとして、4つの分割領域に対して、矩形領域となるように電子透かしの埋め込み領域を設定した例を示した。しかし、この埋め込みパターンは、分割領域にオブジェクトが跨って配置可能なパターンであれば、これらのパターンに限定されない。例えば、3つの分割領域(例えば、L字領域)にオブジェクトを配置する場合は、その領域(例えば、領域R1,R3,R4)を同じ電子透かしの埋め込み対象として設定すればよい。   Here, an example is shown in which the embedding pattern of the digital watermark is set as the embedding pattern so as to be a rectangular area for the four divided areas. However, the embedding pattern is not limited to these patterns as long as the object can be arranged across the divided areas. For example, when an object is arranged in three divided areas (for example, L-shaped areas), the areas (for example, areas R1, R3, and R4) may be set as the same digital watermark embedding targets.

また、埋め込みパターンは、1つ(1群)のオブジェクトをフレームに配置する場合に限定されない。すなわち、それぞれの埋め込みパターンが相互に重ならなければ、どのような組み合わせであっても構わない。
例えば、図9に示すように、図6(c)で示した埋め込みパターンMA3と、図6(d)で示した埋め込みパターンMA4と、図7(a)で示した埋め込みパターンMB1とを組み合わせて、埋め込み領域を設定してもよい。
図2に戻って、コンテンツ配信装置1の構成について説明を続ける。
Further, the embedding pattern is not limited to the case where one (one group) object is arranged in the frame. In other words, any combination may be used as long as the respective embedding patterns do not overlap each other.
For example, as shown in FIG. 9, the embedding pattern M A3 shown in FIG. 6C, the embedding pattern M A4 shown in FIG. 6D, and the embedding pattern M B1 shown in FIG. May be combined to set the embedding area.
Returning to FIG. 2, the description of the configuration of the content distribution apparatus 1 will be continued.

領域別電子透かし埋め込み手段12は、埋め込み情報記憶手段11に記憶されている埋め込み情報に基づいて、コンテンツを構成するフレームの所定領域単位で電子透かしを埋め込むものである。この領域別電子透かし埋め込み手段12は、電子透かしを埋め込んだコンテンツを送信手段13に出力する。   The area-specific digital watermark embedding unit 12 embeds a digital watermark in a predetermined area unit of a frame constituting the content based on the embedded information stored in the embedded information storage unit 11. The area-specific digital watermark embedding unit 12 outputs the content embedded with the digital watermark to the transmission unit 13.

ここでは、領域別電子透かし埋め込み手段12は、外部から配信対象のコンテンツを指定(例えば、コンテンツID等で指定)されることで、コンテンツ記憶手段10から、対応するコンテンツを読み出し、埋め込み情報記憶手段11に記憶されている当該コンテンツに対応する埋め込み情報により、当該コンテンツに電子透かしを埋め込む。
すなわち、領域別電子透かし埋め込み手段12は、埋め込み情報で特定される埋め込み時間に対応するコンテンツのフレームにおいて、埋め込み領域で特定される領域(R1,R2等)に、オブジェクトを識別するための識別情報(識別ID)を埋め込む。
Here, the area-specific digital watermark embedding unit 12 reads the corresponding content from the content storage unit 10 by designating the content to be distributed from the outside (for example, by designating the content ID or the like), and embeds information storage unit 11 embeds a digital watermark in the content according to the embedding information corresponding to the content.
In other words, the region-specific digital watermark embedding unit 12 identifies information for identifying an object in a region (R1, R2, etc.) specified by the embedded region in the content frame corresponding to the embedded time specified by the embedded information. (Identification ID) is embedded.

ただし、領域別電子透かし埋め込み手段12は、各埋め込み領域の境界に、予め定めた間隔(ガードバンド)を設け、そこで境界部分近づく程、電子透かしを埋め込む画素の比率を相対的に減少させる等の処理を施すこととする。これによって、後記するコンテンツ情報取得装置3が、コンテンツを撮影した画像から、領域を区分して電子透かしを検出する際に、電子透かしの視認性を低減させることが可能になる。   However, the area-specific digital watermark embedding means 12 provides a predetermined interval (guard band) at the boundary of each embedding area, and relatively decreases the ratio of pixels in which the digital watermark is embedded as the boundary portion is approached there. Processing is to be performed. This makes it possible to reduce the visibility of the digital watermark when the content information acquisition device 3 to be described later classifies the area from the image obtained by capturing the content and detects the digital watermark.

なお、この領域別電子透かし埋め込み手段12は、埋め込み時間に対応するフレームごとに同じ電子透かし(識別ID)を埋め込むこととしてもよいし、連続したフレーム、例えば、15秒間(1秒間に30フレーム、450フレーム等)で1つの識別IDを埋め込むこととしてもよい。ただし、コンテンツ情報取得装置3において、コンテンツをデジタルカメラで静止画像として撮影することとする場合には、1フレーム内に識別IDを埋め込む必要がある。
なお、電子透かしをどの単位(1フレーム単位、複数フレーム単位)で埋め込むかは、予め後記するコンテンツ情報取得装置3において、既知であるとする。
この領域別電子透かし埋め込み手段12が行う電子透かしの埋め込み手法は、既知の手法を用いることができる。例えば、国際公開第05/079072号公報で開示されている手法等を用いる。
The area-specific digital watermark embedding unit 12 may embed the same digital watermark (identification ID) for each frame corresponding to the embedding time, or a continuous frame, for example, 15 seconds (30 frames per second, One identification ID may be embedded in 450 frames or the like. However, when the content information acquisition apparatus 3 captures content as a still image with a digital camera, it is necessary to embed an identification ID in one frame.
In addition, it is assumed in the content information acquisition apparatus 3 described later in advance which unit (one frame unit or plural frame unit) to embed a digital watermark.
As a digital watermark embedding method performed by the region-specific digital watermark embedding unit 12, a known method can be used. For example, the method disclosed in International Publication No. 05/079072 is used.

送信手段13は、領域別電子透かし埋め込み手段12で電子透かしが埋め込まれたコンテンツを、コンテンツ表示装置2に送信するものである。ここでは、送信手段13は、コンテンツを符号化し、放送信号に変調して、放送波として送信する。
なお、コンテンツ配信装置1とコンテンツ表示装置2との間を通信回線(例えば、無線LAN等)で接続した形態とする場合、送信手段13を通信制御手段で構成し、通信回線を介して、コンテンツを送信することとすればよい。
The transmission unit 13 transmits the content embedded with the digital watermark by the region-specific digital watermark embedding unit 12 to the content display device 2. Here, the transmission means 13 encodes the content, modulates it into a broadcast signal, and transmits it as a broadcast wave.
When the content distribution device 1 and the content display device 2 are connected via a communication line (for example, a wireless LAN), the transmission unit 13 is configured by a communication control unit, and the content is transmitted via the communication line. May be transmitted.

このようにコンテンツ配信装置1を構成することで、コンテンツ配信装置1は、コンテンツの映像内に映っているオブジェクトに対して、所定の領域単位で電子透かしを埋め込むことができる。また、コンテンツ配信装置1は、予め定めた領域に電子透かしを埋め込むことで、電子透かしを検出する側では、容易に電子透かしの位置を認識することができる。   By configuring the content distribution apparatus 1 in this way, the content distribution apparatus 1 can embed a digital watermark in units of a predetermined area with respect to an object shown in the content video. Further, the content distribution apparatus 1 can easily recognize the position of the digital watermark on the side detecting the digital watermark by embedding the digital watermark in a predetermined area.

〔コンテンツ表示装置の構成〕
次に、図3を参照して、コンテンツ表示装置2の構成について説明する。ここでは、コンテンツ表示装置2は、受信手段20と、表示手段21と、を備える。
[Configuration of content display device]
Next, the configuration of the content display device 2 will be described with reference to FIG. Here, the content display device 2 includes a receiving unit 20 and a display unit 21.

受信手段20は、コンテンツ配信装置1から送信されるコンテンツを受信するものである。ここでは、受信手段20は、放送波として送信される放送信号を復調し、符号復号することで、コンテンツとして受信する。この受信手段20は、受信したコンテンツを表示手段21に出力する。
なお、コンテンツ表示装置2とコンテンツ配信装置1との間を通信回線(例えば、無線LAN等)で接続した形態とする場合、受信手段20を通信制御手段で構成し、通信回線を介して、コンテンツを受信することとすればよい。
The receiving unit 20 receives content transmitted from the content distribution device 1. Here, the receiving means 20 demodulates and encodes and decodes a broadcast signal transmitted as a broadcast wave and receives it as content. The receiving unit 20 outputs the received content to the display unit 21.
When the content display device 2 and the content distribution device 1 are connected via a communication line (for example, a wireless LAN), the receiving unit 20 is configured by a communication control unit, and the content is transmitted via the communication line. May be received.

表示手段21は、受信手段20で受信したコンテンツを画面上に表示するものであって、一般的な液晶モニタ等で構成される。
なお、表示手段21の画面のサイズは、コンテンツ情報取得装置3が画面を撮影するために、一般的なモニタサイズ(例えば、32インチ〔32型〕)以上が好ましい。
このようにコンテンツ表示装置2を構成することで、コンテンツ表示装置2は、コンテンツ配信装置1から送信されたコンテンツを、コンテンツ情報取得装置3が撮影可能な形態で表示することができる。
The display means 21 displays the content received by the receiving means 20 on the screen, and is composed of a general liquid crystal monitor or the like.
Note that the screen size of the display means 21 is preferably a general monitor size (for example, 32 inches [32 types]) or more in order for the content information acquisition device 3 to capture the screen.
By configuring the content display device 2 in this way, the content display device 2 can display the content transmitted from the content distribution device 1 in a form that the content information acquisition device 3 can shoot.

〔コンテンツ情報取得装置の構成〕
次に、図4を参照して、コンテンツ情報取得装置3の構成について説明する。ここでは、コンテンツ情報取得装置3は、撮影手段30と、領域別電子透かし検出手段31と、領域別情報記憶手段32と、オブジェクト個別情報表示手段33と、表示位置記憶手段34と、オブジェクト関連情報表示手段35と、ネットワーク接続手段36と、表示手段37と、指定手段38と、を備える。
[Configuration of Content Information Acquisition Device]
Next, the configuration of the content information acquisition apparatus 3 will be described with reference to FIG. Here, the content information acquisition apparatus 3 includes a photographing unit 30, a region-specific digital watermark detection unit 31, a region-specific information storage unit 32, an object individual information display unit 33, a display position storage unit 34, and object related information. The display means 35, the network connection means 36, the display means 37, and the designation means 38 are provided.

撮影手段30は、コンテンツ表示装置2の表示画面を撮影するものであって、一般的なデジタルカメラ、ビデオカメラ等で構成される。
この撮影手段30は、撮影した撮影画像(静止画または動画像)を、領域別電子透かし検出手段31と、表示手段37とに出力する。
The photographing means 30 photographs the display screen of the content display device 2, and is configured by a general digital camera, a video camera, or the like.
The image capturing unit 30 outputs the captured image (still image or moving image) to the area-specific digital watermark detection unit 31 and the display unit 37.

領域別電子透かし検出手段31は、撮影手段30で撮影された撮影画像において、予め定めた領域単位で電子透かしを検出するものである。ここでは、領域別電子透かし検出手段31は、画像分割手段310と、電子透かし検出手段311と、を備える。
画像分割手段310は、撮影手段30で撮影された撮影画像をフレーム単位で予め定めた領域に分割するものである。
ここでは、画像分割手段310は、電子透かしの埋め込み領域として、フレームを、コンテンツ配信装置1と同様の区分で分割する。すなわち、ここでは、撮像画像を、縦横それぞれに2分割した4つの画像に分割する。
この画像分割手段310は、分割した画像を、電子透かし検出手段311に出力する。
The area-specific digital watermark detection means 31 detects a digital watermark in a predetermined area unit in a photographed image photographed by the photographing means 30. Here, the area-specific digital watermark detection means 31 includes an image division means 310 and a digital watermark detection means 311.
The image dividing unit 310 divides the photographed image taken by the photographing unit 30 into predetermined areas in units of frames.
Here, the image dividing unit 310 divides a frame as a digital watermark embedding area in the same classification as the content distribution apparatus 1. That is, here, the captured image is divided into four images divided into two vertically and horizontally.
The image dividing unit 310 outputs the divided image to the digital watermark detecting unit 311.

電子透かし検出手段311は、画像分割手段310で分割された画像から、電子透かしを検出するものである。なお、電子透かしの検出手法は、電子透かしの埋め込み手法と対応したものであれば、一般的な手法を用いればよい。
ここでは、電子透かし検出手段311で検出される電子透かしは、コンテンツ配信装置1で埋め込まれた識別ID、すなわち、コンテンツを特定するための識別情報であるコンテンツIDと、当該コンテンツの映像内に映っているオブジェクトを特定するための識別情報であるオブジェクトIDとで構成される識別情報である。
The digital watermark detection unit 311 detects a digital watermark from the image divided by the image division unit 310. As a digital watermark detection method, a general method may be used as long as it corresponds to the digital watermark embedding method.
Here, the digital watermark detected by the digital watermark detection means 311 is reflected in the identification ID embedded in the content distribution apparatus 1, that is, the content ID that is identification information for specifying the content, and the video of the content. It is identification information comprised with object ID which is the identification information for specifying the object which is being.

この電子透かし検出手段311は、コンテンツ配信装置1における電子透かしの埋め込み単位(1フレーム単位、複数フレーム単位)と同様の単位で、電子透かしを検出する。
この電子透かし検出手段311は、分割画像の位置に対応する電子透かしの埋め込み領域の位置(R1〜R4:図5(a)参照)と、検出した識別IDとを対応付けて、領域別情報記憶手段32に記憶する。
なお、電子透かし検出手段311は、電子透かしの埋め込み領域から電子透かしが検出されない場合、当該領域には、識別IDが存在しない旨を示すコード(例えば、NULL)を対応付けて領域別情報記憶手段32に記憶する。
また、電子透かし検出手段311は、電子透かしを検出した場合、その旨をオブジェクト個別情報表示手段33に通知する。
This digital watermark detection means 311 detects a digital watermark in the same unit as the digital watermark embedding unit (one frame unit, plural frame units) in the content distribution apparatus 1.
This digital watermark detection means 311 associates the position of the embedded area of the digital watermark corresponding to the position of the divided image (R1 to R4: see FIG. 5A) with the detected identification ID, and stores information by region. Store in the means 32.
When the digital watermark is not detected from the digital watermark embedding area, the digital watermark detection means 311 associates a code (for example, NULL) indicating that the identification ID does not exist in the area with the area-specific information storage means. 32.
Further, when the digital watermark detection unit 311 detects the digital watermark, the digital watermark detection unit 311 notifies the object individual information display unit 33 to that effect.

ここで、図10を参照(適宜図4参照)して、領域別電子透かし検出手段31の処理内容について模式的に説明する。
図10(a)は、撮影手段30によって撮影された撮影画像を示し、複数のフレームFに亘って、4つの埋め込み領域に電子透かしが埋め込まれた状態を表している。
ここで、領域R1には、オブジェクトとして“バナナ”が映っており、識別IDとして“A”(バナナの識別ID)が埋め込まれている。また、領域R2には、オブジェクトとして“リンゴ”が映っており、識別IDとして“B”(リンゴの識別ID)が埋め込まれている。また、領域R3には、オブジェクトとして“ブドウ”が映っており、識別IDとして“C”(ブドウの識別ID)が埋め込まれている。また、領域R4には、オブジェクトとして“イチゴ”が映っており、識別IDとして“D”(イチゴの識別ID)が埋め込まれている。
Here, with reference to FIG. 10 (refer to FIG. 4 as appropriate), processing contents of the region-specific digital watermark detection means 31 will be schematically described.
FIG. 10A shows a photographed image photographed by the photographing means 30 and shows a state in which digital watermarks are embedded in four embedding areas over a plurality of frames F. FIG.
Here, in the region R1, “banana” is reflected as an object, and “A” (banana identification ID) is embedded as an identification ID. In the region R2, “apple” is shown as an object, and “B” (apple identification ID) is embedded as an identification ID. In the region R3, “grape” is reflected as an object, and “C” (grape identification ID) is embedded as an identification ID. In the region R4, “strawberry” is reflected as an object, and “D” (strawberry identification ID) is embedded as an identification ID.

ここで、画像分割手段310は、図10(b)に示すように、図10(a)の撮影画像をフレームFごとに予め定めた4つの領域に分割する。これによって、各分割画像には、電子透かしが埋め込まれていれば、1つの識別IDだけが埋め込まれていることになる。
そして、電子透かし検出手段311は、図10(b)の各分割画像において、電子透かしを検出することで、図10(c)に示すように、それぞれのオブジェクトに対応する識別ID(A,B,C,D)を検出する。
図4に戻って、コンテンツ情報取得装置3の構成について説明を続ける。
Here, the image dividing unit 310 divides the photographed image of FIG. 10A into four predetermined areas for each frame F, as shown in FIG. Thereby, in each divided image, only one identification ID is embedded if a digital watermark is embedded.
Then, the digital watermark detection means 311 detects the digital watermark in each divided image of FIG. 10B, and as shown in FIG. 10C, the identification ID (A, B corresponding to each object). , C, D).
Returning to FIG. 4, the description of the configuration of the content information acquisition apparatus 3 will be continued.

領域別情報記憶手段32は、電子透かしの埋め込み領域ごとに、領域別電子透かし検出手段31で検出された電子透かし(識別ID)を記憶するものである。この領域別情報記憶手段32は、一般的なメモリで構成することができる。   The area-specific information storage means 32 stores the digital watermark (identification ID) detected by the area-specific digital watermark detection means 31 for each embedded area of the digital watermark. This area-specific information storage means 32 can be constituted by a general memory.

オブジェクト個別情報表示手段33は、電子透かし(識別ID)が埋め込まれたコンテンツの映像内に映っているオブジェクトの名称等のオブジェクト個別情報を取得して、取得したオブジェクト個別情報をオブジェクトに対応付けて画面上に表示するものである。ここでは、オブジェクト個別情報表示手段33は、ID別情報取得手段330と、表示位置決定手段331と、ID別情報表示手段332と、を備える。   The object individual information display means 33 acquires object individual information such as the name of the object shown in the video of the content in which the digital watermark (identification ID) is embedded, and associates the acquired object individual information with the object. It is displayed on the screen. Here, the object individual information display means 33 includes ID-specific information acquisition means 330, display position determination means 331, and ID-specific information display means 332.

ID別情報取得手段330は、領域別電子透かし検出手段31から電子透かし(識別ID)を検出した旨を通知された際に、識別IDに対応するオブジェクト個別情報を、ネットワーク接続手段36を介して取得するものである。
このID別情報取得手段330は、領域別情報記憶手段32に記憶されている識別IDを読み出し、当該識別IDに対応するオブジェクト個別情報を、ネットワーク接続手段36を介して取得する。
The ID-specific information acquisition unit 330 receives the individual object information corresponding to the identification ID via the network connection unit 36 when notified by the region-specific digital watermark detection unit 31 that the digital watermark (identification ID) has been detected. To get.
The ID-specific information acquisition unit 330 reads the identification ID stored in the area-specific information storage unit 32 and acquires the individual object information corresponding to the identification ID via the network connection unit 36.

ここでは、ID別情報取得手段330は、予め定めた固定の検索サーバ4(サーバ4)において、識別IDに対応するオブジェクト個別情報を提供するWebサーバ4(サーバ4)を検索し、そのWebサーバ4から、識別IDに対応するオブジェクト個別情報を取得する。この固定の検索サーバ4は、例えば、コンテンツ配信装置1内に組み込まれたものであってもよい。 Here, the ID-specific information acquisition means 330 searches the predetermined fixed search server 4 2 (server 4) for the Web server 4 1 (server 4) that provides the individual object information corresponding to the identification ID, and from the Web server 4 1 to obtain the object individual information corresponding to the identification ID. Search server 4 2 of the fixing, for example, or may be incorporated in the content distribution apparatus 1.

また、例えば、電子透かしとして、識別ID以外にオブジェクト個別情報の取得元を示すアドレスを埋め込んでおき、ID別情報取得手段330は、そのアドレスで特定されるWebサーバ4から、オブジェクト個別情報を取得することとしてもよい。
また、ID別情報取得手段330は、複数の埋め込み領域に同じ識別IDが埋め込まれている場合(例えば、図7等)、その識別IDに対して1つのオブジェクト個別情報を取得することとする。
このID別情報取得手段330は、取得した識別IDに対するオブジェクト個別情報を、ID別情報表示手段332に出力する。
Further, for example, as an electronic watermark, embeds the address indicating the acquisition source of the object individual information except the identification ID, ID-specific information acquisition unit 330, the Web server 4 1 specified by the address, the object individual information It is good also as acquiring.
Further, when the same identification ID is embedded in a plurality of embedding areas (for example, FIG. 7), the ID-specific information acquisition unit 330 acquires one object individual information for the identification ID.
The ID-specific information acquisition unit 330 outputs the individual object information for the acquired identification ID to the ID-specific information display unit 332.

なお、識別IDに対応するオブジェクト個別情報がWebサーバ4から取得できない等のエラーが発生した場合、ID別情報取得手段330は、その識別IDに対応するオブジェクト個別情報のID別情報表示手段332への出力は行わない。また、このとき、ID別情報取得手段330は、当該識別IDに対応するオブジェクト個別情報が存在しない旨を表示位置決定手段331に通知する。 Incidentally, when an error, such as the object individual information corresponding to the identification ID can not be acquired from the Web server 4 1 occurs, ID-specific information acquisition section 330, ID-specific information display means of an object individual information corresponding to the identification ID 332 Output to is not performed. At this time, the ID-specific information acquisition unit 330 notifies the display position determination unit 331 that there is no object individual information corresponding to the identification ID.

表示位置決定手段331は、領域別電子透かし検出手段31から電子透かしを検出した旨を通知された際に、オブジェクト個別情報の表示位置を予め定めた規則に基づいて決定するものである。   The display position determination unit 331 determines the display position of the individual object information based on a predetermined rule when notified that the digital watermark is detected from the region-specific digital watermark detection unit 31.

ここでは、表示位置決定手段331は、ある領域のみに識別IDが埋め込まれている場合、その領域上の位置(例えば、領域中心)をオブジェクト個別情報の表示位置とする。
また、表示位置決定手段331は、複数の領域に同じ識別IDが埋め込まれている場合、その複数の領域に対する予め定めた位置をオブジェクト個別情報の表示位置とする。
例えば、同じ識別IDが埋め込まれた複数の領域を連結して全体として矩形形状となる場合、表示位置決定手段331は、その矩形形状の領域上の位置(例えば、矩形形状領域の中心)をオブジェクト個別情報の表示位置とする。
Here, when the identification ID is embedded only in a certain area, the display position determining unit 331 sets the position on the area (for example, the center of the area) as the display position of the object individual information.
Further, when the same identification ID is embedded in a plurality of areas, the display position determining unit 331 sets a predetermined position for the plurality of areas as the display position of the object individual information.
For example, when a plurality of areas embedded with the same identification ID are connected to form a rectangular shape as a whole, the display position determining unit 331 uses the position on the rectangular area (for example, the center of the rectangular area) as an object. The display position of individual information.

また、例えば、同じ識別IDが埋め込まれた複数の領域を連結しても全体として矩形形状とならない場合(L字形状等)、表示位置決定手段331は、その識別IDが埋め込まれた複数の領域において、1つの領域を基準領域として、当該基準領域の水平方向および垂直方向でその識別IDが埋め込まれた領域の個数が最大となる基準領域上の位置(例えば、領域中心)をオブジェクト個別情報の表示位置とする。
また、同じ識別IDが埋め込まれた複数の領域が矩形形状とならない場合、表示位置決定手段331は、その複数の領域で構成される図形の重心をオブジェクト個別情報の表示位置としてもよい。
この表示位置決定手段331は、識別IDに対応するオブジェクト個別情報の表示位置をID別情報表示手段332に出力する。
Further, for example, when a plurality of regions embedded with the same identification ID are not connected to form a rectangular shape as a whole (such as an L-shape), the display position determining unit 331 uses the plurality of regions with the identification ID embedded therein. In the above, the position (for example, the center of the area) on the reference area where the number of areas in which the identification ID is embedded in the horizontal direction and the vertical direction of the reference area is the maximum is set as the reference area. Display position.
In addition, when a plurality of areas in which the same identification ID is embedded do not have a rectangular shape, the display position determining unit 331 may use the center of gravity of the figure formed by the plurality of areas as the display position of the individual object information.
The display position determination unit 331 outputs the display position of the individual object information corresponding to the identification ID to the ID-specific information display unit 332.

また、表示位置決定手段331は、識別IDに対応付けてオブジェクト個別情報の表示位置(例えば、識別IDのタグの位置、大きさ)を、表示位置記憶手段34に記憶する。
なお、表示位置決定手段331は、ID別情報取得手段330から、識別IDに対応するオブジェクト個別情報が存在しない旨を通知された場合、当該識別IDに対応するオブジェクト個別情報の表示位置の決定を行わないこととする。
The display position determination unit 331 stores the display position of the object individual information (for example, the position and size of the tag of the identification ID) in the display position storage unit 34 in association with the identification ID.
When the display position determination unit 331 is notified from the ID-specific information acquisition unit 330 that there is no object individual information corresponding to the identification ID, the display position determination unit 331 determines the display position of the object individual information corresponding to the identification ID. Do not do it.

ID別情報表示手段332は、ID別情報取得手段330で取得した識別IDに対応するオブジェクト個別情報を、表示位置決定手段331で決定された識別IDに対応するオブジェクト個別情報の表示位置に表示するものである。
このID別情報表示手段332は、描画内容(オブジェクト個別情報〔オブジェクトの名称)と、その表示位置とを表示手段37に出力する。
The ID-specific information display unit 332 displays the object individual information corresponding to the identification ID acquired by the ID-specific information acquisition unit 330 at the display position of the object individual information corresponding to the identification ID determined by the display position determination unit 331. Is.
This ID-specific information display means 332 outputs the drawing contents (object individual information [object name) and its display position to the display means 37.

なお、ここでは、ID別情報表示手段332が出力する描画内容は、オブジェクト個別情報(オブジェクトの名称)の文字列が領域として含まれる大きさのタグに当該文字列を記述した画像とする。また、ID別情報表示手段332は、当該タグの中心が表示位置となるように、表示手段37に指示する。   Here, the drawing content output by the ID-specific information display unit 332 is an image in which the character string is described in a tag whose size includes the character string of the object individual information (object name). The ID-specific information display unit 332 instructs the display unit 37 so that the center of the tag is the display position.

ここで、図11〜図14を参照(適宜図4参照)して、図6〜図9で説明した埋め込み領域に電子透かし(識別ID)が埋め込まれている場合のオブジェクト個別情報の描画パターンの例について説明する。なお、図11〜図14は、コンテンツ情報取得装置3の画面上の内容を示している。   Here, referring to FIG. 11 to FIG. 14 (refer to FIG. 4 as appropriate), the drawing pattern of the object individual information when the digital watermark (identification ID) is embedded in the embedding area described in FIG. 6 to FIG. An example will be described. 11 to 14 show the contents on the screen of the content information acquisition apparatus 3.

図6で説明した1つ(1群)のオブジェクトがフレームFの1つ分割領域上に配置され、その分割領域のみに電子透かしが埋め込まれている場合、オブジェクト個別情報表示手段33は、図11(a)のDA1,図11(b)のDA2,図11(c)のDA3,図11(d)のDA4の描画パターンで示すように、撮像画像を4分割した領域の中で、電子透かしが検出された領域に対応する領域の中心にオブジェクト個別情報を描画する。
例えば、オブジェクト個別情報表示手段33は、図11(a)に示すように、オブジェクト(図中、バナナ)が配置されている分割領域D1の中心にオブジェクトの名称を記載したタグT1を描画する。
When one (one group) object described in FIG. 6 is arranged on one divided area of the frame F and a digital watermark is embedded only in the divided area, the object individual information display means 33 displays the object individual information display means 33 in FIG. D A1 of (a), D A2 of FIG. 11 (b), D A3 in FIG. 11 (c), the as shown by the drawing pattern D A4 of FIG. 11 (d), the inside of the four divided regions captured images Thus, the individual object information is drawn at the center of the area corresponding to the area where the digital watermark is detected.
For example, as shown in FIG. 11A, the object individual information display means 33 draws a tag T1 in which the name of the object is written at the center of the divided area D1 where the object (banana in the figure) is arranged.

また、図7で説明した1つ(1群)のオブジェクトがフレームFの2つ分割領域に跨って配置され、2つの分割領域に同じ電子透かしが埋め込まれている場合、オブジェクト個別情報表示手段33は、図12(a)のDB1,図12(b)のDB2,図12(c)のDB3,図12(d)のDB4の描画パターンで示すように、撮像画像を4分割した領域の中で、電子透かしが検出された2つの領域に対応する領域の中心にオブジェクト個別情報を描画する。
例えば、オブジェクト個別情報表示手段33は、図12(a)に示すように、オブジェクト(図中、バナナ)が配置されている分割領域D1,D2を連結した矩形領域の中心にオブジェクトの名称を記載したタグT1を描画する。
Further, when one (one group) object described in FIG. 7 is arranged across the two divided areas of the frame F and the same digital watermark is embedded in the two divided areas, the object individual information display means 33 is displayed. Is divided into four as shown in the drawing pattern of D B1 in FIG. 12A, D B2 in FIG. 12B, D B3 in FIG. 12C, and D B4 in FIG. The individual object information is drawn at the center of the area corresponding to the two areas where the digital watermark has been detected.
For example, as shown in FIG. 12A, the object individual information display means 33 describes the name of the object at the center of the rectangular area connecting the divided areas D1 and D2 where the objects (bananas in the figure) are arranged. The drawn tag T1 is drawn.

また、図8で説明した1つ(1群)のオブジェクトがフレームFの4つ分割領域に跨って配置され、4つの分割領域に同じ電子透かしが埋め込まれている場合、オブジェクト個別情報表示手段33は、図13のDC1の描画パターンで示すように、撮像画像を4分割した領域の中で、電子透かしが検出された4つの領域に対応する領域の中心、すなわち表示画面全体の中心にオブジェクト個別情報を描画する。
例えば、オブジェクト個別情報表示手段33は、図13に示すように、オブジェクト(図中、バナナ)が配置されている分割領域D1,D2,D3,D4を連結した矩形領域の中心にオブジェクトの名称を記載したタグT1を描画する。
Further, when one (one group) object described in FIG. 8 is arranged across the four divided areas of the frame F and the same digital watermark is embedded in the four divided areas, the object individual information display means 33 is displayed. As shown in the drawing pattern of D C1 in FIG. 13, the object is located at the center of the area corresponding to the four areas where the digital watermark is detected in the area obtained by dividing the captured image into four areas, that is, the center of the entire display screen. Draw individual information.
For example, as shown in FIG. 13, the object individual information display means 33 displays the name of an object at the center of a rectangular area connecting divided areas D1, D2, D3, and D4 where objects (bananas in the figure) are arranged. The described tag T1 is drawn.

また、図9で説明した複数の埋め込みパターンで電子透かしが埋め込まれている場合、オブジェクト個別情報表示手段33は、図14のDの描画パターンで示すように、同じ電子透かしが検出された領域ごとの中心にオブジェクト個別情報を描画する。 Also, when the electronic watermark is embedded in the plurality of embedding patterns described in FIG. 9, the object individual information display unit 33, as shown by the drawing pattern D X in FIG. 14, the same watermark is detected region The individual object information is drawn at the center of each object.

次に、図15を参照(適宜図4参照)して、同じ識別IDが埋め込まれた複数の領域を連結しても全体として矩形形状にならない場合のオブジェクト個別情報の描画パターンの例について説明する。
ここでは、図15(a)の埋め込みパターンMに示すように、1つ(1群)のオブジェクト(図中、イチゴ)がフレームFにおいて、L字形状の領域R1,R3,R4に跨って配置され、領域R1,R3,R4に同じ識別IDが埋め込まれていたとする。
この場合、例えば、オブジェクト個別情報表示手段33は、図15(b)の描画パターンDL1に示すように、同じ識別IDが埋め込まれた複数の領域において、1つの領域を基準領域として、当該基準領域の水平方向および垂直方向でその識別IDが埋め込まれた領域の個数が最大となる基準領域上にオブジェクト個別情報を描画する。なお、個数が最大となる基準領域が複数存在する場合は、いずれか1つの基準領域上、例えば、より画面上部、または、より画面左に位置する領域にオブジェクト個別情報を描画することとする。
Next, with reference to FIG. 15 (refer to FIG. 4 as appropriate), an example of a drawing pattern of object individual information when a plurality of regions embedded with the same identification ID are not combined to form a rectangular shape as a whole will be described. .
Here, as shown in the embedding pattern M L in FIG. 15 (a), (in the figure, strawberries) objects of one (1 group) in the frame F, across the regions R1, R3, R4 of the L-shaped Assume that the same identification ID is embedded in the regions R1, R3, and R4.
In this case, for example, as shown in the drawing pattern DL1 in FIG. 15B, the object individual information display means 33 uses the one region as a reference region in the plurality of regions in which the same identification ID is embedded, and The individual object information is drawn on the reference area where the number of areas in which the identification IDs are embedded is maximized in the horizontal direction and the vertical direction of the area. When there are a plurality of reference areas having the maximum number, the individual object information is drawn on any one of the reference areas, for example, an area located on the upper part of the screen or on the left side of the screen.

図15(b)の例で、分割領域D1を基準領域とした場合、分割領域D1の水平方向および垂直方向で同じ識別IDが埋め込まれた領域の個数は、分割領域D1,D3の2つである。
また、分割領域D3を基準領域とした場合、分割領域D3の水平方向および垂直方向で同じ識別IDが埋め込まれた領域の個数は、分割領域D1,D3,D4の3つである。
また、分割領域D4を基準領域とした場合、分割領域D4の水平方向および垂直方向で同じ識別IDが埋め込まれた領域の個数は、分割領域D3,D4の2つである。
よって、この場合、オブジェクト個別情報表示手段33は、水平方向と垂直方向とで同じ識別IDが埋め込まれた領域の個数が最大となる分割領域D3の中心にオブジェクト個別情報を描画する。
In the example of FIG. 15B, when the divided region D1 is used as the reference region, the number of regions in which the same identification ID is embedded in the horizontal direction and the vertical direction of the divided region D1 is two divided regions D1 and D3. is there.
Further, when the divided area D3 is a reference area, the number of areas in which the same identification ID is embedded in the horizontal direction and the vertical direction of the divided area D3 is three of the divided areas D1, D3, and D4.
Further, when the divided region D4 is used as a reference region, the number of regions in which the same identification ID is embedded in the horizontal direction and the vertical direction of the divided region D4 is two divided regions D3 and D4.
Therefore, in this case, the object individual information display means 33 draws the object individual information at the center of the divided area D3 in which the number of areas in which the same identification ID is embedded in the horizontal direction and the vertical direction is maximized.

また、例えば、オブジェクト個別情報表示手段33は、図15(c)の描画パターンDL2に示すように、同じ識別IDが埋め込まれた複数の領域を連結した図形の重心にオブジェクト個別情報を描画する。
図15(c)の例の場合、オブジェクト個別情報表示手段33は、分割領域D1,D3,D4を連結した図形の重心(面積重心)にオブジェクト個別情報を描画する。なお、オブジェクト個別情報表示手段33は、同じ識別IDが埋め込まれた複数の領域を連結し全体として矩形形状になる場合でも、オブジェクト個別情報の描画位置を、その矩形形状の図形の重心とて計算することとしてもよい。
図4に戻って、コンテンツ情報取得装置3の構成について説明を続ける。
Further, for example, the object individual information display means 33 draws the object individual information on the center of gravity of the figure connecting a plurality of areas in which the same identification ID is embedded, as shown in the drawing pattern DL2 in FIG. .
In the case of the example of FIG. 15C, the object individual information display means 33 draws the object individual information on the center of gravity (area center of gravity) of the figure connecting the divided regions D1, D3, and D4. Note that the individual object information display means 33 calculates the drawing position of the individual object information as the center of gravity of the rectangular figure even when a plurality of areas embedded with the same identification ID are connected to form a rectangular shape as a whole. It is good to do.
Returning to FIG. 4, the description of the configuration of the content information acquisition apparatus 3 will be continued.

表示位置記憶手段34は、オブジェクト個別情報表示手段33がオブジェクト個別情報を表示した位置(例えば、タグの位置、大きさ)を、識別IDとともに記憶するものである。この表示位置記憶手段34は、一般的なメモリ等で構成することができる。   The display position storage means 34 stores the position (for example, the position and size of the tag) where the object individual information display means 33 displays the object individual information together with the identification ID. The display position storage means 34 can be configured by a general memory or the like.

オブジェクト関連情報表示手段35は、電子透かし(識別ID)が埋め込まれたコンテンツの映像内に映っているオブジェクトに関連するオブジェクト関連情報を取得して、取得したオブジェクト関連情報を画面上に表示するものである。ここでは、オブジェクト関連情報表示手段35は、関連情報取得手段350と、関連情報表示手段351と、を備える。   The object related information display means 35 acquires object related information related to an object shown in the video of the content in which the digital watermark (identification ID) is embedded, and displays the acquired object related information on the screen. It is. Here, the object related information display means 35 includes related information acquisition means 350 and related information display means 351.

関連情報取得手段350は、ユーザが指定したオブジェクトに対応するオブジェクト関連情報を、ネットワーク接続手段36を介して取得するものである。
ここでは、関連情報取得手段350は、指定手段38を介してユーザに指定されたオブジェクト個別情報のタグ位置に対応する領域の識別IDを表示位置記憶手段34から読み出し、予め定めた固定の検索サーバ4(サーバ4)において、選択されたオブジェクト(オブジェクト名称)に対応するオブジェクト関連情報を提供するWebサーバ4(サーバ4)を検索し、そのWebサーバ4から、識別IDに対応するオブジェクト関連情報を取得する。
The related information acquisition unit 350 acquires object related information corresponding to an object designated by the user via the network connection unit 36.
Here, the related information acquisition means 350 reads the identification ID of the area corresponding to the tag position of the object individual information designated by the user via the designation means 38 from the display position storage means 34, and determines a predetermined fixed search server. in 4 2 (server 4), searches the Web server 4 1 to provide an object-related information corresponding to the selected object (object name) (server 4), from the Web server 4 1, corresponding to the identification ID object Get related information.

なお、オブジェクト個別情報とオブジェクト関連情報とを同じWebサーバ4で提供する場合、関連情報取得手段350は、ID別情報取得手段330ですでに検索済みのWebサーバ4からオブジェクト関連情報を取得することとしてもよい。
また、関連情報取得手段350は、ユーザに指定されたオブジェクト個別情報のタグ位置のみならず、ユーザが指定した位置が、識別IDが埋め込まれている領域であれば、当該領域に映っているオブジェクトを指定したとみなしてもよい。
この関連情報取得手段350は、取得したオブジェクト関連情報を、関連情報表示手段351に出力する。
In the case of providing the object individual information and the object-related information in the same Web server 4 1, related information acquisition section 350, acquires the object-related information from the Web server 4 1 already been retrieved in the ID-information obtaining means 330 It is good to do.
In addition, the related information acquisition unit 350 can display not only the tag position of the object individual information specified by the user but also the object shown in the area if the position specified by the user is an area where the identification ID is embedded. May be considered as specified.
The related information acquisition unit 350 outputs the acquired object related information to the related information display unit 351.

関連情報表示手段351は、関連情報取得手段350で取得されたオブジェクト関連情報を表示するものである。
ここでは、関連情報表示手段351は、オブジェクト関連情報であるHTML等のページ記述言語で記述されたWebページを解釈するブラウザであって、取得したWebページを表示データに変換して、表示手段37に出力する。
なお、関連情報表示手段351は、オブジェクト関連情報を表示する際に、コンテンツを一旦非表示にして、表示画面全体にオブジェクト関連情報を表示することとしてもよいし、コンテンツを一旦縮小し、空き領域にオブジェクト関連情報を表示することとしてもよい。
The related information display unit 351 displays the object related information acquired by the related information acquisition unit 350.
Here, the related information display unit 351 is a browser that interprets a Web page described in a page description language such as HTML that is object related information, converts the acquired Web page into display data, and displays the display unit 37. Output to.
When displaying the object related information, the related information display unit 351 may temporarily hide the content and display the object related information on the entire display screen. Object related information may be displayed on the screen.

例えば、図16(a)に示すように、オブジェクト上にオブジェクト名称(オブジェクト個別情報)を記載したタグが表示された状態で、関連情報取得手段350が、ユーザに選択されたタグT1に記載のオブジェクト名称(オブジェクト個別情報)に関連するWebページ(オブジェクト関連情報)を取得したとする。
このとき、関連情報表示手段351は、図16(b)に示すように、表示画面全体にWebページを表示する。あるいは、関連情報表示手段351は、図16(c)に示すように、図16(a)の画面を縮小し、空き領域にWebページを表示する。
For example, as shown in FIG. 16A, in a state where a tag describing an object name (object individual information) is displayed on the object, the related information acquisition unit 350 describes the tag T1 selected by the user. It is assumed that a Web page (object related information) related to the object name (object individual information) is acquired.
At this time, the related information display unit 351 displays the Web page on the entire display screen as shown in FIG. Alternatively, as shown in FIG. 16C, the related information display unit 351 reduces the screen of FIG. 16A and displays a Web page in a free area.

ネットワーク接続手段36は、ネットワークNに接続され、要求のあったサーバ4からコンテンツ情報を取得するものである。
このネットワーク接続手段36は、オブジェクト個別情報表示手段33から指定されたサーバ4にアクセスし、オブジェクト個別情報を取得したり、オブジェクト関連情報表示手段35から指定されたサーバ4にアクセスし、オブジェクト関連情報を取得したりする。
The network connection means 36 is connected to the network N and acquires content information from the requested server 4.
The network connection means 36 accesses the server 4 specified from the object individual information display means 33 to acquire the object individual information, or accesses the server 4 specified from the object related information display means 35 to access the object related information. Or get.

表示手段37は、撮影手段30で撮影されたコンテンツを画面上に表示するものであって、一般的な液晶モニタ等で構成される。
この表示手段37は、オブジェクト個別情報表示手段33からオブジェクト個別情報およびその表示位置が入力された場合、コンテンツ上の指定された表示位置にオブジェクト個別情報を合成(重畳)して表示する。
また、表示手段37は、オブジェクト関連情報表示手段35からオブジェクト関連情報が入力された場合、コンテンツを非表示あるいは縮小して、オブジェクト関連情報を表示する。
The display means 37 displays the content photographed by the photographing means 30 on the screen, and is composed of a general liquid crystal monitor or the like.
When the object individual information and its display position are input from the object individual information display means 33, the display means 37 combines (superimposes) and displays the object individual information at the designated display position on the content.
In addition, when the object related information is input from the object related information display unit 35, the display unit 37 displays the object related information by hiding or reducing the content.

指定手段38は、コンテンツ上のオブジェクトの位置をユーザから指定されるものである。この指定手段38は、表示手段37がコンテンツを表示する画面上に備えたタッチパネルから入力されるユーザのタップ操作により画面上の位置が指定される。
なお、指定手段38は、マウス操作によって、画面上の位置が指定されるものであっても構わない。
The designation means 38 is for designating the position of the object on the content by the user. The designation means 38 designates a position on the screen by a user tap operation input from a touch panel provided on the screen on which the display means 37 displays content.
Note that the designation unit 38 may designate a position on the screen by a mouse operation.

このようにコンテンツ情報取得装置3を構成することで、コンテンツ情報取得装置3は、予め定めた領域の区分単位で電子透かしを検出するだけで、コンテンツの映像内に映っているオブジェクトを認識することができる。
また、コンテンツ情報取得装置3は、コンテンツ関連情報を取得可能なオブジェクトを視覚的に提示することができる。そのため、コンテンツ情報取得装置3は、ユーザのタップ操作等の簡易な指定で、オブジェクト関連情報を、ネットワークNを介して取得して提示することができる。
By configuring the content information acquisition device 3 in this way, the content information acquisition device 3 recognizes an object shown in the content video only by detecting a digital watermark in units of predetermined areas. Can do.
Further, the content information acquisition device 3 can visually present an object from which content-related information can be acquired. Therefore, the content information acquisition device 3 can acquire and present object-related information via the network N with a simple designation such as a user tap operation.

なお、コンテンツ情報取得装置3は、コンピュータを前記した各手段として機能させるためのコンテンツ情報取得プログラムで動作させることができる。このコンテンツ情報取得プログラムは、CD−ROM等の記録媒体に記録して配布したり、通信回線を介して配信したりすることができる。また、このコンテンツ情報取得プログラムは、スマートフォンや、タブレット端末上で動作するアプリケーションとして配布することも可能である。   The content information acquisition device 3 can be operated by a content information acquisition program for causing a computer to function as each of the means described above. This content information acquisition program can be recorded and distributed on a recording medium such as a CD-ROM, or distributed via a communication line. The content information acquisition program can also be distributed as an application that runs on a smartphone or tablet terminal.

<コンテンツ情報取得システムの動作>
次に、本発明の実施形態に係るコンテンツ情報取得システムSの動作について説明する。ここでは、コンテンツ内のオブジェクトに対する電子透かしの埋め込みおよび検出を行うコンテンツ配信装置1およびコンテンツ情報取得装置3の動作について説明する。なお、コンテンツ表示装置2およびサーバ4については、詳細な説明は省略し、適宜、コンテンツ配信装置1およびコンテンツ情報取得装置3の動作において付加的に説明することとする。
<Operation of content information acquisition system>
Next, the operation of the content information acquisition system S according to the embodiment of the present invention will be described. Here, operations of the content distribution device 1 and the content information acquisition device 3 that embed and detect a digital watermark with respect to an object in the content will be described. Detailed description of the content display device 2 and the server 4 will be omitted, and will be additionally described in the operations of the content distribution device 1 and the content information acquisition device 3 as appropriate.

〔コンテンツ配信装置の動作〕
最初に、図17を参照(構成については適宜図2参照)して、コンテンツ配信装置1の動作について説明する。
まず、コンテンツ配信装置1は、埋め込み情報記憶手段11に、コンテンツを特定するためのコンテンツIDに対応付けて、当該コンテンツに電子透かしとして埋め込まれるオブジェクトを識別するための識別情報(識別ID)と、埋め込み時間と、埋め込み領域とを埋め込み情報として記憶しておく(ステップS1)。
ここで、識別IDは、コンテンツIDと、当該コンテンツの映像内に映っているオブジェクトを特定するためのオブジェクトIDとを連結した値とする。
これによって、どのコンテンツにおいて、どの時間区間で、どの領域に電子透かし(識別ID)が埋め込まれるのかが特定されることになる。
[Operation of content distribution device]
First, the operation of the content distribution apparatus 1 will be described with reference to FIG.
First, the content distribution apparatus 1 associates identification information (identification ID) for identifying an object embedded in the content as a digital watermark in association with the content ID for specifying the content in the embedded information storage unit 11. The embedding time and the embedding area are stored as embedding information (step S1).
Here, the identification ID is a value obtained by concatenating the content ID and the object ID for specifying the object shown in the video of the content.
As a result, in which content, in which time interval, in which region the digital watermark (identification ID) is embedded is specified.

そして、コンテンツ配信装置1は、領域別電子透かし埋め込み手段12によって、コンテンツIDで指定されたコンテンツをコンテンツ記憶手段10から読み出し、コンテンツIDに対応して埋め込み情報記憶手段11に記憶されている埋め込み情報に基づいて、コンテンツに対応する識別情報(識別ID)を電子透かしとして埋め込む。
このとき、領域別電子透かし埋め込み手段12は、埋め込み情報で特定される埋め込み時間に対応するコンテンツのフレームにおいて、埋め込み領域で特定される所定領域単位で、オブジェクトを識別するための識別情報(識別ID)を埋め込む(ステップS2)。
そして、コンテンツ配信装置1は、送信手段13によって、ステップS2で電子透かしを埋め込んだコンテンツを、コンテンツ表示装置2に送信する(ステップS3)。
Then, the content distribution apparatus 1 reads the content specified by the content ID from the content storage unit 10 by the area-specific digital watermark embedding unit 12 and stores the embedded information stored in the embedded information storage unit 11 corresponding to the content ID. The identification information (identification ID) corresponding to the content is embedded as a digital watermark.
At this time, the area-specific digital watermark embedding unit 12 uses identification information (identification ID) for identifying an object in a predetermined area unit specified by the embedded area in the content frame corresponding to the embedded time specified by the embedded information. ) Is embedded (step S2).
Then, the content distribution apparatus 1 transmits the content embedded with the digital watermark in step S2 to the content display apparatus 2 by the transmission unit 13 (step S3).

以上の動作によって、コンテンツ配信装置1は、コンテンツに映っているオブジェクトを、予め定めた領域でコンテンツのフレームを区分した領域単位で認識できるように、オブジェクトに対応した電子透かしを埋め込むことができる。
このコンテンツ表示装置2が送信したコンテンツは、コンテンツ表示装置2の受信手段20によって受信され、表示手段21によって表示画面上に表示される。
With the above operation, the content distribution apparatus 1 can embed a digital watermark corresponding to an object so that the object shown in the content can be recognized in units of regions obtained by dividing the content frame by a predetermined region.
The content transmitted by the content display device 2 is received by the receiving unit 20 of the content display device 2 and displayed on the display screen by the display unit 21.

〔コンテンツ情報取得装置の動作〕
次に、図18を参照(構成については適宜図4参照)して、コンテンツ情報取得装置3の動作について説明する。
まず、コンテンツ情報取得装置3は、撮影手段30によって、コンテンツ表示装置2の表示画面全体を撮影する(ステップS11)。
[Operation of Content Information Acquisition Device]
Next, the operation of the content information acquisition apparatus 3 will be described with reference to FIG.
First, the content information acquisition device 3 captures the entire display screen of the content display device 2 with the photographing unit 30 (step S11).

そして、コンテンツ情報取得装置3は、領域別電子透かし検出手段31によって、ステップS1で撮影された撮影画像において、予め定めた領域単位で電子透かしを検出する。
すなわち、コンテンツ情報取得装置3は、領域別電子透かし検出手段31の画像分割手段310によって、撮影画像をフレーム単位で予め定めた領域に分割する(ステップS12)。
そして、コンテンツ情報取得装置3は、領域別電子透かし検出手段31の電子透かし検出手段311によって、画像分割手段310で分割された画像から、電子透かし(識別ID)を検出する(ステップS13)。
Then, the content information acquisition device 3 detects the digital watermark in units of predetermined regions in the captured image captured in step S1 by the region-specific digital watermark detection means 31.
In other words, the content information acquisition device 3 divides the captured image into predetermined regions in units of frames by the image dividing unit 310 of the region-specific digital watermark detection unit 31 (step S12).
Then, the content information acquisition apparatus 3 detects the digital watermark (identification ID) from the image divided by the image division unit 310 by the digital watermark detection unit 311 of the region-specific digital watermark detection unit 31 (step S13).

そして、コンテンツ情報取得装置3は、オブジェクト個別情報表示手段33によって、電子透かし(識別ID)が埋め込まれたコンテンツ内のオブジェクト個別情報を、サーバ4から取得して、そのオブジェクト個別情報をオブジェクトに対応付けて画面上に表示する。
すなわち、コンテンツ情報取得装置3は、オブジェクト個別情報表示手段33のID別情報取得手段330によって、ステップS13で検出された電子透かしである識別IDに対応するオブジェクト個別情報を、ネットワーク接続手段36を介して、サーバ4から取得する(ステップS14)。
さらに、コンテンツ情報取得装置3は、オブジェクト個別情報表示手段33の表示位置決定手段331によって、同一の識別IDが検出された領域に対して、予め定めた規則でオブジェクト個別情報の表示位置を決定する(ステップS15)。
Then, the content information acquisition apparatus 3 acquires the object individual information in the content in which the digital watermark (identification ID) is embedded from the server 4 by the object individual information display means 33, and corresponds the object individual information to the object. And display it on the screen.
That is, the content information acquisition device 3 sends the individual object information corresponding to the identification ID, which is the digital watermark detected in step S13, by the ID-specific information acquisition unit 330 of the individual object information display unit 33 via the network connection unit 36. And obtained from the server 4 (step S14).
Furthermore, the content information acquisition apparatus 3 determines the display position of the object individual information according to a predetermined rule for the area where the same identification ID is detected by the display position determination unit 331 of the object individual information display unit 33. (Step S15).

そして、コンテンツ情報取得装置3は、オブジェクト個別情報表示手段33のID別情報表示手段332によって、表示手段37がコンテンツを表示している状態で、ステップS14で取得したオブジェクト個別情報の文字列を含んだタグを、ステップS15で決定された表示位置に表示(描画)する(ステップS16)。
ここまでの動作で、コンテンツ情報取得装置3の画面上には、オブジェクト関連情報が取得可能なオブジェクトごとに、オブジェクト個別情報(オブジェクト名称)がタグとして表示された状態となる。
The content information acquisition device 3 includes the character string of the object individual information acquired in step S14 while the display unit 37 displays the content by the ID-specific information display unit 332 of the object individual information display unit 33. The tag is displayed (drawn) at the display position determined in step S15 (step S16).
By the operation so far, the individual object information (object name) is displayed as a tag on the screen of the content information acquisition device 3 for each object for which object related information can be acquired.

そして、コンテンツ情報取得装置3は、ユーザからタグを選択されることで、オブジェクト関連情報表示手段35によって、当該タグに対応するオブジェクトのオブジェクト関連情報を、サーバ4から取得して、画面上に表示する。
すなわち、コンテンツ情報取得装置3は、オブジェクト関連情報表示手段35の関連情報取得手段350によって、指定手段38を介してユーザが指定したタグの位置で特定される識別IDに対応するオブジェクト関連情報を、ネットワーク接続手段36を介して、サーバ4から取得する(ステップS17)。
Then, the content information acquisition device 3 acquires the object related information of the object corresponding to the tag from the server 4 by the object related information display means 35 when the tag is selected by the user, and displays it on the screen. To do.
That is, the content information acquisition device 3 obtains the object related information corresponding to the identification ID specified by the position of the tag specified by the user via the specifying unit 38 by the related information acquiring unit 350 of the object related information display unit 35. Obtained from the server 4 via the network connection means 36 (step S17).

そして、コンテンツ情報取得装置3は、関連情報表示手段351によって、ステップS17で取得したオブジェクト関連情報を表示する(ステップS18)。
以上の動作によって、コンテンツ情報取得装置3は、コンテンツ関連情報を取得可能なオブジェクトを視覚的に提示するとともに、ユーザが選択したオブジェクトに対応するオブジェクト関連情報を、サーバ4から取得して表示することができる。
Then, the content information acquisition apparatus 3 displays the object related information acquired in step S17 by the related information display unit 351 (step S18).
Through the above operation, the content information acquisition device 3 visually presents an object from which content-related information can be acquired, and acquires and displays object-related information corresponding to the object selected by the user from the server 4. Can do.

〔変形例〕
以上、本発明の実施形態に係るコンテンツ情報取得システムSの構成および動作について説明したが、本発明はこの実施形態に限定されるものではない。
例えば、ここでは、電子透かしの埋め込み領域を、フレームを縦横それぞれ2分割した4つの領域(図5(a)参照)として説明した。しかし、この埋め込み領域は、予め定めた分割数の領域であれば、その数は限定されない。例えば、埋め込み領域は、フレームを縦横それぞれ3分割した9つの領域とするなど、フレームを縦横それぞれ2よりも大きい分割数で分割した領域としてもよい。また、縦横の分割数は同じである必要はなく、縦2分割、横3分割等、縦横それぞれ異なる分割数としても構わない。
[Modification]
The configuration and operation of the content information acquisition system S according to the embodiment of the present invention have been described above, but the present invention is not limited to this embodiment.
For example, here, the digital watermark embedding area has been described as four areas (see FIG. 5A) obtained by dividing the frame into two vertically and horizontally. However, the number of the embedded areas is not limited as long as it is an area having a predetermined number of divisions. For example, the embedding area may be an area obtained by dividing the frame by a larger number of divisions than 2 in each of the vertical and horizontal directions, such as nine areas obtained by dividing the frame vertically and horizontally into three. The number of vertical and horizontal divisions does not need to be the same, and the number of divisions may be different from each other in the vertical and horizontal directions, such as vertical and horizontal divisions.

また、ここでは、コンテンツ配信装置1の領域別電子透かし埋め込み手段12において、電子透かしとして、識別IDのみを埋め込むこととした。しかし、領域別電子透かし埋め込み手段12は、識別ID以外に、オブジェクト個別情報およびオブジェクト関連情報の取得元となるサーバ4のアドレス(URL)を併せて埋め込むこととしてもよい。
その場合、コンテンツ情報取得装置3は、領域別情報記憶手段32に、埋め込み領域に対応付けて、領域別電子透かし検出手段31で検出された電子透かし(識別ID)とアドレス(URL)とを記憶する。
Here, only the identification ID is embedded as the digital watermark in the digital watermark embedding unit 12 for each area of the content distribution apparatus 1. However, the area-specific digital watermark embedding unit 12 may embed the address (URL) of the server 4 from which the object individual information and the object related information are acquired in addition to the identification ID.
In that case, the content information acquisition device 3 stores the electronic watermark (identification ID) and address (URL) detected by the area-specific digital watermark detection means 31 in association with the embedded area in the area-specific information storage means 32. To do.

そして、オブジェクト個別情報表示手段33のID別情報取得手段330や、オブジェクト関連情報表示手段35の関連情報取得手段350において、識別IDに対応するサーバ4を検索することなく、直接、領域別情報記憶手段32に記憶されているアドレス(URL)から、オブジェクト個別情報やオブジェクト関連情報を取得することができる。   Then, the area-specific information storage unit 330 of the object individual information display unit 33 or the related information acquisition unit 350 of the object related information display unit 35 directly stores the information by area without searching the server 4 corresponding to the identification ID. Object individual information and object-related information can be acquired from the address (URL) stored in the means 32.

また、ここでは、コンテンツ情報取得装置3は、領域別電子透かし検出手段31で電子透かしを検出することした。しかし、電子透かしの検出は、ネットワークN上の専用サーバ(不図示)で行うこととしてもよい。その場合、領域別電子透かし検出手段31は、撮影手段30で撮影された撮影画像を、電子透かし検出の専用サーバに送信し、検出結果を取得することとすればよい。   Here, the content information acquisition apparatus 3 detects the digital watermark by the area-specific digital watermark detection means 31. However, the electronic watermark may be detected by a dedicated server (not shown) on the network N. In that case, the area-specific digital watermark detection means 31 may transmit the photographed image taken by the photographing means 30 to a digital watermark detection dedicated server and acquire the detection result.

また、ここでは、コンテンツ情報取得装置3は、オブジェクト個別情報を、コンテンツのオブジェクトの位置に表示させることとした(図11〜図14参照)。
しかし、オブジェクト個別情報は、必ずしもオブジェクト上に表示しなくてもよい。例えば、図19(a)、(b)に示すように、撮像画像に映っているオブジェクトに対応するオブジェクト個別情報を画面上に整列して表示させてもよい。
In addition, here, the content information acquisition apparatus 3 displays the object individual information at the position of the content object (see FIGS. 11 to 14).
However, the object individual information is not necessarily displayed on the object. For example, as shown in FIGS. 19A and 19B, the individual object information corresponding to the object shown in the captured image may be displayed in alignment on the screen.

その場合、コンテンツ情報取得装置3の表示位置決定手段331は、識別IDが検出された領域に依存せず、検出された識別IDの数に応じて、個々のオブジェクト個別情報を一定間隔で配置するように表示位置を決定する。なお、この場合も、複数の領域に同じ識別IDが埋め込まれていれば、その識別IDに対応するオブジェクト個別情報の表示位置は1つである。   In that case, the display position determination means 331 of the content information acquisition apparatus 3 does not depend on the area where the identification ID is detected, and arranges the individual object individual information at a constant interval according to the number of detected identification IDs. The display position is determined as follows. Also in this case, if the same identification ID is embedded in a plurality of areas, the display position of the individual object information corresponding to the identification ID is one.

また、ここでは、コンテンツ情報取得装置3は、オブジェクト名称等のオブジェクト個別情報を画面上に表示した後、ユーザによってオブジェクトが指定されたタイミングでオブジェクト関連情報を表示することとした。
しかし、コンテンツを撮影した撮影画像に、電子透かしが埋め込まれていた場合、オブジェクト個別情報を表示せずに、直接オブジェクト関連情報を表示することとしてもよい。
Here, the content information acquisition apparatus 3 displays object related information at a timing when an object is designated by the user after displaying individual object information such as an object name on the screen.
However, when a digital watermark is embedded in a captured image obtained by capturing content, the object related information may be directly displayed without displaying the object individual information.

その場合、コンテンツ情報取得装置は、図20に示した構成とすればよい。以下、図20に示したコンテンツ情報取得装置3Bの構成について説明する。
この図20に示したコンテンツ情報取得装置3Bは、図4で説明したコンテンツ情報取得装置3から、オブジェクト個別情報表示手段33と、表示位置記憶手段34と、を省略して構成している。ここでは、同一の機能を有する構成については、同一の符号を付して説明を省略し、異なる構成についてのみ説明する。
In that case, the content information acquisition apparatus may have the configuration shown in FIG. Hereinafter, the configuration of the content information acquisition apparatus 3B illustrated in FIG. 20 will be described.
The content information acquisition device 3B shown in FIG. 20 is configured by omitting the object individual information display means 33 and the display position storage means 34 from the content information acquisition device 3 described in FIG. Here, about the structure which has the same function, the same code | symbol is attached | subjected and description is abbreviate | omitted and only a different structure is demonstrated.

領域別電子透かし検出手段31Bの電子透かし検出手段311Bは、図4で説明した電子透かし検出手段311と同じ機能を有し、単に、電子透かしを検出した旨の通知先がオブジェクト個別情報表示手段33から、オブジェクト関連情報表示手段35Bに変更されているだけである。   The digital watermark detection means 311B of the area-specific digital watermark detection means 31B has the same function as the digital watermark detection means 311 described in FIG. 4, and the notification destination that the digital watermark has been detected is simply the object individual information display means 33. Only the object related information display means 35B is changed.

オブジェクト関連情報表示手段35Bの関連情報取得手段350Bは、図4で説明した関連情報取得手段350と基本的には同じ機能を有する。ただし、関連情報取得手段350Bは、領域別電子透かし検出手段31Bから、電子透かしを検出した旨を通知された段階で動作し、領域別情報記憶手段32に記憶されている識別IDに対応するオブジェクト関連情報を、ネットワーク接続手段36を介して取得する。
このとき、関連情報取得手段350Bは、領域別情報記憶手段32に記憶されている識別IDが複数ある場合、その数分オブジェクト関連情報を取得するが、同一の識別IDについては、1つのオブジェクト関連情報を取得することとする。
この関連情報取得手段350Bは、取得した1以上のオブジェクト関連情報を、関連情報表示手段351Bに出力する。
The related information acquisition unit 350B of the object related information display unit 35B has basically the same function as the related information acquisition unit 350 described in FIG. However, the related information acquisition unit 350B operates at the stage of notification that the digital watermark has been detected from the region-specific digital watermark detection unit 31B, and the object corresponding to the identification ID stored in the region-specific information storage unit 32 Related information is acquired via the network connection means 36.
At this time, when there are a plurality of identification IDs stored in the area-specific information storage unit 32, the related information acquisition unit 350B acquires object related information for the number of identification IDs. Information is to be acquired.
The related information acquisition unit 350B outputs the acquired one or more object related information to the related information display unit 351B.

関連情報表示手段351Bは、図4で説明した関連情報表示手段351と同様、オブジェクト関連情報を表示するものであって、オブジェクト関連情報であるHTML等のページ記述言語で記述されたWebページを解釈するブラウザである。
ただし、関連情報表示手段351Bは、複数のオブジェクト関連情報を表示するため、1つのオブジェクト関連情報に対して1つのウィンドウ(表示領域)を設け、指定手段38Bで指定されたウィンドウが最前面となるように表示制御を行う。
また、図4で説明した指定手段38が、オブジェクトを指定するものであったのに対し、指定手段38Bは、複数のオブジェクト関連情報の中から1つを指定するものとして機能する。
Similar to the related information display unit 351 described with reference to FIG. 4, the related information display unit 351B displays object related information, and interprets a Web page described in a page description language such as HTML that is object related information. Browser.
However, since the related information display unit 351B displays a plurality of object related information, one window (display area) is provided for one object related information, and the window specified by the specifying unit 38B is the foreground. Display control is performed as follows.
In addition, the designation unit 38 described with reference to FIG. 4 designates an object, whereas the designation unit 38B functions as one for designating one of a plurality of object related information.

例えば、コンテンツ情報取得装置3Bは、オブジェクト関連情報表示手段35Bによって、図21(a)に示すように、複数のオブジェクト関連情報(Webページ)のそれぞれにタブTを設けたウィンドウWでオブジェクト関連情報を表示する。そして、指定手段38Bによって、タブTを指定されることで、ウィンドウW内のWebページを切り替えて表示する。
また、コンテンツ情報取得装置3Bは、オブジェクト関連情報表示手段35Bによって、図21(b)に示すように、複数のオブジェクト関連情報(Webページ)を表示するウィンドウW,W,…を、部分的に重ねて表示する。そして、オブジェクト関連情報表示手段35Bは、指定手段38Bで指定されたウィンドウWを最前面に表示する。
For example, the content information acquisition apparatus 3B uses the object related information display unit 35B to display object related information in a window W in which a tab T is provided for each of a plurality of object related information (Web pages), as shown in FIG. Is displayed. Then, the web page in the window W is switched and displayed by designating the tab T by the designating unit 38B.
Further, the content information acquisition apparatus 3B partially displays windows W, W,... For displaying a plurality of object related information (Web pages) as shown in FIG. Overlapping display. Then, the object related information display means 35B displays the window W designated by the designation means 38B in the foreground.

1 コンテンツ配信装置
10 コンテンツ記憶手段
11 埋め込み情報記憶手段
12 領域別電子透かし埋め込み手段
13 送信手段
2 コンテンツ表示装置
20 受信手段
21 表示手段
3 コンテンツ情報取得装置
30 撮影手段
31 領域別電子透かし検出手段
310 画像分割手段
311 電子透かし検出手段
32 領域別情報記憶手段
33 オブジェクト個別情報表示手段
330 ID別情報取得手段
331 表示位置決定手段
332 ID別情報表示手段
34 表示位置記憶手段
35 オブジェクト関連情報表示手段
350 関連情報取得手段
351 関連情報表示手段
36 ネットワーク接続手段
37 表示手段
38 指定手段
4 サーバ
Webサーバ
検索サーバ
N ネットワーク
DESCRIPTION OF SYMBOLS 1 Content delivery apparatus 10 Content storage means 11 Embedded information storage means 12 Area-specific digital watermark embedding means 13 Transmission means 2 Content display apparatus 20 Receiving means 21 Display means 3 Content information acquisition apparatus 30 Imaging means 31 Area-specific digital watermark detection means 310 Image Division means 311 Digital watermark detection means 32 Area-specific information storage means 33 Object individual information display means 330 ID-specific information acquisition means 331 Display position determination means 332 ID-specific information display means 34 Display position storage means 35 Object-related information display means 350 Related information Acquisition means 351 Related information display means 36 Network connection means 37 Display means 38 Designation means 4 Server 4 1 Web server 4 2 Search server N Network

Claims (8)

映像フレームを予め定めた分割数で区分した領域のうちで、映像上に映る個々のオブジェトがそれぞれ個別に収まる範囲の1以上の前記領域に、前記オブジェクトを特定する同じ識別情報が電子透かしで埋め込まれた映像コンテンツを、コンテンツ表示装置の表示画面に表示された状態で撮影し、前記オブジェクトに関連する関連情報を、ネットワークを介して取得するコンテンツ情報取得装置であって、
撮影手段で撮影された撮影画像から、前記予め定めた分割数で区分された領域ごとに電子透かしを検出する領域別電子透かし検出手段と、
この領域別電子透かし検出手段で電子透かしとして検出した前記識別情報に対応するオブジェクトの個別情報を、当該識別情報と対応する前記個別情報を提供するサーバから、ネットワークを介して取得し、表示手段に表示するオブジェクト個別情報表示手段と、
前記表示手段に表示された前記個別情報の位置を、指定手段を介して指定されることで、その指定された個別情報に対応するオブジェクトの関連情報を、前記識別情報と対応する前記関連情報を提供するサーバから、ネットワークを介して取得し、表示手段に表示するオブジェクト関連情報表示手段と、を備え、
前記オブジェクト個別情報表示手段は、複数の領域で同一の識別情報が検出された場合、当該識別情報に対して1つの前記個別情報を取得して表示することを特徴とするコンテンツ情報取得装置。
The same identification information for identifying the object is embedded in one or more of the areas in which the individual objects appearing on the video are individually contained in the area obtained by dividing the video frame by a predetermined number of divisions with a digital watermark. A content information acquisition device that captures the video content displayed on a display screen of a content display device and acquires related information related to the object via a network,
An area-specific digital watermark detection means for detecting a digital watermark for each area divided by the predetermined number of divisions from a photographed image photographed by the photographing means;
The individual information of the object corresponding to the identification information detected as the digital watermark by the area-specific digital watermark detection means is acquired via the network from the server that provides the individual information corresponding to the identification information, and is displayed on the display means. Object individual information display means for displaying,
By specifying the position of the individual information displayed on the display means via the specifying means, the related information of the object corresponding to the specified individual information is changed to the related information corresponding to the identification information. An object-related information display means that is obtained from a server to be provided via a network and displayed on the display means,
The content information acquisition apparatus according to claim 1, wherein when the same identification information is detected in a plurality of areas, the object individual information display means acquires and displays one piece of the individual information for the identification information.
前記オブジェクト個別情報表示手段は、前記個別情報に対応する識別情報が電子透かしとして埋め込まれていた領域に、当該個別情報を描画して表示することを特徴とする請求項1に記載のコンテンツ情報取得装置。   2. The content information acquisition according to claim 1, wherein the object individual information display unit draws and displays the individual information in an area where identification information corresponding to the individual information is embedded as a digital watermark. apparatus. 前記オブジェクト個別情報表示手段は、前記個別情報に対応する識別情報が電子透かしとして埋め込まれていた領域が複数あって、当該複数の領域全体の形状が矩形形状となる場合、当該矩形形状の中心に、前記個別情報を描画して表示することを特徴とする請求項1または請求項2に記載のコンテンツ情報取得装置。   When the object individual information display means has a plurality of areas in which identification information corresponding to the individual information is embedded as a digital watermark, and the overall shape of the plurality of areas is a rectangular shape, the object individual information display means The content information acquisition apparatus according to claim 1, wherein the individual information is drawn and displayed. 前記オブジェクト個別情報表示手段は、前記個別情報に対応する識別情報を電子透かしとして埋め込まれていた領域が複数あって、当該複数の領域全体の形状が矩形形状とならない場合、前記識別情報が埋め込まれた前記複数の領域において、1つの領域を基準領域として、当該基準領域の水平方向および垂直方向で前記識別情報が埋め込まれた領域の個数が最大となる基準領域のいずれか1つの領域に、前記個別情報を描画して表示することを特徴とする請求項1または請求項2に記載のコンテンツ情報取得装置。   The object individual information display means embeds the identification information when there are a plurality of areas in which identification information corresponding to the individual information is embedded as a digital watermark, and the overall shape of the plurality of areas does not become a rectangular shape. Further, in the plurality of regions, with one region as a reference region, any one of the reference regions in which the number of regions in which the identification information is embedded in the horizontal direction and the vertical direction of the reference region is maximized, The content information acquisition apparatus according to claim 1 or 2, wherein the individual information is drawn and displayed. 前記オブジェクト個別情報表示手段は、前記個別情報に対応する識別情報を電子透かしとして埋め込まれていた領域が複数あって、当該複数の領域全体の形状が矩形形状とならない場合、前記識別情報が埋め込まれた前記複数の領域で構成される図形の重心位置に、前記個別情報を描画して表示することを特徴とする請求項1または請求項2に記載のコンテンツ情報取得装置。   The object individual information display means embeds the identification information when there are a plurality of areas in which identification information corresponding to the individual information is embedded as a digital watermark, and the overall shape of the plurality of areas does not become a rectangular shape. The content information acquisition apparatus according to claim 1 or 2, wherein the individual information is drawn and displayed at a barycentric position of a figure constituted by the plurality of regions. 映像フレームを予め定めた分割数で区分した領域のうちで、映像上に映る個々のオブジェトがそれぞれ個別に収まる範囲の1以上の前記領域に、前記オブジェクトを特定する同じ識別情報が電子透かしで埋め込まれた映像コンテンツを、コンテンツ表示装置の表示画面に表示された状態で撮影し、前記オブジェクトに関連する関連情報を、ネットワークを介して取得するコンテンツ情報取得装置であって、
撮影手段で撮影された撮影画像から、前記予め定めた分割数で区分された領域ごとに電子透かしを検出する領域別電子透かし検出手段と、
この領域別電子透かし検出手段で電子透かしとして検出した前記識別情報に対応するオブジェクトの関連情報を、当該識別情報と対応する前記関連情報を提供するサーバから、ネットワークを介して取得し、表示手段に表示するオブジェクト関連情報表示手段と、を備え、
前記オブジェクト関連情報表示手段は、複数の領域で同一の識別情報が検出された場合、当該識別情報に対して1つの前記関連情報を取得して表示することを特徴とするコンテンツ情報取得装置。
The same identification information for identifying the object is embedded in one or more of the areas in which the individual objects appearing on the video are individually contained in the area obtained by dividing the video frame by a predetermined number of divisions with a digital watermark. A content information acquisition device that captures the video content displayed on a display screen of a content display device and acquires related information related to the object via a network,
An area-specific digital watermark detection means for detecting a digital watermark for each area divided by the predetermined number of divisions from a photographed image photographed by the photographing means;
The related information of the object corresponding to the identification information detected as the digital watermark by the area-specific digital watermark detection means is acquired from the server providing the related information corresponding to the identification information via the network, and is displayed on the display means. An object-related information display means for displaying,
The content information acquisition apparatus according to claim 1, wherein when the same identification information is detected in a plurality of areas, the object related information display means acquires and displays one piece of the related information for the identification information.
コンピュータを、請求項1から請求項5のいずれか一項に記載のコンテンツ情報取得装置として機能させるためのコンテンツ情報取得プログラム。   The content information acquisition program for functioning a computer as a content information acquisition apparatus as described in any one of Claims 1-5. コンテンツの映像上に映るオブジェクトに、ネットワークを介して、前記オブジェクトに関連する関連情報を取得するための当該オブジェクトを特定する識別情報を電子透かしで埋め込んで配信するコンテンツ配信装置であって、
前記コンテンツに対応付けて、前記識別情報と、前記コンテンツの表示時間において、前記識別情報を電子透かしとして埋め込む埋め込み時間と、前記コンテンツの映像フレームを予め定めた分割数で区分した領域であって前記識別情報を電子透かしとして埋め込む埋め込み領域と、を埋め込み情報として記憶する埋め込み情報記憶手段と、
この埋め込み情報記憶手段に記憶されている埋め込み情報に基づいて、前記コンテンツの前記埋め込み時間に対応する映像フレームに、前記埋め込み領域ごとに前記識別情報を電子透かしで埋め込む領域別電子透かし埋め込み手段と、
前記識別情報を電子透かしで埋め込んだコンテンツを送信する送信手段と、を備え、
前記埋め込み情報記憶手段には、前記オブジェクトが複数の領域に跨って映っている場合、その複数の領域に同じ識別情報を対応付けて記憶することを特徴とするコンテンツ配信装置。
A content distribution apparatus that embeds and distributes identification information for identifying an object for acquiring related information related to the object, embedded in a digital watermark, to the object shown on the content video,
Corresponding to the content, the identification information, an embedding time for embedding the identification information as a digital watermark in the display time of the content, and a region obtained by dividing the video frame of the content by a predetermined division number, An embedding area for embedding identification information as a digital watermark; and embedding information storage means for storing embedding information as embedding information;
Based on the embedding information stored in the embedding information storage means, an area-specific digital watermark embedding means for embedding the identification information with a digital watermark for each embedding area in a video frame corresponding to the embedding time of the content;
Transmitting means for transmitting the content in which the identification information is embedded with a digital watermark,
In the embedded information storage unit, when the object is reflected across a plurality of areas, the same identification information is stored in association with the plurality of areas.
JP2013248884A 2013-12-02 2013-12-02 Content information acquisition device and program, and content distribution device Pending JP2015106862A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013248884A JP2015106862A (en) 2013-12-02 2013-12-02 Content information acquisition device and program, and content distribution device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013248884A JP2015106862A (en) 2013-12-02 2013-12-02 Content information acquisition device and program, and content distribution device

Publications (1)

Publication Number Publication Date
JP2015106862A true JP2015106862A (en) 2015-06-08

Family

ID=53436742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013248884A Pending JP2015106862A (en) 2013-12-02 2013-12-02 Content information acquisition device and program, and content distribution device

Country Status (1)

Country Link
JP (1) JP2015106862A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6120467B1 (en) * 2016-06-24 2017-04-26 サイジニア株式会社 Server device, terminal device, information processing method, and program
JP2020013487A (en) * 2018-07-20 2020-01-23 オムロンヘルスケア株式会社 Terminal device, information processing method, and program
JP2020013488A (en) * 2018-07-20 2020-01-23 オムロンヘルスケア株式会社 Terminal device, information processing method, and program
JP2020154858A (en) * 2019-03-20 2020-09-24 ヤフー株式会社 Information display program, information display device, and information display method, delivery device, and control server
CN113068412A (en) * 2019-10-31 2021-07-02 艾思益信息应用技术股份公司 Information providing system
JP7373780B1 (en) 2022-10-12 2023-11-06 ソノー電機工業株式会社 Information processing program and information processing terminal
US11934446B2 (en) 2019-03-29 2024-03-19 Information System Engineering Inc. Information providing system

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6120467B1 (en) * 2016-06-24 2017-04-26 サイジニア株式会社 Server device, terminal device, information processing method, and program
WO2017221868A1 (en) * 2016-06-24 2017-12-28 サイジニア株式会社 Server device, terminal device, and information processing method
JP2017228177A (en) * 2016-06-24 2017-12-28 サイジニア株式会社 Server device, terminal device, information processing method, and program
WO2020017296A1 (en) * 2018-07-20 2020-01-23 オムロンヘルスケア株式会社 Terminal device, information processing method, and program
JP2020013488A (en) * 2018-07-20 2020-01-23 オムロンヘルスケア株式会社 Terminal device, information processing method, and program
WO2020017300A1 (en) * 2018-07-20 2020-01-23 オムロンヘルスケア株式会社 Terminal device, information processing method, and program
JP2020013487A (en) * 2018-07-20 2020-01-23 オムロンヘルスケア株式会社 Terminal device, information processing method, and program
CN112334887A (en) * 2018-07-20 2021-02-05 欧姆龙健康医疗事业株式会社 Terminal device, information processing method, and program
CN112352226A (en) * 2018-07-20 2021-02-09 欧姆龙健康医疗事业株式会社 Terminal device, information processing method, and program
JP7147318B2 (en) 2018-07-20 2022-10-05 オムロンヘルスケア株式会社 Terminal device, information processing method, and program
JP7147317B2 (en) 2018-07-20 2022-10-05 オムロンヘルスケア株式会社 Terminal device, information processing method, and program
JP2020154858A (en) * 2019-03-20 2020-09-24 ヤフー株式会社 Information display program, information display device, and information display method, delivery device, and control server
US11934446B2 (en) 2019-03-29 2024-03-19 Information System Engineering Inc. Information providing system
CN113068412A (en) * 2019-10-31 2021-07-02 艾思益信息应用技术股份公司 Information providing system
JP7373780B1 (en) 2022-10-12 2023-11-06 ソノー電機工業株式会社 Information processing program and information processing terminal

Similar Documents

Publication Publication Date Title
US11714523B2 (en) Digital image tagging apparatuses, systems, and methods
JP2015106862A (en) Content information acquisition device and program, and content distribution device
US10559053B2 (en) Screen watermarking methods and arrangements
JP4676852B2 (en) Content transmission device
US20160050368A1 (en) Video processing apparatus for generating paranomic video and method thereof
US10043079B2 (en) Method and apparatus for providing multi-video summary
US20160155009A1 (en) Display apparatus and image processing method thereby
US8934667B2 (en) System and method for confidence-based marker adjustment
US9094616B2 (en) Method and system for image capture and facilitated annotation
US10074216B2 (en) Information processing to display information based on position of the real object in the image
JPWO2018122895A1 (en) Video processing apparatus, video processing method, video processing program, and video monitoring system
JP6686547B2 (en) Image processing system, program, image processing method
US8941767B2 (en) Mobile device and method for controlling the same
US8866953B2 (en) Mobile device and method for controlling the same
JP2010205121A (en) Information processor and portable terminal
KR20150082204A (en) Method and system for image capture and facilitated annotation
US10069984B2 (en) Mobile device and method for controlling the same
KR20190110013A (en) Camera system
JP2009043131A (en) Moving picture file transmission server and operation control method thereof
JP2019057849A (en) Program, information processing apparatus, and image processing system
JP6909022B2 (en) Programs, information terminals, information display methods and information display systems
KR101698864B1 (en) Media Being Recorded with the Program Executing Method for Detecting Image Using Metadata
JP2004274735A (en) Imaging apparatus and image processing apparatus
JP2018182589A (en) Information provision system, display device, information processing device, and information providing method
KR20150021349A (en) Network Camera Dashboard Apparatus