JP2015106862A - Content information acquisition device and program, and content distribution device - Google Patents
Content information acquisition device and program, and content distribution device Download PDFInfo
- Publication number
- JP2015106862A JP2015106862A JP2013248884A JP2013248884A JP2015106862A JP 2015106862 A JP2015106862 A JP 2015106862A JP 2013248884 A JP2013248884 A JP 2013248884A JP 2013248884 A JP2013248884 A JP 2013248884A JP 2015106862 A JP2015106862 A JP 2015106862A
- Authority
- JP
- Japan
- Prior art keywords
- information
- content
- digital watermark
- individual
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、電子透かしが埋め込まれた映像コンテンツを撮影し、電子透かしで特定された取得元から、コンテンツの映像内に映っているオブジェクトの関連情報を取得することが可能なコンテンツ情報取得装置およびそのプログラム、ならびに、前記電子透かしを埋め込んで映像コンテンツを配信するコンテンツ配信装置に関する。 The present invention is a content information acquisition apparatus capable of capturing video content in which a digital watermark is embedded and acquiring related information of an object shown in the video of the content from an acquisition source specified by the digital watermark. The present invention relates to a program and a content distribution apparatus that distributes video content by embedding the digital watermark.
従来、表示装置に表示されたコンテンツ(映像コンテンツ)内のオブジェクトに関連する情報を取得する手法として、関連情報を取得するためのWebサイトのアドレスを示すバーコード、2次元コード、透かし情報(電子透かし)等を利用する手法が知られている(特許文献1参照)。 Conventionally, as a method of acquiring information related to an object in content (video content) displayed on a display device, a bar code indicating a website address for acquiring related information, a two-dimensional code, watermark information (electronic A method using a watermark is known (see Patent Document 1).
この従来手法において、バーコード、2次元コード等のコード情報を利用する手法は、表示装置に表示したコンテンツに映っているオブジェクトに対応付けてコード情報を表示する。そして、カメラ付き携帯電話が、そのコード情報を撮影し、コード情報を解析することで、対応するWebサイトから、関連情報を取得する。
また、この手法では、コンテンツを表示した画面内に、関連情報を取得可能な複数のオブジェクトが存在する場合、それぞれのオブジェクトに対応付けてコード情報を表示する。そして、カメラ付き携帯電話が、コンテンツが表示された画面を撮影した撮影画像内で、コード情報が表示されている領域と、携帯電話のボタン配置とを予め対応付けておき、ユーザが押下したボタンの位置に対応して表示されているコード情報を解析することで、関連情報を取得する。
In this conventional method, a method using code information such as a barcode or a two-dimensional code displays code information in association with an object shown in content displayed on a display device. Then, the camera-equipped mobile phone captures the code information and analyzes the code information to obtain related information from the corresponding website.
Also, in this method, when there are a plurality of objects from which related information can be acquired in the screen displaying the content, code information is displayed in association with each object. Then, the camera mobile phone associates the area where the code information is displayed with the button arrangement of the mobile phone in the captured image obtained by photographing the screen on which the content is displayed, and the button pressed by the user The related information is acquired by analyzing the code information displayed in correspondence with the position of.
また、従来手法において、電子透かしを利用する手法は、コンテンツに映っているオブジェクト上に電子透かしを埋め込んだ状態で表示装置の画面上にコンテンツを表示する。そして、カメラ付き携帯電話が、オブジェクトを撮影し、当該オブジェクト上に埋め込まれている電子透かしを検出し、解析することで、対応するWebサイトから、関連情報を取得する。 Further, in the conventional method, a method using a digital watermark displays content on a screen of a display device in a state where the digital watermark is embedded in an object shown in the content. Then, the camera-equipped mobile phone captures the relevant information from the corresponding Web site by photographing the object, detecting and analyzing the digital watermark embedded in the object.
しかし、従来のコード情報を利用する手法は、オブジェクトとともにコード情報を画面上に表示するため、ユーザが視認する情報としては意味がないコード情報によって、オブジェクトが覆われてしまい、ユーザがオブジェクトを認識することができないことがあるという問題がある。 However, in the conventional method using code information, code information is displayed on the screen together with the object. Therefore, the object is covered with code information that is meaningless as information visually recognized by the user, and the user recognizes the object. There is a problem that there are things that can not be done.
また、従来の電子透かしを利用する手法は、コンテンツの視認を妨げないが、コンテンツの映像に複数のオブジェクトが存在し、その一部のオブジェクトに対して関連情報を提供する場合、ユーザは、どのオブジェクトに関連情報が対応付けられているのかを認識することができないという問題がある。 In addition, the conventional method using digital watermark does not prevent the viewing of content, but when there are multiple objects in the video of the content and related information is provided for some of the objects, There is a problem that it is impossible to recognize whether related information is associated with an object.
さらに、従来の電子透かしを利用する手法は、コンテンツの映像に複数のオブジェクトが存在し、画面全体をカメラで撮影した場合、端末が撮影画像から関連情報が対応付けられたオブジェクトの位置や数を把握することができない。
そのため、この手法は、従来のコード情報を利用する手法のように、電子透かしが埋め込まれたオブジェクトの位置を対応するボタンの位置で指定したり、近年のスマートフォン、タブレット端末等のように、オブジェクトの位置をタップ操作で指定したり、等のオブジェクトの選択手法を用いることができない。
Furthermore, in the conventional technique using digital watermark, when there are a plurality of objects in the content video and the entire screen is shot with a camera, the terminal determines the position and number of objects associated with the related information from the shot image. I can't figure it out.
Therefore, this method specifies the position of an object with an embedded digital watermark by the position of the corresponding button, as in the conventional method using code information, or the object as in recent smartphones, tablet terminals, etc. It is not possible to specify the position of the object by a tap operation or use an object selection method such as an object.
このように、従来の電子透かしを利用する手法は、映像上に複数のオブジェクトが映っているコンテンツが表示された画面全体を撮影した場合、オブジェクトごとに埋め込まれた電子透かしを検出することができず、対応する関連情報を取得することができないという問題がある。 As described above, the conventional technique using the digital watermark can detect the digital watermark embedded for each object when the entire screen on which the content including a plurality of objects is displayed is captured. Therefore, there is a problem that corresponding related information cannot be acquired.
本発明は、このような問題に鑑みてなされたものであり、コンテンツを表示した画面全体を撮影し、複数のオブジェクトが存在する映像から、関連情報が対応付けられたオブジェクトの位置や認識して、映像上に映っている個々のオブジェクトの関連情報を取得可能なコンテンツ情報取得装置およびそのプログラム、ならびに、コンテンツ配信装置を提供することを課題とする。 The present invention has been made in view of such problems, and captures the entire screen on which content is displayed, and recognizes the position of the object associated with the related information from the video including a plurality of objects. It is an object of the present invention to provide a content information acquisition device that can acquire related information of individual objects shown on a video, a program thereof, and a content distribution device.
前記課題を解決するため、本発明に係るコンテンツ情報取得装置は、映像フレームを予め定めた分割数で区分した領域のうちで、映像上に映る個々のオブジェトがそれぞれ個別に収まる範囲の1以上の前記領域に、前記オブジェクトを特定する同じ識別情報が電子透かしで埋め込まれた映像コンテンツを、コンテンツ表示装置の表示画面に表示された状態で撮影し、前記オブジェクトに関連する関連情報を、ネットワークを介して取得するコンテンツ情報取得装置であって、領域別電子透かし検出手段と、オブジェクト個別情報表示手段と、オブジェクト関連情報表示手段と、を備える構成とした。 In order to solve the above-described problem, the content information acquisition apparatus according to the present invention includes at least one of a range in which individual objects appearing on a video are individually contained in a region obtained by dividing a video frame by a predetermined number of divisions. Video content in which the same identification information for identifying the object is embedded in the area with a digital watermark is photographed while being displayed on a display screen of a content display device, and related information related to the object is obtained via a network. The content information acquisition apparatus to be acquired is configured to include an area-specific digital watermark detection unit, an object individual information display unit, and an object related information display unit.
かかる構成において、コンテンツ情報取得装置は、領域別電子透かし検出手段によって、撮影手段で撮影された撮影画像(静止画像、動画像)から、映像フレームの予め定めた分割数で区分された領域ごとに電子透かしを検出する。このように、領域別電子透かし検出手段は、撮影画像にオブジェクトが映っているか否かに関わらず、予め定めた領域単位で電子透かしの検出を行う。これによって、領域別電子透かし検出手段は、撮影画像内で、オブジェクトが映っている位置を、予め定めた領域単位で認識することができる。 In such a configuration, the content information acquisition apparatus uses the digital watermark detection unit for each region for each region divided by a predetermined number of divisions of the video frame from the captured image (still image or moving image) captured by the capturing unit. Detect digital watermarks. Thus, the area-specific digital watermark detection means detects the digital watermark in units of predetermined areas regardless of whether or not the object is shown in the captured image. Thereby, the area-specific digital watermark detection means can recognize the position where the object is reflected in the captured image in units of predetermined areas.
そして、コンテンツ情報取得装置は、オブジェクト個別情報表示手段によって、電子透かしとして検出した、識別情報に対応するオブジェクトの個別情報をサーバから取得し、表示手段に表示する。
このように、オブジェクト個別情報表示手段は、ユーザが視認する情報としては意味がないバーコード等のコード情報ではなく、領域単位で埋め込まれている電子透かしを検出することで、その電子透かしで特定されるオブジェクトの名称等の個別情報を画面上に表示する。そのため、オブジェクト個別情報表示手段は、関連情報を提供可能なオブジェクトの位置をユーザに認識させることができるとともに、オブジェクトを表示している画面を、ユーザにとって意味のない情報で覆い隠すことがない。
Then, the content information acquisition apparatus acquires, from the server, the individual information of the object corresponding to the identification information detected as the electronic watermark by the object individual information display unit, and displays it on the display unit.
In this way, the object individual information display means identifies the digital watermark embedded in each area, not the code information such as a barcode which is meaningless as the information visually recognized by the user. Individual information such as the name of the object to be displayed is displayed on the screen. Therefore, the object individual information display unit can make the user recognize the position of the object that can provide the related information, and does not cover the screen displaying the object with information that is meaningless to the user.
そして、コンテンツ情報取得装置は、オブジェクト関連情報表示手段によって、表示手段に表示された個別情報の位置を、指定手段を介して指定されることで、その指定された個別情報に対応するオブジェクトの関連情報をサーバから取得し、表示手段に表示する。 Then, the content information acquisition apparatus designates the position of the individual information displayed on the display means by the object related information display means via the designation means, so that the relation of the object corresponding to the designated individual information is displayed. Information is acquired from the server and displayed on the display means.
なお、本発明に係るコンテンツ情報取得装置は、オブジェクト個別情報表示手段を構成から省略して、領域別電子透かし検出手段で検出した識別情報から、直接、オブジェクト関連情報表示手段によって、オブジェクトの関連情報をサーバから取得して表示することとしてもよい。
また、本発明に係るコンテンツ情報取得装置は、コンピュータを前記した各手段として機能させるためのコンテンツ情報取得プログラムで動作させることができる。
The content information acquisition apparatus according to the present invention omits the object individual information display unit from the configuration, and directly relates the object information from the identification information detected by the area-specific digital watermark detection unit by the object related information display unit. May be acquired from the server and displayed.
The content information acquisition apparatus according to the present invention can be operated by a content information acquisition program for causing a computer to function as each of the above-described means.
また、本発明に係るコンテンツ配信装置は、コンテンツの映像上に映るオブジェクトに、ネットワークを介して、前記オブジェクトに関連する関連情報を取得するための当該オブジェクトを特定する識別情報を電子透かしで埋め込んで配信するコンテンツ配信装置であって、埋め込み情報記憶手段と、領域別電子透かし埋め込み手段と、送信手段と、を備える構成とした。 In addition, the content distribution apparatus according to the present invention embeds identification information for identifying an object for acquiring related information related to the object with an electronic watermark embedded in the object shown on the content video via the network. A content distribution apparatus for distribution includes an embedded information storage unit, an area-specific digital watermark embedding unit, and a transmission unit.
かかる構成において、コンテンツ配信装置は、予め埋め込み情報記憶手段に、コンテンツに対応付けて、識別情報と、コンテンツの表示時間において、識別情報を電子透かしとして埋め込む埋め込み時間と、コンテンツの映像フレームを予め定めた分割数で区分した領域であって、識別情報を電子透かしとして埋め込む埋め込み領域と、を埋め込み情報として記憶する。この情報によって、コンテンツのどの映像フレームのどの領域にどの識別情報を埋め込むかが特定される。 In such a configuration, the content distribution apparatus predetermines the identification information, the embedding time for embedding the identification information as a digital watermark in the display time of the content, and the video frame of the content in the embedded information storage unit in advance. An embedded area in which the identification information is embedded as a digital watermark is stored as embedded information. This information specifies which identification information is to be embedded in which region of which video frame of the content.
そして、コンテンツ配信装置は、領域別電子透かし埋め込み手段によって、埋め込み情報記憶手段に記憶されている埋め込み情報に基づいて、コンテンツの埋め込み時間に対応する映像フレームに、埋め込み領域ごとに識別情報を電子透かしで埋め込む。
そして、コンテンツ配信装置は、送信手段によって、識別情報を電子透かしで埋め込んだコンテンツを送信する。
Then, the content distribution apparatus uses the digital watermark embedding unit for each area to add the identification information for each embedding area to the video frame corresponding to the embedding time of the content based on the embedding information stored in the embedding information storage unit. Embed with
Then, the content distribution apparatus transmits the content in which the identification information is embedded with a digital watermark by the transmission means.
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、コンテンツの空間方向に予め定めた分割数で区分された領域に、オブジェクトに対応する電子透かしを埋め込むため、コンテンツ情報取得装置は、オブジェクトそのものの位置を認識する必要はなく、電子透かしが埋め込まれている領域としてオブジェクトの位置を簡易に認識することができる。
そのため、コンテンツ情報取得装置は、ユーザが、撮影手段によって、コンテンツが表示されている画面全体を撮影するだけで、その中に埋め込まれている電子透かしにより、オブジェクトの関連情報を取得して表示することができる。
The present invention has the following excellent effects.
According to the present invention, since the electronic watermark corresponding to the object is embedded in the area divided by the predetermined number of divisions in the spatial direction of the content, the content information acquisition device does not need to recognize the position of the object itself, The position of the object can be easily recognized as an area in which the digital watermark is embedded.
Therefore, in the content information acquisition device, the user simply captures the entire screen on which the content is displayed by the photographing means, and acquires and displays the related information of the object with the digital watermark embedded therein. be able to.
以下、本発明の実施形態について図面を参照して説明する。
<コンテンツ情報取得システムの構成>
最初に、図1を参照して、本発明の実施形態に係るコンテンツ情報取得システムSの構成について説明する。
図1に示したコンテンツ情報取得システムSは、コンテンツ(映像コンテンツ)に電子透かしとして埋め込まれた情報から、コンテンツ情報の取得元を特定し、コンテンツ情報を取得して、ユーザの端末(コンテンツ情報取得装置)に提示するものである。
Embodiments of the present invention will be described below with reference to the drawings.
<Configuration of content information acquisition system>
Initially, with reference to FIG. 1, the structure of the content information acquisition system S which concerns on embodiment of this invention is demonstrated.
The content information acquisition system S shown in FIG. 1 specifies the acquisition source of content information from information embedded as digital watermark in the content (video content), acquires the content information, and obtains the user terminal (content information acquisition). Device).
ここで、コンテンツ情報とは、コンテンツの映像内に映っているオブジェクトの名称等の個別情報(以下、オブジェクト個別情報という)や、オブジェクトに関連する関連情報(以下、オブジェクト関連情報という)である。また、オブジェクトは、コンテンツの映像上に映る人物、物等の物体であって、オブジェクト個別情報やオブジェクト関連情報が対応付けられる対象である。なお、オブジェクトは、1つの個体である必要はなく、複数の同種の物体の集合(1群のオブジェクト)であっても構わない。 Here, the content information is individual information (hereinafter referred to as object individual information) such as the name of an object shown in the video of the content, or related information related to the object (hereinafter referred to as object related information). An object is an object such as a person or an object shown on the content video, and is a target to which object individual information or object related information is associated. Note that the object need not be one individual, and may be a set of a plurality of objects of the same kind (a group of objects).
ここでは、コンテンツ情報取得システムSは、コンテンツ配信装置1と、コンテンツ表示装置2と、コンテンツ情報取得装置3と、複数のサーバ4とを備え、コンテンツ情報取得装置3と複数のサーバ4とを、ネットワークNを介して接続した構成となっている。
Here, the content information acquisition system S includes a
コンテンツ配信装置1は、コンテンツに、少なくともコンテンツの映像内に映っているオブジェクトを特定するための識別情報(ID)を電子透かしとして埋め込んで配信するものである。例えば、コンテンツ配信装置1は、放送局に設置され、電子透かしを埋め込んだコンテンツを放送信号として送信する。
The
コンテンツ表示装置2は、コンテンツを画面上に表示するものである。ここでは、コンテンツ表示装置2は、コンテンツ配信装置1から送信されるコンテンツを受信して、画面上に表示する。例えば、コンテンツ表示装置2は、家庭内に設置されるテレビ受像装置、パブリックビューイングまたはデジタルサイネージ向けに設置される大型モニタ装置等である。
The
コンテンツ情報取得装置3は、コンテンツ表示装置2のコンテンツが表示された画面全体を撮影し、電子透かしを検出することで、撮影された画面内に映っているオブジェクトを特定し、サーバ4からコンテンツ情報を取得するものである。このコンテンツ情報取得装置3は、カメラ付き携帯端末として、スマートフォン、タブレット端末(タブレット型PCを含む)等として構成することができる。
The content
サーバ4は、ネットワークNを介して、コンテンツ情報を提供するものである。
なお、サーバ4は、コンテンツの映像内に映っているオブジェクトの名称等のオブジェクト個別情報およびオブジェクト関連情報の取得元となるWebサーバ41と、電子透かしとして埋め込まれた識別情報(ID)とWebサーバ41のアドレス(URL)とを関連付けて管理する検索サーバ42とがある。
以下、コンテンツ配信装置1、コンテンツ表示装置2、コンテンツ情報取得装置3の順で各装置の構成を説明する。なお、サーバ4については、一般的なWebサーバ、検索サーバとして構成できるため、ここでは、説明を省略する。
The server 4 provides content information via the network N.
The server 4 includes a Web server 4 1 as the acquisition source of the object individual information and object-related information such as the name of the object is reflected in the video content, the identification information embedded as an electronic watermark (ID) Web there is a search server 4 2 which manages in association with the server 4 first address (URL).
Hereinafter, the configuration of each device will be described in the order of the
〔コンテンツ配信装置の構成〕
まず、図2を参照して、コンテンツ配信装置1の構成について説明する。ここでは、コンテンツ配信装置1は、コンテンツ記憶手段10と、埋め込み情報記憶手段11と、領域別電子透かし埋め込み手段12と、送信手段13と、を備える。
[Configuration of content distribution device]
First, the configuration of the
コンテンツ記憶手段10は、コンテンツを記憶するもので、ハードディスク等の一般的な記憶装置で構成される。このコンテンツ記憶手段10は、コンテンツを特定するための識別情報(コンテンツID)と対応付けてコンテンツのデータを記憶する。
The content storage means 10 stores content and is configured by a general storage device such as a hard disk. The
埋め込み情報記憶手段11は、コンテンツIDと、コンテンツに電子透かしとして埋め込まれるオブジェクトを識別するための識別情報(識別ID)と、埋め込み時間と、埋め込み領域とを対応付けた埋め込み情報を記憶するものである。 The embedded information storage unit 11 stores embedded information in which a content ID, identification information (identification ID) for identifying an object embedded as a digital watermark in the content, an embedded time, and an embedded area are associated with each other. is there.
ここで、識別IDは、例えば、コンテンツを特定するための識別情報であるコンテンツIDと、当該コンテンツの映像内に映っているオブジェクトを特定するための識別情報であるオブジェクトIDとで構成される。
また、埋め込み時間は、コンテンツの表示時間において、オブジェクトが表示され、当該オブジェクトに対応する電子透かしを埋め込む時間を示す。
Here, the identification ID includes, for example, a content ID that is identification information for specifying the content and an object ID that is identification information for specifying the object shown in the video of the content.
The embedding time indicates a time during which an object is displayed and a digital watermark corresponding to the object is embedded in the content display time.
また、埋め込み領域は、コンテンツ内のフレーム(映像フレーム)で、識別IDを電子透かしとして埋め込む領域を示す。ここで、埋め込み領域は、フレームを予め定めた領域に区分した領域単位とする。例えば、図5(a)に示すように、フレームFを縦横それぞれ2分割した4つの領域を電子透かしの埋め込み領域(R1〜R4)とし、図5(b)に示すように、それぞれの領域単位で個別の電子透かし(図中、A〜B)が埋め込まれる領域となる。
なお、オブジェクトが複数の分割領域に跨って配置される場合、その分割領域に対応する埋め込み領域には、同じ電子透かし(識別ID)を埋め込むこととする。
The embedding area indicates an area where the identification ID is embedded as a digital watermark in a frame (video frame) in the content. Here, the embedding area is an area unit obtained by dividing the frame into predetermined areas. For example, as shown in FIG. 5A, four regions obtained by dividing the frame F into two vertically and horizontally are set as digital watermark embedding regions (R1 to R4), and each region unit as shown in FIG. 5B. Thus, an individual digital watermark (A to B in the figure) is embedded.
When an object is arranged across a plurality of divided areas, the same digital watermark (identification ID) is embedded in the embedded area corresponding to the divided area.
ここで、図6〜図9を参照(適宜図5参照)して、電子透かしの埋め込みパターンの例について説明する。なお、ここでは、電子透かしの埋め込み領域を、図5(a)に示したフレームFの縦横に2分割した4つの分割領域とする。 Here, an example of a digital watermark embedding pattern will be described with reference to FIGS. 6 to 9 (refer to FIG. 5 as appropriate). Here, the digital watermark embedding area is assumed to be four divided areas divided into two in the vertical and horizontal directions of the frame F shown in FIG.
1つ(1群)のオブジェクトをフレームFの1つ分割領域上に配置する場合、図6(a)のMA1,図6(b)のMA2,図6(c)のMA3,図6(d)のMA4の埋め込みパターンで示すように、そのオブジェクトを配置する分割領域を電子透かしの埋め込み領域とする。
例えば、図6(a)に示すように、フレームFの分割領域である左上の領域にオブジェクト(図中、バナナ)を配置する場合、領域R1を電子透かしの埋め込み領域とする。
When one (one group) object is arranged on one divided area of the frame F, M A1 in FIG. 6A , M A2 in FIG. 6B, M A3 in FIG. As shown by the M A4 embedding pattern 6 (d), the divided area where the object is arranged is set as an embedding area of the digital watermark.
For example, as shown in FIG. 6A, when an object (banana in the figure) is arranged in the upper left area, which is a divided area of the frame F, the area R1 is set as a digital watermark embedding area.
また、1つ(1群)のオブジェクトをフレームFの2つ分割領域に跨って配置する場合、図7(a)のMB1,図7(b)のMB2,図7(c)のMB3,図7(d)のMB4の埋め込みパターンで示すように、そのオブジェクトが配置される2つの分割領域を同じ電子透かしの埋め込み領域とする。
例えば、図7(a)に示すように、フレームの分割領域である左上および右上の領域にオブジェクト(図中、バナナ)を跨って配置する場合、領域R1,R2を同じ電子透かしの埋め込み領域とする。
When one (group) object is arranged across two divided areas of the frame F, M B1 in FIG. 7A, M B2 in FIG. 7B, and M B in FIG. 7C. B3, as indicated in the embedded pattern M B4 in FIG. 7 (d), the two divided areas the object is located in the same electronic watermark embedding region.
For example, as shown in FIG. 7A, in the case where objects (bananas in the figure) are placed across the upper left and upper right areas, which are divided areas of the frame, the areas R1 and R2 are set as the same digital watermark embedding areas. To do.
また、1つ(1群)のオブジェクトをフレームFの4つ分割領域に跨って配置する場合、図8のMC1の埋め込みパターンで示すように、そのオブジェクトが配置される4つの分割領域全体を同じ電子透かしの埋め込み領域とする。
例えば、図8に示すように、フレームのすべての分割領域にオブジェクト(図中、バナナ)を跨って配置する場合、領域R1,R2,R3,R4を同じ電子透かしの埋め込み領域とする。
When one (group) object is arranged across the four divided areas of the frame F, as shown by the embedding pattern of MC1 in FIG. The same digital watermark is embedded.
For example, as shown in FIG. 8, in the case where objects (bananas in the figure) are arranged across all the divided areas of the frame, the areas R1, R2, R3, and R4 are set as embedded areas of the same digital watermark.
なお、ここでは、埋め込みパターンとして、4つの分割領域に対して、矩形領域となるように電子透かしの埋め込み領域を設定した例を示した。しかし、この埋め込みパターンは、分割領域にオブジェクトが跨って配置可能なパターンであれば、これらのパターンに限定されない。例えば、3つの分割領域(例えば、L字領域)にオブジェクトを配置する場合は、その領域(例えば、領域R1,R3,R4)を同じ電子透かしの埋め込み対象として設定すればよい。 Here, an example is shown in which the embedding pattern of the digital watermark is set as the embedding pattern so as to be a rectangular area for the four divided areas. However, the embedding pattern is not limited to these patterns as long as the object can be arranged across the divided areas. For example, when an object is arranged in three divided areas (for example, L-shaped areas), the areas (for example, areas R1, R3, and R4) may be set as the same digital watermark embedding targets.
また、埋め込みパターンは、1つ(1群)のオブジェクトをフレームに配置する場合に限定されない。すなわち、それぞれの埋め込みパターンが相互に重ならなければ、どのような組み合わせであっても構わない。
例えば、図9に示すように、図6(c)で示した埋め込みパターンMA3と、図6(d)で示した埋め込みパターンMA4と、図7(a)で示した埋め込みパターンMB1とを組み合わせて、埋め込み領域を設定してもよい。
図2に戻って、コンテンツ配信装置1の構成について説明を続ける。
Further, the embedding pattern is not limited to the case where one (one group) object is arranged in the frame. In other words, any combination may be used as long as the respective embedding patterns do not overlap each other.
For example, as shown in FIG. 9, the embedding pattern M A3 shown in FIG. 6C, the embedding pattern M A4 shown in FIG. 6D, and the embedding pattern M B1 shown in FIG. May be combined to set the embedding area.
Returning to FIG. 2, the description of the configuration of the
領域別電子透かし埋め込み手段12は、埋め込み情報記憶手段11に記憶されている埋め込み情報に基づいて、コンテンツを構成するフレームの所定領域単位で電子透かしを埋め込むものである。この領域別電子透かし埋め込み手段12は、電子透かしを埋め込んだコンテンツを送信手段13に出力する。
The area-specific digital
ここでは、領域別電子透かし埋め込み手段12は、外部から配信対象のコンテンツを指定(例えば、コンテンツID等で指定)されることで、コンテンツ記憶手段10から、対応するコンテンツを読み出し、埋め込み情報記憶手段11に記憶されている当該コンテンツに対応する埋め込み情報により、当該コンテンツに電子透かしを埋め込む。
すなわち、領域別電子透かし埋め込み手段12は、埋め込み情報で特定される埋め込み時間に対応するコンテンツのフレームにおいて、埋め込み領域で特定される領域(R1,R2等)に、オブジェクトを識別するための識別情報(識別ID)を埋め込む。
Here, the area-specific digital
In other words, the region-specific digital
ただし、領域別電子透かし埋め込み手段12は、各埋め込み領域の境界に、予め定めた間隔(ガードバンド)を設け、そこで境界部分近づく程、電子透かしを埋め込む画素の比率を相対的に減少させる等の処理を施すこととする。これによって、後記するコンテンツ情報取得装置3が、コンテンツを撮影した画像から、領域を区分して電子透かしを検出する際に、電子透かしの視認性を低減させることが可能になる。
However, the area-specific digital
なお、この領域別電子透かし埋め込み手段12は、埋め込み時間に対応するフレームごとに同じ電子透かし(識別ID)を埋め込むこととしてもよいし、連続したフレーム、例えば、15秒間(1秒間に30フレーム、450フレーム等)で1つの識別IDを埋め込むこととしてもよい。ただし、コンテンツ情報取得装置3において、コンテンツをデジタルカメラで静止画像として撮影することとする場合には、1フレーム内に識別IDを埋め込む必要がある。
なお、電子透かしをどの単位(1フレーム単位、複数フレーム単位)で埋め込むかは、予め後記するコンテンツ情報取得装置3において、既知であるとする。
この領域別電子透かし埋め込み手段12が行う電子透かしの埋め込み手法は、既知の手法を用いることができる。例えば、国際公開第05/079072号公報で開示されている手法等を用いる。
The area-specific digital
In addition, it is assumed in the content
As a digital watermark embedding method performed by the region-specific digital
送信手段13は、領域別電子透かし埋め込み手段12で電子透かしが埋め込まれたコンテンツを、コンテンツ表示装置2に送信するものである。ここでは、送信手段13は、コンテンツを符号化し、放送信号に変調して、放送波として送信する。
なお、コンテンツ配信装置1とコンテンツ表示装置2との間を通信回線(例えば、無線LAN等)で接続した形態とする場合、送信手段13を通信制御手段で構成し、通信回線を介して、コンテンツを送信することとすればよい。
The
When the
このようにコンテンツ配信装置1を構成することで、コンテンツ配信装置1は、コンテンツの映像内に映っているオブジェクトに対して、所定の領域単位で電子透かしを埋め込むことができる。また、コンテンツ配信装置1は、予め定めた領域に電子透かしを埋め込むことで、電子透かしを検出する側では、容易に電子透かしの位置を認識することができる。
By configuring the
〔コンテンツ表示装置の構成〕
次に、図3を参照して、コンテンツ表示装置2の構成について説明する。ここでは、コンテンツ表示装置2は、受信手段20と、表示手段21と、を備える。
[Configuration of content display device]
Next, the configuration of the
受信手段20は、コンテンツ配信装置1から送信されるコンテンツを受信するものである。ここでは、受信手段20は、放送波として送信される放送信号を復調し、符号復号することで、コンテンツとして受信する。この受信手段20は、受信したコンテンツを表示手段21に出力する。
なお、コンテンツ表示装置2とコンテンツ配信装置1との間を通信回線(例えば、無線LAN等)で接続した形態とする場合、受信手段20を通信制御手段で構成し、通信回線を介して、コンテンツを受信することとすればよい。
The receiving
When the
表示手段21は、受信手段20で受信したコンテンツを画面上に表示するものであって、一般的な液晶モニタ等で構成される。
なお、表示手段21の画面のサイズは、コンテンツ情報取得装置3が画面を撮影するために、一般的なモニタサイズ(例えば、32インチ〔32型〕)以上が好ましい。
このようにコンテンツ表示装置2を構成することで、コンテンツ表示装置2は、コンテンツ配信装置1から送信されたコンテンツを、コンテンツ情報取得装置3が撮影可能な形態で表示することができる。
The display means 21 displays the content received by the receiving means 20 on the screen, and is composed of a general liquid crystal monitor or the like.
Note that the screen size of the display means 21 is preferably a general monitor size (for example, 32 inches [32 types]) or more in order for the content
By configuring the
〔コンテンツ情報取得装置の構成〕
次に、図4を参照して、コンテンツ情報取得装置3の構成について説明する。ここでは、コンテンツ情報取得装置3は、撮影手段30と、領域別電子透かし検出手段31と、領域別情報記憶手段32と、オブジェクト個別情報表示手段33と、表示位置記憶手段34と、オブジェクト関連情報表示手段35と、ネットワーク接続手段36と、表示手段37と、指定手段38と、を備える。
[Configuration of Content Information Acquisition Device]
Next, the configuration of the content
撮影手段30は、コンテンツ表示装置2の表示画面を撮影するものであって、一般的なデジタルカメラ、ビデオカメラ等で構成される。
この撮影手段30は、撮影した撮影画像(静止画または動画像)を、領域別電子透かし検出手段31と、表示手段37とに出力する。
The photographing means 30 photographs the display screen of the
The
領域別電子透かし検出手段31は、撮影手段30で撮影された撮影画像において、予め定めた領域単位で電子透かしを検出するものである。ここでは、領域別電子透かし検出手段31は、画像分割手段310と、電子透かし検出手段311と、を備える。
画像分割手段310は、撮影手段30で撮影された撮影画像をフレーム単位で予め定めた領域に分割するものである。
ここでは、画像分割手段310は、電子透かしの埋め込み領域として、フレームを、コンテンツ配信装置1と同様の区分で分割する。すなわち、ここでは、撮像画像を、縦横それぞれに2分割した4つの画像に分割する。
この画像分割手段310は、分割した画像を、電子透かし検出手段311に出力する。
The area-specific digital watermark detection means 31 detects a digital watermark in a predetermined area unit in a photographed image photographed by the photographing
The
Here, the
The
電子透かし検出手段311は、画像分割手段310で分割された画像から、電子透かしを検出するものである。なお、電子透かしの検出手法は、電子透かしの埋め込み手法と対応したものであれば、一般的な手法を用いればよい。
ここでは、電子透かし検出手段311で検出される電子透かしは、コンテンツ配信装置1で埋め込まれた識別ID、すなわち、コンテンツを特定するための識別情報であるコンテンツIDと、当該コンテンツの映像内に映っているオブジェクトを特定するための識別情報であるオブジェクトIDとで構成される識別情報である。
The digital
Here, the digital watermark detected by the digital watermark detection means 311 is reflected in the identification ID embedded in the
この電子透かし検出手段311は、コンテンツ配信装置1における電子透かしの埋め込み単位(1フレーム単位、複数フレーム単位)と同様の単位で、電子透かしを検出する。
この電子透かし検出手段311は、分割画像の位置に対応する電子透かしの埋め込み領域の位置(R1〜R4:図5(a)参照)と、検出した識別IDとを対応付けて、領域別情報記憶手段32に記憶する。
なお、電子透かし検出手段311は、電子透かしの埋め込み領域から電子透かしが検出されない場合、当該領域には、識別IDが存在しない旨を示すコード(例えば、NULL)を対応付けて領域別情報記憶手段32に記憶する。
また、電子透かし検出手段311は、電子透かしを検出した場合、その旨をオブジェクト個別情報表示手段33に通知する。
This digital watermark detection means 311 detects a digital watermark in the same unit as the digital watermark embedding unit (one frame unit, plural frame units) in the
This digital watermark detection means 311 associates the position of the embedded area of the digital watermark corresponding to the position of the divided image (R1 to R4: see FIG. 5A) with the detected identification ID, and stores information by region. Store in the
When the digital watermark is not detected from the digital watermark embedding area, the digital watermark detection means 311 associates a code (for example, NULL) indicating that the identification ID does not exist in the area with the area-specific information storage means. 32.
Further, when the digital
ここで、図10を参照(適宜図4参照)して、領域別電子透かし検出手段31の処理内容について模式的に説明する。
図10(a)は、撮影手段30によって撮影された撮影画像を示し、複数のフレームFに亘って、4つの埋め込み領域に電子透かしが埋め込まれた状態を表している。
ここで、領域R1には、オブジェクトとして“バナナ”が映っており、識別IDとして“A”(バナナの識別ID)が埋め込まれている。また、領域R2には、オブジェクトとして“リンゴ”が映っており、識別IDとして“B”(リンゴの識別ID)が埋め込まれている。また、領域R3には、オブジェクトとして“ブドウ”が映っており、識別IDとして“C”(ブドウの識別ID)が埋め込まれている。また、領域R4には、オブジェクトとして“イチゴ”が映っており、識別IDとして“D”(イチゴの識別ID)が埋め込まれている。
Here, with reference to FIG. 10 (refer to FIG. 4 as appropriate), processing contents of the region-specific digital watermark detection means 31 will be schematically described.
FIG. 10A shows a photographed image photographed by the photographing
Here, in the region R1, “banana” is reflected as an object, and “A” (banana identification ID) is embedded as an identification ID. In the region R2, “apple” is shown as an object, and “B” (apple identification ID) is embedded as an identification ID. In the region R3, “grape” is reflected as an object, and “C” (grape identification ID) is embedded as an identification ID. In the region R4, “strawberry” is reflected as an object, and “D” (strawberry identification ID) is embedded as an identification ID.
ここで、画像分割手段310は、図10(b)に示すように、図10(a)の撮影画像をフレームFごとに予め定めた4つの領域に分割する。これによって、各分割画像には、電子透かしが埋め込まれていれば、1つの識別IDだけが埋め込まれていることになる。
そして、電子透かし検出手段311は、図10(b)の各分割画像において、電子透かしを検出することで、図10(c)に示すように、それぞれのオブジェクトに対応する識別ID(A,B,C,D)を検出する。
図4に戻って、コンテンツ情報取得装置3の構成について説明を続ける。
Here, the
Then, the digital watermark detection means 311 detects the digital watermark in each divided image of FIG. 10B, and as shown in FIG. 10C, the identification ID (A, B corresponding to each object). , C, D).
Returning to FIG. 4, the description of the configuration of the content
領域別情報記憶手段32は、電子透かしの埋め込み領域ごとに、領域別電子透かし検出手段31で検出された電子透かし(識別ID)を記憶するものである。この領域別情報記憶手段32は、一般的なメモリで構成することができる。 The area-specific information storage means 32 stores the digital watermark (identification ID) detected by the area-specific digital watermark detection means 31 for each embedded area of the digital watermark. This area-specific information storage means 32 can be constituted by a general memory.
オブジェクト個別情報表示手段33は、電子透かし(識別ID)が埋め込まれたコンテンツの映像内に映っているオブジェクトの名称等のオブジェクト個別情報を取得して、取得したオブジェクト個別情報をオブジェクトに対応付けて画面上に表示するものである。ここでは、オブジェクト個別情報表示手段33は、ID別情報取得手段330と、表示位置決定手段331と、ID別情報表示手段332と、を備える。 The object individual information display means 33 acquires object individual information such as the name of the object shown in the video of the content in which the digital watermark (identification ID) is embedded, and associates the acquired object individual information with the object. It is displayed on the screen. Here, the object individual information display means 33 includes ID-specific information acquisition means 330, display position determination means 331, and ID-specific information display means 332.
ID別情報取得手段330は、領域別電子透かし検出手段31から電子透かし(識別ID)を検出した旨を通知された際に、識別IDに対応するオブジェクト個別情報を、ネットワーク接続手段36を介して取得するものである。
このID別情報取得手段330は、領域別情報記憶手段32に記憶されている識別IDを読み出し、当該識別IDに対応するオブジェクト個別情報を、ネットワーク接続手段36を介して取得する。
The ID-specific
The ID-specific
ここでは、ID別情報取得手段330は、予め定めた固定の検索サーバ42(サーバ4)において、識別IDに対応するオブジェクト個別情報を提供するWebサーバ41(サーバ4)を検索し、そのWebサーバ41から、識別IDに対応するオブジェクト個別情報を取得する。この固定の検索サーバ42は、例えば、コンテンツ配信装置1内に組み込まれたものであってもよい。
Here, the ID-specific information acquisition means 330 searches the predetermined fixed search server 4 2 (server 4) for the Web server 4 1 (server 4) that provides the individual object information corresponding to the identification ID, and from the Web server 4 1 to obtain the object individual information corresponding to the identification ID. Search server 4 2 of the fixing, for example, or may be incorporated in the
また、例えば、電子透かしとして、識別ID以外にオブジェクト個別情報の取得元を示すアドレスを埋め込んでおき、ID別情報取得手段330は、そのアドレスで特定されるWebサーバ41から、オブジェクト個別情報を取得することとしてもよい。
また、ID別情報取得手段330は、複数の埋め込み領域に同じ識別IDが埋め込まれている場合(例えば、図7等)、その識別IDに対して1つのオブジェクト個別情報を取得することとする。
このID別情報取得手段330は、取得した識別IDに対するオブジェクト個別情報を、ID別情報表示手段332に出力する。
Further, for example, as an electronic watermark, embeds the address indicating the acquisition source of the object individual information except the identification ID, ID-specific
Further, when the same identification ID is embedded in a plurality of embedding areas (for example, FIG. 7), the ID-specific
The ID-specific
なお、識別IDに対応するオブジェクト個別情報がWebサーバ41から取得できない等のエラーが発生した場合、ID別情報取得手段330は、その識別IDに対応するオブジェクト個別情報のID別情報表示手段332への出力は行わない。また、このとき、ID別情報取得手段330は、当該識別IDに対応するオブジェクト個別情報が存在しない旨を表示位置決定手段331に通知する。
Incidentally, when an error, such as the object individual information corresponding to the identification ID can not be acquired from the Web server 4 1 occurs, ID-specific
表示位置決定手段331は、領域別電子透かし検出手段31から電子透かしを検出した旨を通知された際に、オブジェクト個別情報の表示位置を予め定めた規則に基づいて決定するものである。
The display
ここでは、表示位置決定手段331は、ある領域のみに識別IDが埋め込まれている場合、その領域上の位置(例えば、領域中心)をオブジェクト個別情報の表示位置とする。
また、表示位置決定手段331は、複数の領域に同じ識別IDが埋め込まれている場合、その複数の領域に対する予め定めた位置をオブジェクト個別情報の表示位置とする。
例えば、同じ識別IDが埋め込まれた複数の領域を連結して全体として矩形形状となる場合、表示位置決定手段331は、その矩形形状の領域上の位置(例えば、矩形形状領域の中心)をオブジェクト個別情報の表示位置とする。
Here, when the identification ID is embedded only in a certain area, the display
Further, when the same identification ID is embedded in a plurality of areas, the display
For example, when a plurality of areas embedded with the same identification ID are connected to form a rectangular shape as a whole, the display
また、例えば、同じ識別IDが埋め込まれた複数の領域を連結しても全体として矩形形状とならない場合(L字形状等)、表示位置決定手段331は、その識別IDが埋め込まれた複数の領域において、1つの領域を基準領域として、当該基準領域の水平方向および垂直方向でその識別IDが埋め込まれた領域の個数が最大となる基準領域上の位置(例えば、領域中心)をオブジェクト個別情報の表示位置とする。
また、同じ識別IDが埋め込まれた複数の領域が矩形形状とならない場合、表示位置決定手段331は、その複数の領域で構成される図形の重心をオブジェクト個別情報の表示位置としてもよい。
この表示位置決定手段331は、識別IDに対応するオブジェクト個別情報の表示位置をID別情報表示手段332に出力する。
Further, for example, when a plurality of regions embedded with the same identification ID are not connected to form a rectangular shape as a whole (such as an L-shape), the display
In addition, when a plurality of areas in which the same identification ID is embedded do not have a rectangular shape, the display
The display
また、表示位置決定手段331は、識別IDに対応付けてオブジェクト個別情報の表示位置(例えば、識別IDのタグの位置、大きさ)を、表示位置記憶手段34に記憶する。
なお、表示位置決定手段331は、ID別情報取得手段330から、識別IDに対応するオブジェクト個別情報が存在しない旨を通知された場合、当該識別IDに対応するオブジェクト個別情報の表示位置の決定を行わないこととする。
The display
When the display
ID別情報表示手段332は、ID別情報取得手段330で取得した識別IDに対応するオブジェクト個別情報を、表示位置決定手段331で決定された識別IDに対応するオブジェクト個別情報の表示位置に表示するものである。
このID別情報表示手段332は、描画内容(オブジェクト個別情報〔オブジェクトの名称)と、その表示位置とを表示手段37に出力する。
The ID-specific
This ID-specific information display means 332 outputs the drawing contents (object individual information [object name) and its display position to the display means 37.
なお、ここでは、ID別情報表示手段332が出力する描画内容は、オブジェクト個別情報(オブジェクトの名称)の文字列が領域として含まれる大きさのタグに当該文字列を記述した画像とする。また、ID別情報表示手段332は、当該タグの中心が表示位置となるように、表示手段37に指示する。
Here, the drawing content output by the ID-specific
ここで、図11〜図14を参照(適宜図4参照)して、図6〜図9で説明した埋め込み領域に電子透かし(識別ID)が埋め込まれている場合のオブジェクト個別情報の描画パターンの例について説明する。なお、図11〜図14は、コンテンツ情報取得装置3の画面上の内容を示している。
Here, referring to FIG. 11 to FIG. 14 (refer to FIG. 4 as appropriate), the drawing pattern of the object individual information when the digital watermark (identification ID) is embedded in the embedding area described in FIG. 6 to FIG. An example will be described. 11 to 14 show the contents on the screen of the content
図6で説明した1つ(1群)のオブジェクトがフレームFの1つ分割領域上に配置され、その分割領域のみに電子透かしが埋め込まれている場合、オブジェクト個別情報表示手段33は、図11(a)のDA1,図11(b)のDA2,図11(c)のDA3,図11(d)のDA4の描画パターンで示すように、撮像画像を4分割した領域の中で、電子透かしが検出された領域に対応する領域の中心にオブジェクト個別情報を描画する。
例えば、オブジェクト個別情報表示手段33は、図11(a)に示すように、オブジェクト(図中、バナナ)が配置されている分割領域D1の中心にオブジェクトの名称を記載したタグT1を描画する。
When one (one group) object described in FIG. 6 is arranged on one divided area of the frame F and a digital watermark is embedded only in the divided area, the object individual information display means 33 displays the object individual information display means 33 in FIG. D A1 of (a), D A2 of FIG. 11 (b), D A3 in FIG. 11 (c), the as shown by the drawing pattern D A4 of FIG. 11 (d), the inside of the four divided regions captured images Thus, the individual object information is drawn at the center of the area corresponding to the area where the digital watermark is detected.
For example, as shown in FIG. 11A, the object individual information display means 33 draws a tag T1 in which the name of the object is written at the center of the divided area D1 where the object (banana in the figure) is arranged.
また、図7で説明した1つ(1群)のオブジェクトがフレームFの2つ分割領域に跨って配置され、2つの分割領域に同じ電子透かしが埋め込まれている場合、オブジェクト個別情報表示手段33は、図12(a)のDB1,図12(b)のDB2,図12(c)のDB3,図12(d)のDB4の描画パターンで示すように、撮像画像を4分割した領域の中で、電子透かしが検出された2つの領域に対応する領域の中心にオブジェクト個別情報を描画する。
例えば、オブジェクト個別情報表示手段33は、図12(a)に示すように、オブジェクト(図中、バナナ)が配置されている分割領域D1,D2を連結した矩形領域の中心にオブジェクトの名称を記載したタグT1を描画する。
Further, when one (one group) object described in FIG. 7 is arranged across the two divided areas of the frame F and the same digital watermark is embedded in the two divided areas, the object individual information display means 33 is displayed. Is divided into four as shown in the drawing pattern of D B1 in FIG. 12A, D B2 in FIG. 12B, D B3 in FIG. 12C, and D B4 in FIG. The individual object information is drawn at the center of the area corresponding to the two areas where the digital watermark has been detected.
For example, as shown in FIG. 12A, the object individual information display means 33 describes the name of the object at the center of the rectangular area connecting the divided areas D1 and D2 where the objects (bananas in the figure) are arranged. The drawn tag T1 is drawn.
また、図8で説明した1つ(1群)のオブジェクトがフレームFの4つ分割領域に跨って配置され、4つの分割領域に同じ電子透かしが埋め込まれている場合、オブジェクト個別情報表示手段33は、図13のDC1の描画パターンで示すように、撮像画像を4分割した領域の中で、電子透かしが検出された4つの領域に対応する領域の中心、すなわち表示画面全体の中心にオブジェクト個別情報を描画する。
例えば、オブジェクト個別情報表示手段33は、図13に示すように、オブジェクト(図中、バナナ)が配置されている分割領域D1,D2,D3,D4を連結した矩形領域の中心にオブジェクトの名称を記載したタグT1を描画する。
Further, when one (one group) object described in FIG. 8 is arranged across the four divided areas of the frame F and the same digital watermark is embedded in the four divided areas, the object individual information display means 33 is displayed. As shown in the drawing pattern of D C1 in FIG. 13, the object is located at the center of the area corresponding to the four areas where the digital watermark is detected in the area obtained by dividing the captured image into four areas, that is, the center of the entire display screen. Draw individual information.
For example, as shown in FIG. 13, the object individual information display means 33 displays the name of an object at the center of a rectangular area connecting divided areas D1, D2, D3, and D4 where objects (bananas in the figure) are arranged. The described tag T1 is drawn.
また、図9で説明した複数の埋め込みパターンで電子透かしが埋め込まれている場合、オブジェクト個別情報表示手段33は、図14のDXの描画パターンで示すように、同じ電子透かしが検出された領域ごとの中心にオブジェクト個別情報を描画する。
Also, when the electronic watermark is embedded in the plurality of embedding patterns described in FIG. 9, the object individual
次に、図15を参照(適宜図4参照)して、同じ識別IDが埋め込まれた複数の領域を連結しても全体として矩形形状にならない場合のオブジェクト個別情報の描画パターンの例について説明する。
ここでは、図15(a)の埋め込みパターンMLに示すように、1つ(1群)のオブジェクト(図中、イチゴ)がフレームFにおいて、L字形状の領域R1,R3,R4に跨って配置され、領域R1,R3,R4に同じ識別IDが埋め込まれていたとする。
この場合、例えば、オブジェクト個別情報表示手段33は、図15(b)の描画パターンDL1に示すように、同じ識別IDが埋め込まれた複数の領域において、1つの領域を基準領域として、当該基準領域の水平方向および垂直方向でその識別IDが埋め込まれた領域の個数が最大となる基準領域上にオブジェクト個別情報を描画する。なお、個数が最大となる基準領域が複数存在する場合は、いずれか1つの基準領域上、例えば、より画面上部、または、より画面左に位置する領域にオブジェクト個別情報を描画することとする。
Next, with reference to FIG. 15 (refer to FIG. 4 as appropriate), an example of a drawing pattern of object individual information when a plurality of regions embedded with the same identification ID are not combined to form a rectangular shape as a whole will be described. .
Here, as shown in the embedding pattern M L in FIG. 15 (a), (in the figure, strawberries) objects of one (1 group) in the frame F, across the regions R1, R3, R4 of the L-shaped Assume that the same identification ID is embedded in the regions R1, R3, and R4.
In this case, for example, as shown in the drawing pattern DL1 in FIG. 15B, the object individual information display means 33 uses the one region as a reference region in the plurality of regions in which the same identification ID is embedded, and The individual object information is drawn on the reference area where the number of areas in which the identification IDs are embedded is maximized in the horizontal direction and the vertical direction of the area. When there are a plurality of reference areas having the maximum number, the individual object information is drawn on any one of the reference areas, for example, an area located on the upper part of the screen or on the left side of the screen.
図15(b)の例で、分割領域D1を基準領域とした場合、分割領域D1の水平方向および垂直方向で同じ識別IDが埋め込まれた領域の個数は、分割領域D1,D3の2つである。
また、分割領域D3を基準領域とした場合、分割領域D3の水平方向および垂直方向で同じ識別IDが埋め込まれた領域の個数は、分割領域D1,D3,D4の3つである。
また、分割領域D4を基準領域とした場合、分割領域D4の水平方向および垂直方向で同じ識別IDが埋め込まれた領域の個数は、分割領域D3,D4の2つである。
よって、この場合、オブジェクト個別情報表示手段33は、水平方向と垂直方向とで同じ識別IDが埋め込まれた領域の個数が最大となる分割領域D3の中心にオブジェクト個別情報を描画する。
In the example of FIG. 15B, when the divided region D1 is used as the reference region, the number of regions in which the same identification ID is embedded in the horizontal direction and the vertical direction of the divided region D1 is two divided regions D1 and D3. is there.
Further, when the divided area D3 is a reference area, the number of areas in which the same identification ID is embedded in the horizontal direction and the vertical direction of the divided area D3 is three of the divided areas D1, D3, and D4.
Further, when the divided region D4 is used as a reference region, the number of regions in which the same identification ID is embedded in the horizontal direction and the vertical direction of the divided region D4 is two divided regions D3 and D4.
Therefore, in this case, the object individual information display means 33 draws the object individual information at the center of the divided area D3 in which the number of areas in which the same identification ID is embedded in the horizontal direction and the vertical direction is maximized.
また、例えば、オブジェクト個別情報表示手段33は、図15(c)の描画パターンDL2に示すように、同じ識別IDが埋め込まれた複数の領域を連結した図形の重心にオブジェクト個別情報を描画する。
図15(c)の例の場合、オブジェクト個別情報表示手段33は、分割領域D1,D3,D4を連結した図形の重心(面積重心)にオブジェクト個別情報を描画する。なお、オブジェクト個別情報表示手段33は、同じ識別IDが埋め込まれた複数の領域を連結し全体として矩形形状になる場合でも、オブジェクト個別情報の描画位置を、その矩形形状の図形の重心とて計算することとしてもよい。
図4に戻って、コンテンツ情報取得装置3の構成について説明を続ける。
Further, for example, the object individual information display means 33 draws the object individual information on the center of gravity of the figure connecting a plurality of areas in which the same identification ID is embedded, as shown in the drawing pattern DL2 in FIG. .
In the case of the example of FIG. 15C, the object individual information display means 33 draws the object individual information on the center of gravity (area center of gravity) of the figure connecting the divided regions D1, D3, and D4. Note that the individual object information display means 33 calculates the drawing position of the individual object information as the center of gravity of the rectangular figure even when a plurality of areas embedded with the same identification ID are connected to form a rectangular shape as a whole. It is good to do.
Returning to FIG. 4, the description of the configuration of the content
表示位置記憶手段34は、オブジェクト個別情報表示手段33がオブジェクト個別情報を表示した位置(例えば、タグの位置、大きさ)を、識別IDとともに記憶するものである。この表示位置記憶手段34は、一般的なメモリ等で構成することができる。 The display position storage means 34 stores the position (for example, the position and size of the tag) where the object individual information display means 33 displays the object individual information together with the identification ID. The display position storage means 34 can be configured by a general memory or the like.
オブジェクト関連情報表示手段35は、電子透かし(識別ID)が埋め込まれたコンテンツの映像内に映っているオブジェクトに関連するオブジェクト関連情報を取得して、取得したオブジェクト関連情報を画面上に表示するものである。ここでは、オブジェクト関連情報表示手段35は、関連情報取得手段350と、関連情報表示手段351と、を備える。 The object related information display means 35 acquires object related information related to an object shown in the video of the content in which the digital watermark (identification ID) is embedded, and displays the acquired object related information on the screen. It is. Here, the object related information display means 35 includes related information acquisition means 350 and related information display means 351.
関連情報取得手段350は、ユーザが指定したオブジェクトに対応するオブジェクト関連情報を、ネットワーク接続手段36を介して取得するものである。
ここでは、関連情報取得手段350は、指定手段38を介してユーザに指定されたオブジェクト個別情報のタグ位置に対応する領域の識別IDを表示位置記憶手段34から読み出し、予め定めた固定の検索サーバ42(サーバ4)において、選択されたオブジェクト(オブジェクト名称)に対応するオブジェクト関連情報を提供するWebサーバ41(サーバ4)を検索し、そのWebサーバ41から、識別IDに対応するオブジェクト関連情報を取得する。
The related
Here, the related information acquisition means 350 reads the identification ID of the area corresponding to the tag position of the object individual information designated by the user via the designation means 38 from the display position storage means 34, and determines a predetermined fixed search server. in 4 2 (server 4), searches the Web server 4 1 to provide an object-related information corresponding to the selected object (object name) (server 4), from the Web server 4 1, corresponding to the identification ID object Get related information.
なお、オブジェクト個別情報とオブジェクト関連情報とを同じWebサーバ41で提供する場合、関連情報取得手段350は、ID別情報取得手段330ですでに検索済みのWebサーバ41からオブジェクト関連情報を取得することとしてもよい。
また、関連情報取得手段350は、ユーザに指定されたオブジェクト個別情報のタグ位置のみならず、ユーザが指定した位置が、識別IDが埋め込まれている領域であれば、当該領域に映っているオブジェクトを指定したとみなしてもよい。
この関連情報取得手段350は、取得したオブジェクト関連情報を、関連情報表示手段351に出力する。
In the case of providing the object individual information and the object-related information in the same Web server 4 1, related
In addition, the related
The related
関連情報表示手段351は、関連情報取得手段350で取得されたオブジェクト関連情報を表示するものである。
ここでは、関連情報表示手段351は、オブジェクト関連情報であるHTML等のページ記述言語で記述されたWebページを解釈するブラウザであって、取得したWebページを表示データに変換して、表示手段37に出力する。
なお、関連情報表示手段351は、オブジェクト関連情報を表示する際に、コンテンツを一旦非表示にして、表示画面全体にオブジェクト関連情報を表示することとしてもよいし、コンテンツを一旦縮小し、空き領域にオブジェクト関連情報を表示することとしてもよい。
The related
Here, the related
When displaying the object related information, the related
例えば、図16(a)に示すように、オブジェクト上にオブジェクト名称(オブジェクト個別情報)を記載したタグが表示された状態で、関連情報取得手段350が、ユーザに選択されたタグT1に記載のオブジェクト名称(オブジェクト個別情報)に関連するWebページ(オブジェクト関連情報)を取得したとする。
このとき、関連情報表示手段351は、図16(b)に示すように、表示画面全体にWebページを表示する。あるいは、関連情報表示手段351は、図16(c)に示すように、図16(a)の画面を縮小し、空き領域にWebページを表示する。
For example, as shown in FIG. 16A, in a state where a tag describing an object name (object individual information) is displayed on the object, the related
At this time, the related
ネットワーク接続手段36は、ネットワークNに接続され、要求のあったサーバ4からコンテンツ情報を取得するものである。
このネットワーク接続手段36は、オブジェクト個別情報表示手段33から指定されたサーバ4にアクセスし、オブジェクト個別情報を取得したり、オブジェクト関連情報表示手段35から指定されたサーバ4にアクセスし、オブジェクト関連情報を取得したりする。
The network connection means 36 is connected to the network N and acquires content information from the requested server 4.
The network connection means 36 accesses the server 4 specified from the object individual information display means 33 to acquire the object individual information, or accesses the server 4 specified from the object related information display means 35 to access the object related information. Or get.
表示手段37は、撮影手段30で撮影されたコンテンツを画面上に表示するものであって、一般的な液晶モニタ等で構成される。
この表示手段37は、オブジェクト個別情報表示手段33からオブジェクト個別情報およびその表示位置が入力された場合、コンテンツ上の指定された表示位置にオブジェクト個別情報を合成(重畳)して表示する。
また、表示手段37は、オブジェクト関連情報表示手段35からオブジェクト関連情報が入力された場合、コンテンツを非表示あるいは縮小して、オブジェクト関連情報を表示する。
The display means 37 displays the content photographed by the photographing means 30 on the screen, and is composed of a general liquid crystal monitor or the like.
When the object individual information and its display position are input from the object individual information display means 33, the display means 37 combines (superimposes) and displays the object individual information at the designated display position on the content.
In addition, when the object related information is input from the object related
指定手段38は、コンテンツ上のオブジェクトの位置をユーザから指定されるものである。この指定手段38は、表示手段37がコンテンツを表示する画面上に備えたタッチパネルから入力されるユーザのタップ操作により画面上の位置が指定される。
なお、指定手段38は、マウス操作によって、画面上の位置が指定されるものであっても構わない。
The designation means 38 is for designating the position of the object on the content by the user. The designation means 38 designates a position on the screen by a user tap operation input from a touch panel provided on the screen on which the display means 37 displays content.
Note that the
このようにコンテンツ情報取得装置3を構成することで、コンテンツ情報取得装置3は、予め定めた領域の区分単位で電子透かしを検出するだけで、コンテンツの映像内に映っているオブジェクトを認識することができる。
また、コンテンツ情報取得装置3は、コンテンツ関連情報を取得可能なオブジェクトを視覚的に提示することができる。そのため、コンテンツ情報取得装置3は、ユーザのタップ操作等の簡易な指定で、オブジェクト関連情報を、ネットワークNを介して取得して提示することができる。
By configuring the content
Further, the content
なお、コンテンツ情報取得装置3は、コンピュータを前記した各手段として機能させるためのコンテンツ情報取得プログラムで動作させることができる。このコンテンツ情報取得プログラムは、CD−ROM等の記録媒体に記録して配布したり、通信回線を介して配信したりすることができる。また、このコンテンツ情報取得プログラムは、スマートフォンや、タブレット端末上で動作するアプリケーションとして配布することも可能である。
The content
<コンテンツ情報取得システムの動作>
次に、本発明の実施形態に係るコンテンツ情報取得システムSの動作について説明する。ここでは、コンテンツ内のオブジェクトに対する電子透かしの埋め込みおよび検出を行うコンテンツ配信装置1およびコンテンツ情報取得装置3の動作について説明する。なお、コンテンツ表示装置2およびサーバ4については、詳細な説明は省略し、適宜、コンテンツ配信装置1およびコンテンツ情報取得装置3の動作において付加的に説明することとする。
<Operation of content information acquisition system>
Next, the operation of the content information acquisition system S according to the embodiment of the present invention will be described. Here, operations of the
〔コンテンツ配信装置の動作〕
最初に、図17を参照(構成については適宜図2参照)して、コンテンツ配信装置1の動作について説明する。
まず、コンテンツ配信装置1は、埋め込み情報記憶手段11に、コンテンツを特定するためのコンテンツIDに対応付けて、当該コンテンツに電子透かしとして埋め込まれるオブジェクトを識別するための識別情報(識別ID)と、埋め込み時間と、埋め込み領域とを埋め込み情報として記憶しておく(ステップS1)。
ここで、識別IDは、コンテンツIDと、当該コンテンツの映像内に映っているオブジェクトを特定するためのオブジェクトIDとを連結した値とする。
これによって、どのコンテンツにおいて、どの時間区間で、どの領域に電子透かし(識別ID)が埋め込まれるのかが特定されることになる。
[Operation of content distribution device]
First, the operation of the
First, the
Here, the identification ID is a value obtained by concatenating the content ID and the object ID for specifying the object shown in the video of the content.
As a result, in which content, in which time interval, in which region the digital watermark (identification ID) is embedded is specified.
そして、コンテンツ配信装置1は、領域別電子透かし埋め込み手段12によって、コンテンツIDで指定されたコンテンツをコンテンツ記憶手段10から読み出し、コンテンツIDに対応して埋め込み情報記憶手段11に記憶されている埋め込み情報に基づいて、コンテンツに対応する識別情報(識別ID)を電子透かしとして埋め込む。
このとき、領域別電子透かし埋め込み手段12は、埋め込み情報で特定される埋め込み時間に対応するコンテンツのフレームにおいて、埋め込み領域で特定される所定領域単位で、オブジェクトを識別するための識別情報(識別ID)を埋め込む(ステップS2)。
そして、コンテンツ配信装置1は、送信手段13によって、ステップS2で電子透かしを埋め込んだコンテンツを、コンテンツ表示装置2に送信する(ステップS3)。
Then, the
At this time, the area-specific digital
Then, the
以上の動作によって、コンテンツ配信装置1は、コンテンツに映っているオブジェクトを、予め定めた領域でコンテンツのフレームを区分した領域単位で認識できるように、オブジェクトに対応した電子透かしを埋め込むことができる。
このコンテンツ表示装置2が送信したコンテンツは、コンテンツ表示装置2の受信手段20によって受信され、表示手段21によって表示画面上に表示される。
With the above operation, the
The content transmitted by the
〔コンテンツ情報取得装置の動作〕
次に、図18を参照(構成については適宜図4参照)して、コンテンツ情報取得装置3の動作について説明する。
まず、コンテンツ情報取得装置3は、撮影手段30によって、コンテンツ表示装置2の表示画面全体を撮影する(ステップS11)。
[Operation of Content Information Acquisition Device]
Next, the operation of the content
First, the content
そして、コンテンツ情報取得装置3は、領域別電子透かし検出手段31によって、ステップS1で撮影された撮影画像において、予め定めた領域単位で電子透かしを検出する。
すなわち、コンテンツ情報取得装置3は、領域別電子透かし検出手段31の画像分割手段310によって、撮影画像をフレーム単位で予め定めた領域に分割する(ステップS12)。
そして、コンテンツ情報取得装置3は、領域別電子透かし検出手段31の電子透かし検出手段311によって、画像分割手段310で分割された画像から、電子透かし(識別ID)を検出する(ステップS13)。
Then, the content
In other words, the content
Then, the content
そして、コンテンツ情報取得装置3は、オブジェクト個別情報表示手段33によって、電子透かし(識別ID)が埋め込まれたコンテンツ内のオブジェクト個別情報を、サーバ4から取得して、そのオブジェクト個別情報をオブジェクトに対応付けて画面上に表示する。
すなわち、コンテンツ情報取得装置3は、オブジェクト個別情報表示手段33のID別情報取得手段330によって、ステップS13で検出された電子透かしである識別IDに対応するオブジェクト個別情報を、ネットワーク接続手段36を介して、サーバ4から取得する(ステップS14)。
さらに、コンテンツ情報取得装置3は、オブジェクト個別情報表示手段33の表示位置決定手段331によって、同一の識別IDが検出された領域に対して、予め定めた規則でオブジェクト個別情報の表示位置を決定する(ステップS15)。
Then, the content
That is, the content
Furthermore, the content
そして、コンテンツ情報取得装置3は、オブジェクト個別情報表示手段33のID別情報表示手段332によって、表示手段37がコンテンツを表示している状態で、ステップS14で取得したオブジェクト個別情報の文字列を含んだタグを、ステップS15で決定された表示位置に表示(描画)する(ステップS16)。
ここまでの動作で、コンテンツ情報取得装置3の画面上には、オブジェクト関連情報が取得可能なオブジェクトごとに、オブジェクト個別情報(オブジェクト名称)がタグとして表示された状態となる。
The content
By the operation so far, the individual object information (object name) is displayed as a tag on the screen of the content
そして、コンテンツ情報取得装置3は、ユーザからタグを選択されることで、オブジェクト関連情報表示手段35によって、当該タグに対応するオブジェクトのオブジェクト関連情報を、サーバ4から取得して、画面上に表示する。
すなわち、コンテンツ情報取得装置3は、オブジェクト関連情報表示手段35の関連情報取得手段350によって、指定手段38を介してユーザが指定したタグの位置で特定される識別IDに対応するオブジェクト関連情報を、ネットワーク接続手段36を介して、サーバ4から取得する(ステップS17)。
Then, the content
That is, the content
そして、コンテンツ情報取得装置3は、関連情報表示手段351によって、ステップS17で取得したオブジェクト関連情報を表示する(ステップS18)。
以上の動作によって、コンテンツ情報取得装置3は、コンテンツ関連情報を取得可能なオブジェクトを視覚的に提示するとともに、ユーザが選択したオブジェクトに対応するオブジェクト関連情報を、サーバ4から取得して表示することができる。
Then, the content
Through the above operation, the content
〔変形例〕
以上、本発明の実施形態に係るコンテンツ情報取得システムSの構成および動作について説明したが、本発明はこの実施形態に限定されるものではない。
例えば、ここでは、電子透かしの埋め込み領域を、フレームを縦横それぞれ2分割した4つの領域(図5(a)参照)として説明した。しかし、この埋め込み領域は、予め定めた分割数の領域であれば、その数は限定されない。例えば、埋め込み領域は、フレームを縦横それぞれ3分割した9つの領域とするなど、フレームを縦横それぞれ2よりも大きい分割数で分割した領域としてもよい。また、縦横の分割数は同じである必要はなく、縦2分割、横3分割等、縦横それぞれ異なる分割数としても構わない。
[Modification]
The configuration and operation of the content information acquisition system S according to the embodiment of the present invention have been described above, but the present invention is not limited to this embodiment.
For example, here, the digital watermark embedding area has been described as four areas (see FIG. 5A) obtained by dividing the frame into two vertically and horizontally. However, the number of the embedded areas is not limited as long as it is an area having a predetermined number of divisions. For example, the embedding area may be an area obtained by dividing the frame by a larger number of divisions than 2 in each of the vertical and horizontal directions, such as nine areas obtained by dividing the frame vertically and horizontally into three. The number of vertical and horizontal divisions does not need to be the same, and the number of divisions may be different from each other in the vertical and horizontal directions, such as vertical and horizontal divisions.
また、ここでは、コンテンツ配信装置1の領域別電子透かし埋め込み手段12において、電子透かしとして、識別IDのみを埋め込むこととした。しかし、領域別電子透かし埋め込み手段12は、識別ID以外に、オブジェクト個別情報およびオブジェクト関連情報の取得元となるサーバ4のアドレス(URL)を併せて埋め込むこととしてもよい。
その場合、コンテンツ情報取得装置3は、領域別情報記憶手段32に、埋め込み領域に対応付けて、領域別電子透かし検出手段31で検出された電子透かし(識別ID)とアドレス(URL)とを記憶する。
Here, only the identification ID is embedded as the digital watermark in the digital
In that case, the content
そして、オブジェクト個別情報表示手段33のID別情報取得手段330や、オブジェクト関連情報表示手段35の関連情報取得手段350において、識別IDに対応するサーバ4を検索することなく、直接、領域別情報記憶手段32に記憶されているアドレス(URL)から、オブジェクト個別情報やオブジェクト関連情報を取得することができる。
Then, the area-specific
また、ここでは、コンテンツ情報取得装置3は、領域別電子透かし検出手段31で電子透かしを検出することした。しかし、電子透かしの検出は、ネットワークN上の専用サーバ(不図示)で行うこととしてもよい。その場合、領域別電子透かし検出手段31は、撮影手段30で撮影された撮影画像を、電子透かし検出の専用サーバに送信し、検出結果を取得することとすればよい。
Here, the content
また、ここでは、コンテンツ情報取得装置3は、オブジェクト個別情報を、コンテンツのオブジェクトの位置に表示させることとした(図11〜図14参照)。
しかし、オブジェクト個別情報は、必ずしもオブジェクト上に表示しなくてもよい。例えば、図19(a)、(b)に示すように、撮像画像に映っているオブジェクトに対応するオブジェクト個別情報を画面上に整列して表示させてもよい。
In addition, here, the content
However, the object individual information is not necessarily displayed on the object. For example, as shown in FIGS. 19A and 19B, the individual object information corresponding to the object shown in the captured image may be displayed in alignment on the screen.
その場合、コンテンツ情報取得装置3の表示位置決定手段331は、識別IDが検出された領域に依存せず、検出された識別IDの数に応じて、個々のオブジェクト個別情報を一定間隔で配置するように表示位置を決定する。なお、この場合も、複数の領域に同じ識別IDが埋め込まれていれば、その識別IDに対応するオブジェクト個別情報の表示位置は1つである。
In that case, the display position determination means 331 of the content
また、ここでは、コンテンツ情報取得装置3は、オブジェクト名称等のオブジェクト個別情報を画面上に表示した後、ユーザによってオブジェクトが指定されたタイミングでオブジェクト関連情報を表示することとした。
しかし、コンテンツを撮影した撮影画像に、電子透かしが埋め込まれていた場合、オブジェクト個別情報を表示せずに、直接オブジェクト関連情報を表示することとしてもよい。
Here, the content
However, when a digital watermark is embedded in a captured image obtained by capturing content, the object related information may be directly displayed without displaying the object individual information.
その場合、コンテンツ情報取得装置は、図20に示した構成とすればよい。以下、図20に示したコンテンツ情報取得装置3Bの構成について説明する。
この図20に示したコンテンツ情報取得装置3Bは、図4で説明したコンテンツ情報取得装置3から、オブジェクト個別情報表示手段33と、表示位置記憶手段34と、を省略して構成している。ここでは、同一の機能を有する構成については、同一の符号を付して説明を省略し、異なる構成についてのみ説明する。
In that case, the content information acquisition apparatus may have the configuration shown in FIG. Hereinafter, the configuration of the content
The content
領域別電子透かし検出手段31Bの電子透かし検出手段311Bは、図4で説明した電子透かし検出手段311と同じ機能を有し、単に、電子透かしを検出した旨の通知先がオブジェクト個別情報表示手段33から、オブジェクト関連情報表示手段35Bに変更されているだけである。 The digital watermark detection means 311B of the area-specific digital watermark detection means 31B has the same function as the digital watermark detection means 311 described in FIG. 4, and the notification destination that the digital watermark has been detected is simply the object individual information display means 33. Only the object related information display means 35B is changed.
オブジェクト関連情報表示手段35Bの関連情報取得手段350Bは、図4で説明した関連情報取得手段350と基本的には同じ機能を有する。ただし、関連情報取得手段350Bは、領域別電子透かし検出手段31Bから、電子透かしを検出した旨を通知された段階で動作し、領域別情報記憶手段32に記憶されている識別IDに対応するオブジェクト関連情報を、ネットワーク接続手段36を介して取得する。
このとき、関連情報取得手段350Bは、領域別情報記憶手段32に記憶されている識別IDが複数ある場合、その数分オブジェクト関連情報を取得するが、同一の識別IDについては、1つのオブジェクト関連情報を取得することとする。
この関連情報取得手段350Bは、取得した1以上のオブジェクト関連情報を、関連情報表示手段351Bに出力する。
The related
At this time, when there are a plurality of identification IDs stored in the area-specific
The related
関連情報表示手段351Bは、図4で説明した関連情報表示手段351と同様、オブジェクト関連情報を表示するものであって、オブジェクト関連情報であるHTML等のページ記述言語で記述されたWebページを解釈するブラウザである。
ただし、関連情報表示手段351Bは、複数のオブジェクト関連情報を表示するため、1つのオブジェクト関連情報に対して1つのウィンドウ(表示領域)を設け、指定手段38Bで指定されたウィンドウが最前面となるように表示制御を行う。
また、図4で説明した指定手段38が、オブジェクトを指定するものであったのに対し、指定手段38Bは、複数のオブジェクト関連情報の中から1つを指定するものとして機能する。
Similar to the related
However, since the related
In addition, the
例えば、コンテンツ情報取得装置3Bは、オブジェクト関連情報表示手段35Bによって、図21(a)に示すように、複数のオブジェクト関連情報(Webページ)のそれぞれにタブTを設けたウィンドウWでオブジェクト関連情報を表示する。そして、指定手段38Bによって、タブTを指定されることで、ウィンドウW内のWebページを切り替えて表示する。
また、コンテンツ情報取得装置3Bは、オブジェクト関連情報表示手段35Bによって、図21(b)に示すように、複数のオブジェクト関連情報(Webページ)を表示するウィンドウW,W,…を、部分的に重ねて表示する。そして、オブジェクト関連情報表示手段35Bは、指定手段38Bで指定されたウィンドウWを最前面に表示する。
For example, the content
Further, the content
1 コンテンツ配信装置
10 コンテンツ記憶手段
11 埋め込み情報記憶手段
12 領域別電子透かし埋め込み手段
13 送信手段
2 コンテンツ表示装置
20 受信手段
21 表示手段
3 コンテンツ情報取得装置
30 撮影手段
31 領域別電子透かし検出手段
310 画像分割手段
311 電子透かし検出手段
32 領域別情報記憶手段
33 オブジェクト個別情報表示手段
330 ID別情報取得手段
331 表示位置決定手段
332 ID別情報表示手段
34 表示位置記憶手段
35 オブジェクト関連情報表示手段
350 関連情報取得手段
351 関連情報表示手段
36 ネットワーク接続手段
37 表示手段
38 指定手段
4 サーバ
41 Webサーバ
42 検索サーバ
N ネットワーク
DESCRIPTION OF
Claims (8)
撮影手段で撮影された撮影画像から、前記予め定めた分割数で区分された領域ごとに電子透かしを検出する領域別電子透かし検出手段と、
この領域別電子透かし検出手段で電子透かしとして検出した前記識別情報に対応するオブジェクトの個別情報を、当該識別情報と対応する前記個別情報を提供するサーバから、ネットワークを介して取得し、表示手段に表示するオブジェクト個別情報表示手段と、
前記表示手段に表示された前記個別情報の位置を、指定手段を介して指定されることで、その指定された個別情報に対応するオブジェクトの関連情報を、前記識別情報と対応する前記関連情報を提供するサーバから、ネットワークを介して取得し、表示手段に表示するオブジェクト関連情報表示手段と、を備え、
前記オブジェクト個別情報表示手段は、複数の領域で同一の識別情報が検出された場合、当該識別情報に対して1つの前記個別情報を取得して表示することを特徴とするコンテンツ情報取得装置。 The same identification information for identifying the object is embedded in one or more of the areas in which the individual objects appearing on the video are individually contained in the area obtained by dividing the video frame by a predetermined number of divisions with a digital watermark. A content information acquisition device that captures the video content displayed on a display screen of a content display device and acquires related information related to the object via a network,
An area-specific digital watermark detection means for detecting a digital watermark for each area divided by the predetermined number of divisions from a photographed image photographed by the photographing means;
The individual information of the object corresponding to the identification information detected as the digital watermark by the area-specific digital watermark detection means is acquired via the network from the server that provides the individual information corresponding to the identification information, and is displayed on the display means. Object individual information display means for displaying,
By specifying the position of the individual information displayed on the display means via the specifying means, the related information of the object corresponding to the specified individual information is changed to the related information corresponding to the identification information. An object-related information display means that is obtained from a server to be provided via a network and displayed on the display means,
The content information acquisition apparatus according to claim 1, wherein when the same identification information is detected in a plurality of areas, the object individual information display means acquires and displays one piece of the individual information for the identification information.
撮影手段で撮影された撮影画像から、前記予め定めた分割数で区分された領域ごとに電子透かしを検出する領域別電子透かし検出手段と、
この領域別電子透かし検出手段で電子透かしとして検出した前記識別情報に対応するオブジェクトの関連情報を、当該識別情報と対応する前記関連情報を提供するサーバから、ネットワークを介して取得し、表示手段に表示するオブジェクト関連情報表示手段と、を備え、
前記オブジェクト関連情報表示手段は、複数の領域で同一の識別情報が検出された場合、当該識別情報に対して1つの前記関連情報を取得して表示することを特徴とするコンテンツ情報取得装置。 The same identification information for identifying the object is embedded in one or more of the areas in which the individual objects appearing on the video are individually contained in the area obtained by dividing the video frame by a predetermined number of divisions with a digital watermark. A content information acquisition device that captures the video content displayed on a display screen of a content display device and acquires related information related to the object via a network,
An area-specific digital watermark detection means for detecting a digital watermark for each area divided by the predetermined number of divisions from a photographed image photographed by the photographing means;
The related information of the object corresponding to the identification information detected as the digital watermark by the area-specific digital watermark detection means is acquired from the server providing the related information corresponding to the identification information via the network, and is displayed on the display means. An object-related information display means for displaying,
The content information acquisition apparatus according to claim 1, wherein when the same identification information is detected in a plurality of areas, the object related information display means acquires and displays one piece of the related information for the identification information.
前記コンテンツに対応付けて、前記識別情報と、前記コンテンツの表示時間において、前記識別情報を電子透かしとして埋め込む埋め込み時間と、前記コンテンツの映像フレームを予め定めた分割数で区分した領域であって前記識別情報を電子透かしとして埋め込む埋め込み領域と、を埋め込み情報として記憶する埋め込み情報記憶手段と、
この埋め込み情報記憶手段に記憶されている埋め込み情報に基づいて、前記コンテンツの前記埋め込み時間に対応する映像フレームに、前記埋め込み領域ごとに前記識別情報を電子透かしで埋め込む領域別電子透かし埋め込み手段と、
前記識別情報を電子透かしで埋め込んだコンテンツを送信する送信手段と、を備え、
前記埋め込み情報記憶手段には、前記オブジェクトが複数の領域に跨って映っている場合、その複数の領域に同じ識別情報を対応付けて記憶することを特徴とするコンテンツ配信装置。 A content distribution apparatus that embeds and distributes identification information for identifying an object for acquiring related information related to the object, embedded in a digital watermark, to the object shown on the content video,
Corresponding to the content, the identification information, an embedding time for embedding the identification information as a digital watermark in the display time of the content, and a region obtained by dividing the video frame of the content by a predetermined division number, An embedding area for embedding identification information as a digital watermark; and embedding information storage means for storing embedding information as embedding information;
Based on the embedding information stored in the embedding information storage means, an area-specific digital watermark embedding means for embedding the identification information with a digital watermark for each embedding area in a video frame corresponding to the embedding time of the content;
Transmitting means for transmitting the content in which the identification information is embedded with a digital watermark,
In the embedded information storage unit, when the object is reflected across a plurality of areas, the same identification information is stored in association with the plurality of areas.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013248884A JP2015106862A (en) | 2013-12-02 | 2013-12-02 | Content information acquisition device and program, and content distribution device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013248884A JP2015106862A (en) | 2013-12-02 | 2013-12-02 | Content information acquisition device and program, and content distribution device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015106862A true JP2015106862A (en) | 2015-06-08 |
Family
ID=53436742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013248884A Pending JP2015106862A (en) | 2013-12-02 | 2013-12-02 | Content information acquisition device and program, and content distribution device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015106862A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6120467B1 (en) * | 2016-06-24 | 2017-04-26 | サイジニア株式会社 | Server device, terminal device, information processing method, and program |
JP2020013487A (en) * | 2018-07-20 | 2020-01-23 | オムロンヘルスケア株式会社 | Terminal device, information processing method, and program |
JP2020013488A (en) * | 2018-07-20 | 2020-01-23 | オムロンヘルスケア株式会社 | Terminal device, information processing method, and program |
JP2020154858A (en) * | 2019-03-20 | 2020-09-24 | ヤフー株式会社 | Information display program, information display device, and information display method, delivery device, and control server |
CN113068412A (en) * | 2019-10-31 | 2021-07-02 | 艾思益信息应用技术股份公司 | Information providing system |
JP7373780B1 (en) | 2022-10-12 | 2023-11-06 | ソノー電機工業株式会社 | Information processing program and information processing terminal |
US11934446B2 (en) | 2019-03-29 | 2024-03-19 | Information System Engineering Inc. | Information providing system |
-
2013
- 2013-12-02 JP JP2013248884A patent/JP2015106862A/en active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6120467B1 (en) * | 2016-06-24 | 2017-04-26 | サイジニア株式会社 | Server device, terminal device, information processing method, and program |
WO2017221868A1 (en) * | 2016-06-24 | 2017-12-28 | サイジニア株式会社 | Server device, terminal device, and information processing method |
JP2017228177A (en) * | 2016-06-24 | 2017-12-28 | サイジニア株式会社 | Server device, terminal device, information processing method, and program |
WO2020017296A1 (en) * | 2018-07-20 | 2020-01-23 | オムロンヘルスケア株式会社 | Terminal device, information processing method, and program |
JP2020013488A (en) * | 2018-07-20 | 2020-01-23 | オムロンヘルスケア株式会社 | Terminal device, information processing method, and program |
WO2020017300A1 (en) * | 2018-07-20 | 2020-01-23 | オムロンヘルスケア株式会社 | Terminal device, information processing method, and program |
JP2020013487A (en) * | 2018-07-20 | 2020-01-23 | オムロンヘルスケア株式会社 | Terminal device, information processing method, and program |
CN112334887A (en) * | 2018-07-20 | 2021-02-05 | 欧姆龙健康医疗事业株式会社 | Terminal device, information processing method, and program |
CN112352226A (en) * | 2018-07-20 | 2021-02-09 | 欧姆龙健康医疗事业株式会社 | Terminal device, information processing method, and program |
JP7147318B2 (en) | 2018-07-20 | 2022-10-05 | オムロンヘルスケア株式会社 | Terminal device, information processing method, and program |
JP7147317B2 (en) | 2018-07-20 | 2022-10-05 | オムロンヘルスケア株式会社 | Terminal device, information processing method, and program |
JP2020154858A (en) * | 2019-03-20 | 2020-09-24 | ヤフー株式会社 | Information display program, information display device, and information display method, delivery device, and control server |
US11934446B2 (en) | 2019-03-29 | 2024-03-19 | Information System Engineering Inc. | Information providing system |
CN113068412A (en) * | 2019-10-31 | 2021-07-02 | 艾思益信息应用技术股份公司 | Information providing system |
JP7373780B1 (en) | 2022-10-12 | 2023-11-06 | ソノー電機工業株式会社 | Information processing program and information processing terminal |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11714523B2 (en) | Digital image tagging apparatuses, systems, and methods | |
JP2015106862A (en) | Content information acquisition device and program, and content distribution device | |
US10559053B2 (en) | Screen watermarking methods and arrangements | |
JP4676852B2 (en) | Content transmission device | |
US20160050368A1 (en) | Video processing apparatus for generating paranomic video and method thereof | |
US10043079B2 (en) | Method and apparatus for providing multi-video summary | |
US20160155009A1 (en) | Display apparatus and image processing method thereby | |
US8934667B2 (en) | System and method for confidence-based marker adjustment | |
US9094616B2 (en) | Method and system for image capture and facilitated annotation | |
US10074216B2 (en) | Information processing to display information based on position of the real object in the image | |
JPWO2018122895A1 (en) | Video processing apparatus, video processing method, video processing program, and video monitoring system | |
JP6686547B2 (en) | Image processing system, program, image processing method | |
US8941767B2 (en) | Mobile device and method for controlling the same | |
US8866953B2 (en) | Mobile device and method for controlling the same | |
JP2010205121A (en) | Information processor and portable terminal | |
KR20150082204A (en) | Method and system for image capture and facilitated annotation | |
US10069984B2 (en) | Mobile device and method for controlling the same | |
KR20190110013A (en) | Camera system | |
JP2009043131A (en) | Moving picture file transmission server and operation control method thereof | |
JP2019057849A (en) | Program, information processing apparatus, and image processing system | |
JP6909022B2 (en) | Programs, information terminals, information display methods and information display systems | |
KR101698864B1 (en) | Media Being Recorded with the Program Executing Method for Detecting Image Using Metadata | |
JP2004274735A (en) | Imaging apparatus and image processing apparatus | |
JP2018182589A (en) | Information provision system, display device, information processing device, and information providing method | |
KR20150021349A (en) | Network Camera Dashboard Apparatus |