JP2018182589A - Information provision system, display device, information processing device, and information providing method - Google Patents
Information provision system, display device, information processing device, and information providing method Download PDFInfo
- Publication number
- JP2018182589A JP2018182589A JP2017081267A JP2017081267A JP2018182589A JP 2018182589 A JP2018182589 A JP 2018182589A JP 2017081267 A JP2017081267 A JP 2017081267A JP 2017081267 A JP2017081267 A JP 2017081267A JP 2018182589 A JP2018182589 A JP 2018182589A
- Authority
- JP
- Japan
- Prior art keywords
- frequency component
- binary image
- video content
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、情報提供システム、表示装置、情報処理装置、情報提供方法に関する。 The present invention relates to an information providing system, a display device, an information processing apparatus, and an information providing method.
パブリックディスプレイの主な用途は、ディスプレイを設置した場所を訪れた不特定多数に対し、広告プロモーションであったり、近傍の案内掲示板といった内容の映像コンテンツを表示し、提示するものである。特に広告プロモーションの役割としては、ディスプレイを設置してある場所を訪れた不特定多数に対し、商品もしくは店舗の情報を映像コンテンツとして表示することで、「ニーズ潜在層を刺激」するためのプッシュ型配信を行うことである。 The main application of the public display is to display and present video content of contents such as advertisement promotion or a nearby guidance bulletin board to an unspecified number who visits the place where the display is installed. In particular, as a role of advertising promotion, a push type is used to “stimulate the potential needs layer” by displaying product or store information as video content for an unspecified number of visitors visiting the place where the display is installed. Delivery is to be done.
マーケティング手法からすると、広告プロモーションとしては、ニーズ潜在層を刺激から“今まさに探している人”を誘導するプル型の検索連動型広告を用い、その人を実際の購買へと導くことが重要となってくる。つまり、プッシュ型のディスプレイ広告から、その場で、プル型の検索連動型広告への切替が必要であるといえる。 From a marketing point of view, it is important for advertising promotion to use pull-type search-linked ad to guide the potential needs from the stimulus to "the person who is looking for right now" and to guide the person to actual purchasing It will come. In other words, it can be said that it is necessary to switch from a push-type display advertisement to a pull-type search-linked ad on the spot.
プッシュ型のディスプレイ広告から、その場で、プル型の検索連動型広告への切替を実施する手法としては、映像コンテンツ内にＱＲコード（登録商標）等の二次元コードの画像を表示し、ディスプレイ広告から刺激を受けた人は、携帯端末を用いて二次元コードを読み込み、二次元コードが指し示すＵＲＬ（Uniform Resource Locator）から、その商品もしくは店舗のホームページに行き、更に詳しい情報を得ることができるようにして、顧客化へと繋げるものがある。 As a method of switching from a push-type display advertisement to a pull-type search-linked advertisement on the spot, an image of a two-dimensional code such as QR code (registered trademark) is displayed in the video content and displayed. A person who receives stimulation from an advertisement can read a two-dimensional code using a mobile terminal, go to the home page of the product or store from the URL (Uniform Resource Locator) pointed to by the two-dimensional code, and obtain more detailed information In this way, there is something that leads to customerization.
また、特許文献１には、表示画面を４つの領域に分割し、提供すべき情報に基づいて４分割された領域にそれぞれ表示する分割画像の輝度値または色差値の少なくとも一方を変化させることで、画面内に情報を埋め込むようにしたものが開示されている。
Further, according to
ディスプレイに表示される映像コンテンツに、二次元コードを視認可能な状態で画面に合成すると、この二次元コードにより、映像コンテンツのデザイン性が低下するという問題が生じてくる。特に、ディスプレイに表示される広告プロモーションの映像コンテンツには、静止画と動画の両方があり、動画の映像コンテンツの場合には、二次元コードを画面を表示し続けていると、本来の映像コンテンツが非常に見にくくなり、そのデザイン性が低下する。デザイン性を考慮して、映像コンテンツ内に二次元コードではなく、文字によるＵＲＬを表示する手段もあるが、この場合、利用者はそのＵＲＬを記憶する必要があり、利便性が低下する。 When the two-dimensional code is combined with the video content displayed on the display in a viewable state on the screen, the two-dimensional code causes a problem that the design of the video content is degraded. In particular, the video content of the advertisement promotion displayed on the display includes both a still image and a moving image, and in the case of a video content of a moving image, if the two-dimensional code is continuously displayed on the screen, the original video content Is very difficult to see and its designability is reduced. In consideration of design, there is also a means for displaying not a two-dimensional code but a URL by characters in video content. In this case, the user needs to store the URL, and the convenience is lowered.
また、特許文献１に記載されているものは、画面を４分割し、その４分割した画面に画像鑑賞に大きな影響を与えない形で情報を埋め込み、それを撮像した撮像部から情報を取り出すものである。特許文献１では、４分割した画面の変化から、１,０のデジタル情報を得るということになる。つまり、画像の輝度値または色差値のすくなくとも一方を、秒単位で変化させることで埋め込むため、秒単位で数ビット程度の情報しか得ることができない。
Moreover, what is described in
上述の課題を鑑み、本発明は、デザイン性に影響を与えることなく、映像コンテンツに情報を合成して表示できる情報提供システム、表示装置、情報処理装置、情報提供方法を提供することを目的とする。 In view of the above-described problems, the present invention has an object to provide an information providing system, a display device, an information processing apparatus, and an information providing method capable of combining and displaying information on video content without affecting the design. Do.
上述の課題を解決するために、本発明の一態様に係る情報提供システムは、所望の情報を含む二値画像を映像コンテンツに合成して表示する情報送信側と、前記情報送信側の表示画面を解析して前記二値画像に含まれる情報を取得する情報受信側とからなる情報提供システムであって、前記情報送信側は、映像コンテンツの画面上に合成する二値画像の符号を画素毎に判定する符号判定部と、前記二値画像の符号に応じて映像コンテンツの画素データに対して各画素毎に時間軸方向の所望の周波数成分を付加することで、前記映像コンテンツに前記二値画像を合成する周波数成分合成部と、前記二値画像が合成された映像コンテンツを表示する表示部とを備え、前記情報受信側は、前記表示部に表示される画像を撮像する撮像部と、前記撮像部で撮像された画像から画素データを取得する画素データ取得部と、前記画素データ取得部から取得された画素データ中に所望の周波数成分が含まれているか否かを画素毎に解析する周波数成分解析部と、前記周波数成分解析部の解析結果から、二値画像の符号を復号する二値画像復号部とを備える。 In order to solve the problems described above, an information providing system according to an aspect of the present invention includes an information transmitting side that combines and displays a binary image including desired information with video content, and a display screen of the information transmitting side. An information providing system including an information receiving side that analyzes information to obtain information included in the binary image, and the information transmitting side detects, for each pixel, a code of the binary image to be synthesized on the screen of the video content. By adding a desired frequency component in the time axis direction for each pixel to pixel data of the video content according to the code determination unit that determines in accordance with the code of the binary image, the binary of the video content A frequency component combining unit configured to combine images, and a display unit configured to display video content combined with the binary image, and the information receiving side includes an imaging unit configured to capture an image displayed on the display unit; Said imaging A pixel data acquisition unit that acquires pixel data from an image captured by the image processing unit, and frequency component analysis that analyzes, for each pixel, whether a desired frequency component is included in the pixel data acquired from the pixel data acquisition unit And a binary image decoding unit that decodes a binary image code from the analysis result of the frequency component analysis unit.
本発明の一態様に係る表示装置は、映像コンテンツの画面上に合成する二値画像の符号を画素毎に判定する符号判定部と、前記二値画像の符号に応じて映像コンテンツの画素データに対して各画素毎に時間軸方向の所望の周波数成分を付加することで、前記映像コンテンツに前記二値画像を合成する周波数成分合成部と、前記二値画像が合成された映像コンテンツを表示する表示部とを有する。 A display apparatus according to an aspect of the present invention includes a code determination unit that determines a code of a binary image to be synthesized on a screen of video content for each pixel, and pixel data of the video content according to the code of the binary image. A frequency component synthesis unit that synthesizes the binary image with the video content and a video content in which the binary image is synthesized are displayed by adding a desired frequency component in the time axis direction to each pixel. And a display portion.
本発明の一態様に係る情報処理は、表示装置の表示部に表示された画像が撮像された撮像画像から画素データを取得する画素データ取得部と、前記画素データ取得部から取得された画素データ中に所望の周波数成分が含まれているか否かを画素毎に解析する周波数成分解析部と、前記周波数成分解析部の解析結果から、二値画像の符号を復号する二値画像復号部とを有する。 The information processing according to an aspect of the present invention includes a pixel data acquisition unit that acquires pixel data from a captured image obtained by capturing an image displayed on a display unit of a display device, and pixel data acquired from the pixel data acquisition unit. A frequency component analysis unit that analyzes, for each pixel, whether or not a desired frequency component is contained therein; and a binary image decoding unit that decodes a binary image code from the analysis result of the frequency component analysis unit. Have.
本発明の一態様に係る情報提供方法は、情報送信側で所望の情報を含む二値画像を映像コンテンツに合成して表示し、情報送信側で表示画面を解析して前記二値画像に含まれる情報を取得する情報提供方法であって、前記情報送信側で、映像コンテンツの画面上に合成する二値画像の符号を画素毎に判定する工程と、前記情報送信側で、前記二値画像の符号に応じて映像コンテンツの画素データに対して各画素毎に時間軸方向の所望の周波数成分を付加することで、前記映像コンテンツに前記二値画像を合成する工程と、前記情報送信側で、前記二値画像が合成された映像コンテンツを表示する工程と、前記情報受信側で、前記表示される画像を撮像する工程と、前記情報受信側で、前記撮像された画像から画素データを取得する工程と、前記情報受信側で、前記取得された画素データ中に所望の周波数成分が含まれているか否かを画素毎に解析する工程と、前記情報受信側で、前記周波数成分の解析結果から、二値画像の符号を復号する工程とを含む。 In the information providing method according to an aspect of the present invention, a binary image including desired information is combined with video content on the information transmitting side and displayed, and the display screen is analyzed on the information transmitting side and included in the binary image. Information providing method, wherein the information transmitting side determines, for each pixel, the sign of the binary image to be synthesized on the screen of the video content, and the information transmitting side determines the binary image Combining the binary image with the video content by adding a desired frequency component in the time axis direction to the pixel data of the video content in accordance with the code of FIG. A process of displaying video content in which the binary image is combined, a process of capturing the displayed image on the information receiving side, and acquiring pixel data from the captured image on the information receiving side Process and before A step of analyzing for each pixel whether or not a desired frequency component is included in the acquired pixel data on the information receiving side, and a binary image from the analysis result of the frequency component on the information receiving side And d) decoding the code of.
本発明によれば、二値画像が視認されない状態で、所望の情報を含む二値画像を映像コンテンツに合成して表示して情報を伝送できる。これにより、デザイン性を低下させることなく、プッシュ型のディスプレイ広告から、その場で、プル型の検索連動型広告への切替が実現できる。 According to the present invention, information can be transmitted by combining a binary image including desired information with video content and displaying the binary image without visual recognition of the binary image. This makes it possible to switch from a push-type display advertisement to a pull-type search-linked advertisement on the spot without degrading the design.
以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の第１の実施形態に係る情報提供システムの概要を示すブロック図である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing an outline of an information providing system according to a first embodiment of the present invention.
図１に示すように、本発明の第１の実施形態に係る情報提供システム１は、映像出力装置１０と、ディスプレイ装置２０と、携帯情報処理装置３０とから構成される。映像出力装置１０及びディスプレイ装置２０は、所望の情報を含む二値画像を映像コンテンツに合成して表示する情報送信側２となる。携帯情報処理装置３０は、表示画面を解析して二値画像に含まれる情報を取得する情報受信側３となる。
As shown in FIG. 1, the
映像出力装置１０は、ディスプレイ装置２０に映像コンテンツを出力する。映像出力装置１０は、例えばＰＣ（Personal Computer）により実現できる。映像コンテンツは、例えば広告コンテンツの画像である。映像コンテンツとしては、静止画であっても、動画であっても良い。また、映像コンテンツには、例えば二次元コードの二値画像が合成されている。二次元コードには、例えば、映像コンテンツに関連する情報を配信するウェッブページのＵＲＬ（Uniform Resource Locator）が記録される。
The
ディスプレイ装置２０は、映像出力装置１０から出力される映像コンテンツを表示する。ディスプレイ装置２０は、例えば、パブリックディスプレイと呼ばれる大型のディスプレイからなる。ディスプレイ装置２０には、二次元コードの二値画像５１が合成された映像コンテンツ５０が表示される。この映像コンテンツ５０により、大衆に広告を提供することができる。また、映像コンテンツ５０に、二次元コードの二値画像５１によりウェッブページのＵＲＬを合成することができる。これにより、プッシュ型のディスプレイ広告から、プル型の検索連動型広告への切替が実現できる。
The
ここで、映像コンテンツ５０に二次元コードの二値画像５１をそのまま合成してしまうと、画面上に二次元コードの二値画像５１が明瞭に視認できる状態で表示されてしまい、デザイン上好ましくない。そこで、本実施形態では、各画素毎に、二値画像５１のデータ（白又は黒）に応じて、色差値に時間軸方向の色相の揺らぎの周波数成分を付加するようにしている。色差値に付加された時間軸方向の色相の揺らぎの周波数成分は、フーリエ変換により検出できる。これにより、二値画像が視認されない状態で、映像コンテンツ５０に二次元コードの二値画像５１を合成して表示できる。なお、図１では、説明のために、二次元コードの二次元画像５１を図示しているが、実際上では、ユーザは、殆ど、二値画像５１を視認できない。
Here, if the
携帯情報処理装置３０は、ユーザが携帯する携帯電話端末やタブレット端末である。携帯情報処理装置３０には、撮影画像の色差データの周波数成分をフーリエ変換により検出し、これに基いて、二次元コードの二値画像を復号する機能を実現するアプリケーション・プログラムがインストールされている。
The mobile
ユーザは、ディスプレイ装置２０に映し出される映像コンテンツ５０の広告を見て、この広告に興味を持った場合には、各自の携帯情報処理装置３０のカメラ機能で、ディスプレイ装置２０に映し出される映像コンテンツ５０（上述のように二次元コードの二値画像５１が合成されている）を撮影する。
When the user sees the advertisement of the
ユーザが各自の携帯情報処理装置３０のカメラ機能で、ディスプレイ装置２０に映し出される映像コンテンツ５０を撮影すると、撮影画像の色差データの周波数成分が検出され、これに基いて、二次元コードの二値画像５１が復号される。
When the user shoots the
このように、本発明の第１の実施形態に係る情報提供システム１では、各画素毎に、二値画像５１のデータに応じて、色差値に時間軸方向の色相の揺らぎの周波数成分を付加することで、人間の目には殆ど視認できない状態で、映像コンテンツ５０に二次元コードの二値画像５１を合成できる。
As described above, in the
図２は、本発明の第１の実施形態に係る情報提供システム１における映像出力装置１０の構成を示すブロック図である。前述したように、映像出力装置１０としては、ＰＣを用いることができる。
FIG. 2 is a block diagram showing the configuration of the
映像出力装置１０は、制御部１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、記憶装置１４と、映像出力部１５と、入力操作部１６と、通信部１７を備える。また、各ブロック間における各信号のやりとりは、バス１８を介して行われる。
The
制御部１１はＣＰＵ（Central Processing Unit）からなり、各種制御プログラムに基づいて、映像出力装置１０の各部を制御する。ＲＯＭ１２は、読み出し専用のメモリであり、ブートプログラム等を記憶する。ＲＡＭ１３は、制御部１１のメインメモリ（主記憶装置）に用いられるメモリであり、制御部１１において実行されるプログラムの作業領域等を記憶する。記憶装置１４は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリからなり、各種アプリケーションプログラム等が格納される。本実施形態では、記憶装置１４には、映像コンテンツのデータが格納されている。また、本実施形態では、アプリケーション・プログラムとして、二次元コードの生成プログラムや、二次元コードの「１」又は「０」に応じて、色差データの周波数成分を付加するようにして、映像コンテンツに二次元コードの二値画像を合成する機能を実現するプログラムが含まれている。
The
映像出力部１５は、ディスプレイ装置２０に対して、映像信号を出力する。入力操作部１６は、キーボードやマウス（ポインティングデバイス）等からなり、各種の情報入力を受け付ける。入力操作部１６は、操作入力を受け付けると、受け付けた操作入力の内容を制御部１１に出力する。通信部１７は、制御部１１の制御に基づいて、外部との各種情報の送受信を実行する。
The
図３は、本発明の第１の実施形態に係る情報提供システム１におけるディスプレイ装置２０の構成を示すブロック図である。図３に示すように、ディスプレイ装置２０は、制御部２１と、画像処理部２２と、映像表示部２３とから構成される。
FIG. 3 is a block diagram showing the configuration of the
制御部２１は、ディスプレイ装置２０の全体制御を行っている。画像処理部２２には、映像出力装置１０から映像信号が入力される。画像処理部２２は、入力された映像信号に対して、画質調整処理等、各種の映像処理を行う。映像表示部２３は、画像処理部２２から出力される映像信号を画面として表示する。映像表示部２３としては、例えば液晶ディスプレイが用いられる。
The
図４は、本発明の第１の実施形態に係る情報提供システム１における携帯情報処理装置３０の概略ブロック図である。携帯情報処理装置３０としては、携帯電話端末やタブレット端末等を用いることができる。
FIG. 4 is a schematic block diagram of the portable
携帯情報処理装置３０は、制御部３１、データ記憶部３２、無線通信部３３、カメラ部３４、表示部３５、入力キー３６、タッチパネル３８、タッチパネル制御部３９を備えている。
The portable
制御部３１は、データ記憶部３２に記憶されているプログラムに基づいて各部の制御を行う。また、制御部３１は、必要な情報をデータ記憶部３２に記憶させる。データ記憶部３２は、ＲＡＭ（Random access memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等で構成される。データ記憶部３２は、各種のプログラムや各種のデータを記憶する。本実施形態では、データ記憶部３２には、撮影画像の色差データの周波数成分を検出し、これに基いて、二次元コードの二値画像を復号する機能を実現するアプリケーションプログラムがインストールされている。
The
無線通信部３３は、携帯電話通信網、又は無線ＬＡＮ（Local Area Network）でのデータの送受信制御を行う。カメラ部３４は、動画や静止画の撮影を行うためのカメラである。本実施形態では、カメラ部３４は、ディスプレイ装置２０の撮影画面を動画で撮影するのに用いられる。表示部３５は、制御部３１の制御に応じて各種情報を表示する。表示部３５は、例えば液晶ディスプレイ、有機ＥＬ（Electroluminescence）ディスプレイからなる。入力キー３６は、各種の入力を行うキーである。タッチパネル３８は、表示部３５上に積層配置されている。タッチパネル制御部３９は、タッチパネル３８が操作された座標位置を検出し、入力情報として、制御部３１に送出する。
The wireless communication unit 33 performs transmission / reception control of data in a mobile phone communication network or a wireless LAN (Local Area Network). The
前述したように、本発明の第１の実施形態に係る情報提供システム１では、二次元コードの二値画像のデータに応じて、各画素毎に、色差値に時間軸方向の色相の揺らぎの周波数成分を付加するようにして、映像コンテンツに二次元コードの二値画像を合成している。このときの処理について、以下に説明する。
As described above, in the
図５〜図７は、本発明の第１の実施形態に係る情報提供システムにおける映像コンテンツの説明図である。図５に示すように、ディスプレイ装置２０に表示する映像コンテンツの大きさ（解像度）は、（ｍ×ｎ）画素であるとする。この場合、各画素の座標（ｘ，ｙ）は、図６に示すように、（ｘ１，ｙ１）〜（ｘｍ，ｙｎ）となる。ここで、ｍ、ｎは正の整数である。
5 to 7 are explanatory diagrams of video contents in the information providing system according to the first embodiment of the present invention. As shown in FIG. 5, it is assumed that the size (resolution) of the video content to be displayed on the
映像データとしては、ＹＣｒＣｂ方式のコンポーネント信号を用いるとする。ここで、Ｙは輝度データ、Ｃｒは色差データ（Ｒ−Ｙ）、Ｃｂは色差データ（Ｂ−Ｙ）である。各座標の画素データは、（Ｙ，Ｃｒ，Ｃｂ）として表現できる。よって、座標（ｘ１，ｙ１）の画素データは、
（Ｙ＿（ｘ１，ｙ１），Ｃｒ＿（ｘ１，ｙ１），Ｃｂ＿（ｘ１，ｙ１））
として表現できる。同様に、座標（ｘ１，ｙ１）〜（ｘｍ，ｙｎ）の各画素データは、図７に示すように、輝度データＹの成分と色差データＣｒ及びＣｂの成分とにより表現できる。
As video data, it is assumed that a component signal of YCrCb system is used. Here, Y is luminance data, Cr is color difference data (RY), and Cb is color difference data (BY). The pixel data of each coordinate can be expressed as (Y, Cr, Cb). Therefore, the pixel data of coordinates (x1, y1) is
(Y_ (x1, y1), Cr_ (x1, y1), Cb_ (x1, y1))
It can be expressed as Similarly, each pixel data of coordinates (x1, y1) to (xm, yn) can be expressed by the component of the luminance data Y and the components of the color difference data Cr and Cb, as shown in FIG.
図８〜図１０は、本発明の第１の実施形態に係る情報提供システムにおける二次元コードの二値画像の説明図である。図８に示すように、二次元コードの大きさ（解像度）を（ｐ×ｑ）画素とする。ｐ及びｑは正の整数である。ここで、二次元コードの大きさは、映像コンテンツの大きさ（ｍ×ｎ）より小さく、ｍ＞ｐ、ｎ＞ｑの関係となっている。二次元コードは、「１」と、「０」との二値である。ここでは、二次元コードの「１」を白と対応させ、二次元コードの「０」を黒と対応させるとする。 8 to 10 are explanatory diagrams of a binary image of a two-dimensional code in the information providing system according to the first embodiment of the present invention. As shown in FIG. 8, the size (resolution) of the two-dimensional code is (p × q) pixels. p and q are positive integers. Here, the size of the two-dimensional code is smaller than the size (m × n) of the video content, and has a relationship of m> p and n> q. The two-dimensional code is a binary value of "1" and "0". Here, it is assumed that “1” of the two-dimensional code corresponds to white and “0” of the two-dimensional code corresponds to black.
図９の二次元コードを例に挙げて、各画素毎に、二次元コードの二値画像の符号データ「１」と「０」とを判定する。図９に示すように、この二次元コードの二値画像では、座標（ｘ１，ｙ１）は白である。このため、図１０に示すように、座標（ｘ１，ｙ１）の符号データは、（ｘ１，ｙ１）＝１として示される。また、座標（ｘ２，ｙ１）は白である。このため、図１０に示すように、座標（ｘ２，ｙ１）の符号データは、（ｘ２，ｙ１）＝１として示される。また、座標（ｘ３，ｙ１）では黒である。このため、図１０に示すように、座標（ｘ３，ｙ１）の符号データは、（ｘ３，ｙ１）＝０として示される。同様に、座標（ｘ１，ｙ１）〜（ｘｐ，ｙｑ）の各符号データは、図１０のように示される。 Taking the two-dimensional code of FIG. 9 as an example, the code data “1” and “0” of the binary image of the two-dimensional code are determined for each pixel. As shown in FIG. 9, in the binary image of this two-dimensional code, the coordinates (x1, y1) are white. Therefore, as shown in FIG. 10, the code data of the coordinates (x1, y1) is shown as (x1, y1) = 1. Also, the coordinates (x2, y1) are white. Therefore, as shown in FIG. 10, the code data of the coordinates (x2, y1) is shown as (x2, y1) = 1. Moreover, it is black at coordinates (x3, y1). Therefore, as shown in FIG. 10, the code data of the coordinates (x3, y1) is indicated as (x3, y1) = 0. Similarly, each code data of coordinates (x1, y1) to (xp, yq) is shown as shown in FIG.
次に、映像コンテンツに二次元コードの二値画像を合成するとする。なお、映像コンテンツのどの位置にどのような大きさの二次元コードの二値画像を合成しても良いが、ここでは、説明の簡単のために、映像コンテンツの左上の座標（ｘ１，ｙ１）と、二次元コードの二値画像の左上の座標（ｘ１，ｙ１）とを揃えて合成するものとする。 Next, it is assumed that a binary image of a two-dimensional code is combined with video content. It should be noted that although a binary image of a two-dimensional code of any size may be synthesized at any position of the video content, here the upper left coordinates (x1, y1) of the video content for ease of explanation. And the upper left coordinates (x1, y1) of the binary image of the two-dimensional code are aligned and synthesized.
図１１及び図１２は、本発明の第１の実施形態に係る情報提供システムにおいて映像コンテンツと二次元コードの二値画像とを合成したときの関係を示す説明図である。映像コンテンツの大きさは、図５に示したように、（ｍ×ｎ）画素であり、二次元コードの二値画像の大きさは、図８に示したように、（ｐ×ｑ）画素である。よって、左上の座標（ｘ１，ｙ１）を揃えて、映像コンテンツと二次元コードの二値画像とを合成すると、図１１に示すように、座標（ｘ１，ｙ１）〜（ｘｍ，ｙｎ）のうち、（ｘ１，ｙ１）〜（ｘｐ，ｙｑ）の部分が二次元コードの合成領域となる。図１２に示すように、（ｘ１，ｙ１）〜（ｘｐ，ｙｑ）の部分の画素には、二次元コードの二値画像に基づく符号データが合成される。なお、図１２中の符号データの欄では、二次元コードの合成領域以外では、「ＮＡ」と記載されている。二次元コードの二値画像に基づく符号データが合成される領域では、二値画像の符号データのうちの一方では、色差値に時間軸方向の色相の揺らぎの周波数成分を付加するような加工が施され、他方の符号データには、そのような加工は施されない。より具体的には、本実施形態では、符号データが「１」（白）の場合には、色差値Ｃｒに対して、所定の振幅の時間軸方向の色相の揺らぎとなる周波数成分が付加される。勿論、符号データが「０」（黒）の場合に、色差値Ｃｒに対して、所定の振幅の時間軸方向の色相の揺らぎとなる周波数成分を付加しても良い。また、色差値Ｃｒではなく、色差値Ｃｂに、所定の振幅の時間軸方向の色相の揺らぎとなる周波数成分を付加しても良い。 FIGS. 11 and 12 are explanatory diagrams showing the relationship when video content and a binary image of a two-dimensional code are combined in the information providing system according to the first embodiment of the present invention. The size of the video content is (m × n) pixels as shown in FIG. 5, and the size of the binary image of the two-dimensional code is (p × q) pixels as shown in FIG. It is. Therefore, when the upper left coordinates (x1, y1) are aligned and the video content and the binary image of the two-dimensional code are synthesized, as shown in FIG. 11, among the coordinates (x1, y1) to (xm, yn) , (X1, y1) to (xp, yq) become a two-dimensional code combining area. As shown in FIG. 12, code data based on a binary image of a two-dimensional code is synthesized with the pixels in the (x1, y1) to (xp, yq) portions. In the column of code data in FIG. 12, “NA” is described in areas other than the two-dimensional code combining area. In the area where code data based on a binary image of a two-dimensional code is synthesized, processing is performed such that the frequency component of the hue fluctuation in the time axis direction is added to the color difference value in one of the code data of the binary image. The other code data is not subjected to such processing. More specifically, in the present embodiment, when the code data is “1” (white), a frequency component that causes fluctuation of the hue in the time axis direction of a predetermined amplitude is added to the color difference value Cr. Ru. Of course, when the code data is “0” (black), a frequency component that causes fluctuation of the hue in the time axis direction of a predetermined amplitude may be added to the color difference value Cr. Further, instead of the color difference value Cr, a frequency component that causes fluctuation of the hue in the time axis direction of a predetermined amplitude may be added to the color difference value Cb.
例えば、座標（ｘ１，ｙ１）の画素データは、図１２に示すように、符号データ「１」が合成される。よって、色差値Ｃｒに、Ａｓｉｎ（ωｔ）で示すように、時間とともに振幅Ａで角速度ωで変化するような色相の揺らぎとなる周波数成分を付加する。すなわち、符号データ「１」が合成される座標（ｘ１，ｙ１）の画素データ（Ｙ，Ｃｒ，Ｃｂ）は、以下のように加工する。 For example, as shown in FIG. 12, code data “1” is synthesized with pixel data of coordinates (x1, y1). Therefore, as shown by Asin (ωt), a frequency component that causes fluctuation of hue that changes with the angular velocity A with the angular velocity A with time is added to the color difference value Cr. That is, pixel data (Y, Cr, Cb) at coordinates (x1, y1) where code data "1" is synthesized is processed as follows.
Ｙ＝Ｙ＿（ｘ１，ｙ１）
Ｃｒ＝Ｃｒ＿（ｘ１，ｙ１）＋Ａｓｉｎ（ωｔ）
Ｃｂ＝Ｃｂ＿（ｘ１，ｙ１）
Y = Y_ (x1, y1)
Cr = Cr_ (x1, y1) + Asin (ωt)
Cb = Cb_ (x1, y1)
符号データ「１」が合成される座標（ｘ２，ｙ１）の画素データ（Ｙ，Ｃｒ，Ｃｂ）についても、同様に、以下のように、色差データＣｒにＡｓｉｎ（ωｔ）を付加するように、加工する。 Similarly, as to pixel data (Y, Cr, Cb) at coordinates (x2, y1) where code data “1” is combined, Asin (ωt) is added to the color difference data Cr as follows: Process
Ｙ＝Ｙ＿（ｘ２，ｙ１）
Ｃｒ＝Ｃｒ＿（ｘ２，ｙ１）＋Ａｓｉｎ（ωｔ）
Ｃｂ＝Ｃｂ＿（ｘ２，ｙ１）
Y = Y_ (x2, y1)
Cr = Cr_ (x2, y1) + Asin (ωt)
Cb = Cb_ (x2, y1)
座標（ｘ３，ｙ１）の画素データ（Ｙ，Ｃｒ，Ｃｂ）については、符号データが「０」（黒）なので、加工は行わない。 The pixel data (Y, Cr, Cb) at the coordinates (x3, y1) is not processed because the code data is "0" (black).
Ｙ＝Ｙ＿（ｘ３，ｙ１）
Ｃｒ＝Ｃｒ＿（ｘ３，ｙ１）
Ｃｂ＝Ｃｂ＿（ｘ３，ｙ１）
Y = Y_ (x3, y1)
Cr = Cr_ (x3, y1)
Cb = Cb_ (x3, y1)
なお、二次元コードの合成領域以外（符号データがＮＡとなる領域）では、加工は行わない。 The processing is not performed in areas other than the two-dimensional code combining area (area where the code data is NA).
このように、本実施形態では、二値画像の符号データが「１」となる画素では、色差値Ｃｒに、時間とともに振幅Ａで角速度ωで変化するような周波数成分を付加する。色相の揺らぎとなる周波数成分は、数Ｈｚ程度の低い周波数である。これにより、色差値Ｃｒに周波数揺らぎ成分を付加すると、色相が時間とともに変化していく。 As described above, in the present embodiment, in the pixel in which the code data of the binary image is “1”, a frequency component that changes with the angular velocity A with the angular velocity A with time is added to the color difference value Cr. The frequency component that causes the hue fluctuation is a low frequency of about several Hz. Thus, when a frequency fluctuation component is added to the color difference value Cr, the hue changes with time.
一般に、人間の目には、細かな輝度の変化には敏感であるが、色相の変化は認識しずらい。更に、数Ｈｚ程度のゆっくりした色相の揺らぎ成分は、人間の目には、殆ど認識できない。このため、映像データに付加した二次元コードの二値画像は、人間の目には、殆ど、認識できない。 In general, the human eye is sensitive to minute changes in luminance, but it is difficult to recognize changes in hue. Furthermore, the fluctuation component of a slow hue of about several Hz can hardly be recognized by the human eye. For this reason, the binary image of the two-dimensional code added to the video data can hardly be recognized by human eyes.
次に、二次元コードの二値画像のデータを復号する場合の処理について説明する。前述したように、符号データが「１」となる画素では、色差値Ｃｒに、時間とともに振幅Ａで角速度ωで変化するような色相の揺らぎとなる周波数成分が付加されている。この色相の揺らぎとなる周波数成分は、撮像データの色差値Ｃｒの時間軸方向の周波数成分をフーリエ変換することにより検出できる。より具体的には、撮像画像を所定時間蓄積し、撮像画像のフレームをサンプリングの定理を満たす範囲で所定の時間毎にスライスし、各画素毎に色差値Ｃｒの変化を示すテーブルを作成し、この各画素毎の色差値ＣｒをＦＦＴ（Fast Fourier Transform）演算し、所定の周波数成分が存在するか否かを判定する。 Next, processing in the case of decoding binary image data of a two-dimensional code will be described. As described above, in the pixel where the code data is “1”, the color difference value Cr is added with a frequency component that causes the hue to fluctuate such that the amplitude A changes with the angular velocity ω with time. The frequency component which becomes the fluctuation of the hue can be detected by Fourier transforming the frequency component in the time axis direction of the color difference value Cr of the imaging data. More specifically, the captured image is accumulated for a predetermined time, and a frame of the captured image is sliced at predetermined time intervals within a range that satisfies the sampling theorem, and a table indicating changes in color difference value Cr for each pixel is created. The color difference value Cr for each pixel is subjected to FFT (Fast Fourier Transform) to determine whether a predetermined frequency component exists.
図１３は、本発明の第１の実施形態に係る情報提供システムにおいて二次元コードの二値画像のデータを復号する場合の処理の説明図である。ディスプレイ装置２０に映し出される映像コンテンツの画面を携帯情報処理装置３０のカメラ機能で撮影することにより、各画素毎のデータが取得される。この撮像データは、ＹＣｒＣｂのデータである。
FIG. 13 is an explanatory diagram of a process in the case of decoding binary image data of a two-dimensional code in the information providing system according to the first embodiment of the present invention. By capturing the screen of the video content displayed on the
ディスプレイ装置２０に映し出される映像コンテンツの画面が撮影されたら、撮像データの中から、色差値Ｃｒのみを抽出する。この色差値Ｃｒが図１３に示すようなデータであったとする。
When the screen of the video content to be displayed on the
なお、ここでは、座標（ｘｘ１，ｙｙ１）〜（ｘｘｍ，ｙｙｎ）はカメラ部３４の撮像画素の座標である。ディスプレイ装置２０に映し出される映像コンテンツの座標（ｘ１，ｙ１）〜（ｘｍ，ｙｎ）と、カメラ部３４の撮像画素の座標（ｘｘ１，ｙｙ１）〜（ｘｘｍ，ｙｙｎ）とは異なっていても良いが、ここでは、説明を簡単とするため、映像コンテンツの座標（ｘ１，ｙ１）〜（ｘｍ，ｙｎ）とカメラ部３４の撮像画素の座標（ｘｘ１，ｙｙ１）〜（ｘｘｍ，ｙｙｎ）とは同様であるとして説明する。
Here, the coordinates (xx1, yy1) to (xxm, yyn) are coordinates of imaging pixels of the
また、この例では、色差値Ｃｒのデータとして、時間ｔ１から時間ｔｓまでに所定時間毎にｓ個のデータが切り出されて取得されている。例えば、座標（ｘｘ１，ｙｙ１）では、時間ｔ１の色差データのデータＣｒ＿（ｘｘ１，ｙｙ１）＿ｔ１から、時間ｔｓの色差データのデータＣｒ＿（ｘｘ１，ｙｙ１）＿ｔｓまでの間に、所定時間毎にｓ個の色差データが取得されている。 Further, in this example, as data of the color difference value Cr, s pieces of data are cut out and acquired every predetermined time from time t1 to time ts. For example, at coordinates (xx1, yy1), s from color difference data data Cr_ (xx1, yy1) _t1 at time t1 to color difference data data Cr_ (xx1, yy1) _ts at time ts is s every predetermined time Pieces of color difference data have been acquired.
撮像データの中から、色差値Ｃｒのみが抽出されたら、各画素毎に、時間ｔ１から時間ｔｓまでの色差値をフーリエ変換し、時間軸方向に、所定の周波数成分が検出されたか否かが判定される。所定の周波数成分が現れた場合には、復号データは「１」（白）となる。所定の周波数成分が現れない場合には、復号データは「０」（黒）となる。 When only the color difference value Cr is extracted from the imaging data, the color difference value from time t1 to time ts is subjected to Fourier transform for each pixel, and it is determined whether a predetermined frequency component is detected in the time axis direction. It is judged. When a predetermined frequency component appears, the decoded data is "1" (white). If the predetermined frequency component does not appear, the decoded data is "0" (black).
図１４及び図１５は、本発明の第１の実施形態に係る情報提供システムにおいて色差値Ｃｒによる色相の変化の一例を示すグラフである。例えば、座標（ｘｘ１，ｙｙ１）の画素において、時間ｔ１から時間ｔｓまでの色差データＣｒ＿（ｘｘ１，ｙｙ１）＿ｔ１〜Ｃｒ＿（ｘｘ１，ｙｙ１）＿ｔｓが図１４（Ａ）に示すように変化していたとする。この色差データＣｒ＿（ｘｘ１，ｙｙ１）＿ｔ１〜Ｃｒ＿（ｘｘ１，ｙｙ１）＿ｔｓの時間軸方向の周波数成分をフーリエ変換により検出すると、図１４（Ｂ）に示すように、所定の周波数成分（Ａｓｉｎ（ωｔ）の成分（周波数ｆ１で示す））が現れる。このように、所定の周波数成分が現れた場合には、復号データは「１」となる。 FIG.14 and FIG.15 is a graph which shows an example of the change of the hue by color difference value Cr in the information-provision system which concerns on the 1st Embodiment of this invention. For example, it is assumed that color difference data Cr_ (xx1, yy1) _t1 to Cr_ (xx1, yy1) _ts from time t1 to time ts has changed as shown in FIG. 14A in the pixel at coordinates (xx1, yy1). Do. When frequency components in the time axis direction of the color difference data Cr_ (xx1, yy1) _t1 to Cr_ (xx1, yy1) _ts are detected by Fourier transform, as shown in FIG. 14B, a predetermined frequency component (A sin (ωt Component (shown by frequency f1)) appears. Thus, when a predetermined frequency component appears, the decoded data is "1".
これに対して、座標（ｘｘ３，ｙｙ１）では、時間ｔ１から時間ｔｓまでの色差データＣｒ＿（ｘｘ３，ｙｙ１）＿ｔ１〜Ｃｒ＿（ｘｘ３，ｙｙ１）＿ｔｓの値が図１５（Ａ）に示すように変化していたとする。この色差データＣｒ＿（ｘｘ３，ｙｙ１）＿ｔ１〜Ｃｒ＿（ｘｘ３，ｙｙ１）＿ｔｓの時間軸方向の周波数成分をフーリエ変換で検出すると、図１５（Ｂ）に示すように、殆どがＤＣ（直流）成分となり、所定の周波数成分（周波数ｆ１で示す）は現れない。このように、所定の周波数成分が現れない場合には、復号データは「０」となる。 On the other hand, at the coordinate (xx3, yy1), the values of the color difference data Cr_ (xx3, yy1) _t1 to Cr_ (xx3, yy1) _ts from the time t1 to the time ts are changed as shown in FIG. Suppose that you When frequency components in the time axis direction of the color difference data Cr_ (xx3, yy1) _t1 to Cr_ (xx3, yy1) _ts are detected by Fourier transform, as shown in FIG. 15B, most of them become DC (direct current) components. , A predetermined frequency component (indicated by frequency f1) does not appear. As described above, when the predetermined frequency component does not appear, the decoded data is "0".
なお、図１４では、色差データの変化はゆっくりで、その周波数成分は、符号「１」の二値データを付加したことによるＡｓｉｎ（ωｔ）の成分（周波数ｆ１で示す）だけである。図１５では、色差データの変化は殆どなく、その周波数成分は殆どＤＣ成分である。これは、ディスプレイ装置２０に映し出される映像コンテンツが静止画であるためである。本発明は、映像コンテンツが動画であっても、同様に適用できる。
In FIG. 14, the change of the color difference data is slow, and the frequency component thereof is only the component of Asin (ωt) (indicated by the frequency f1) due to the addition of the binary data of the code “1”. In FIG. 15, there is almost no change in the color difference data, and its frequency component is almost a DC component. This is because the video content displayed on the
図１６及び図１７は、本発明の第１の実施形態に係る情報提供システムにおいて色差値Ｃｒによる色相の変化の他の例を示すグラフである。図１６及び図１７は、映像コンテンツが動画の場合である。 FIG. 16 and FIG. 17 are graphs showing another example of the change of the hue by the color difference value Cr in the information providing system according to the first embodiment of the present invention. 16 and 17 show the case where the video content is a moving image.
例えば、座標（ｘｘ１，ｙｙ１）の画素において、時間ｔ１から時間ｔｓまでの色差データＣｒ＿（ｘｘ１，ｙｙ１）＿ｔ１〜Ｃｒ＿（ｘｘ１，ｙｙ１）＿ｔｓが図１６（Ａ）に示すように変化していたとする。図１６（Ａ）に示すように、色差データは複雑に変化するが、これは、映像コンテンツが動画であることと、符号「１」の二値データでＡｓｉｎ（ωｔ）の成分を付加したことによる。この色差データＣｒ＿（ｘｘ１，ｙｙ１）＿ｔ１〜Ｃｒ＿（ｘｘ１，ｙｙ１）＿ｔｓの時間軸方向の周波数成分をフーリエ変換により検出すると、図１６（Ｂ）に示すように、各種の周波数成分が検出され、その中に、所定の周波数成分（Ａｓｉｎ（ωｔ）の成分（周波数ｆ１で示す））が現れる。このように、所定の周波数成分が現れた場合には、復号データは「１」となる。 For example, it is assumed that color difference data Cr_ (xx1, yy1) _t1 to Cr_ (xx1, yy1) _ts from time t1 to time ts is changed as shown in FIG. 16A in the pixel at coordinates (xx1, yy1). Do. As shown in FIG. 16A, the color difference data changes in a complicated manner, but this means that the video content is a moving image and that a component of Asin (ωt) is added with binary data of code “1”. by. When frequency components in the time axis direction of the color difference data Cr_ (xx1, yy1) _t1 to Cr_ (xx1, yy1) _ts are detected by Fourier transformation, various frequency components are detected as shown in FIG. Among them, a predetermined frequency component (a component of Asin (ωt) (indicated by frequency f1) appears. Thus, when a predetermined frequency component appears, the decoded data is "1".
これに対して、座標（ｘｘ３，ｙｙ１）では、時間ｔ１から時間ｔｓまでの色差データＣｒ＿（ｘｘ３，ｙｙ１）＿ｔ１〜Ｃｒ＿（ｘｘ３，ｙｙ１）＿ｔｓの値が図１７（Ａ）に示すように変化していたとする。図１７（Ａ）に示すように、色差データは複雑に変化するが、これは、映像コンテンツが動画であることによる。この色差データＣｒ＿（ｘｘ３，ｙｙ１）＿ｔ１〜Ｃｒ＿（ｘｘ３，ｙｙ１）＿ｔｓの時間軸方向の周波数成分をフーリエ変換で検出すると、図１７（Ｂ）に示すように、各種の周波数成分が検出されるが、その中に、所定の周波数成分（Ａｓｉｎ（ωｔ）の成分（周波数ｆ１で示す））は含まれない。このように、所定の周波数成分が現れない場合には、復号データは「０」となる。このように、本実施形態では、映像コンテンツは、静止画であっても動画出あっても良い。 On the other hand, at the coordinate (xx3, yy1), the values of the color difference data Cr_ (xx3, yy1) _t1 to Cr_ (xx3, yy1) _ts from the time t1 to the time ts are changed as shown in FIG. Suppose that you As shown in FIG. 17A, the color difference data changes in a complicated manner because the video content is a moving image. When frequency components in the time axis direction of the color difference data Cr_ (xx3, yy1) _t1 to Cr_ (xx3, yy1) _ts are detected by Fourier transform, various frequency components are detected as shown in FIG. 17 (B). However, the predetermined frequency component (component of Asin (ωt) (indicated by frequency f1)) is not included therein. As described above, when the predetermined frequency component does not appear, the decoded data is "0". Thus, in the present embodiment, the video content may be a still image or a moving image.
図１８及び図１９は、本発明の第１の実施形態に係る情報提供システム１での処理を示すフローチャートである。まず、情報の送信側から説明する。
18 and 19 are flowcharts showing processing in the
（ステップＳ１）ユーザは、映像出力装置１０の入力操作部１６を操作して、ディスプレイ装置２０に表示する映像コンテンツを選択する。映像コンテンツは、例えば、広告コンテンツの画像である。映像コンテンツとしては、静止画でも良いし、動画でも良い。
(Step S1) The user operates the
（ステップＳ２）映像コンテンツが選択されると、映像出力装置１０の制御部１１は、選択された映像コンテンツ２の中の所定フレームの画像を選択し、その大きさ（解像度）情報を取得する。
(Step S2) When the video content is selected, the
（ステップＳ３）次に、映像出力装置１０の制御部１１は、全座標の画素の色差値を取得する。
(Step S3) Next, the
（ステップＳ４）次に、ユーザは、映像出力装置１０の入力操作部１６を操作して、二値画像を埋め込むための、ディスプレイ装置２０上の位置座標と、所定の周波数成分を色差データに付加するための時間を決定する。二値画像を埋め込む位置座標は、ディスプレイ装置２０の表示領域からはみ出ないようにする必要があるが、画面の中央か右上か等を決めれば良い。また、所定の周波数成分を付加するための時間は、ディスプレイ装置２０のフレーム周波数との関係から求めることができる。
(Step S4) Next, the user operates the
（ステップＳ５）映像出力装置１０の制御部１１は、ステップＳ３で取得したデータ群の中から、例えば左上の座標から右下の座標の順に、色差データＣｂの値を抽出する。
(Step S5) The
（ステップＳ６）映像出力装置１０の制御部１１は、二次元コード等の二値画像のデータが「１」か「０」かを判定する。二値画像のデータが「１」の場合には（ステップＳ６：Ｙｅｓ）、処理をステップＳ７に進め、二値画像のデータが「０」の場合には（ステップＳ６：Ｎｏ）、処理をステップＳ８に進める。
(Step S6) The
（ステップＳ７）二値画像データが「１」の場合は、映像出力装置１０の制御部１１は、座標の色差値に対して所定の周波数成分を付加する。二値画像データが「０」の場合には、元の色差値を変更する必要がないため、ステップＳ７はスキップすることとなる。
(Step S7) When the binary image data is “1”, the
（ステップＳ８）映像出力装置１０の制御部１１は、全画素について二値画像の埋め込みが完了したかを判定する。全ての画素の処理が完了したら（ステップＳ８：Ｙｅｓ）、処理を終了する。全ての画素の処理が完了していなければ（ステップＳ８：Ｎｏ）、処理をステップＳ９に進める。
(Step S8) The
（ステップＳ９）映像出力装置１０の制御部１１は、次の画素に処理対象を映して、処理をステップＳ４に戻す。そして、全画素について処理が完了するまで、ステップＳ４〜Ｓ７の処理を繰り返す。
(Step S9) The
次に、Ｓ１０〜Ｓ１５までの二値画像の処理について説明する。
（ステップＳ１０）ユーザは、二次元コードに含める情報を選択する。例えば、この例では、プル型の検索連動型広告とするためのＵＲＬを選択する。この段階では、まだＵＲＬは文字情報である。
Next, processing of binary images from S10 to S15 will be described.
(Step S10) The user selects information to be included in the two-dimensional code. For example, in this example, a URL for selecting a pull-type search-linked advertisement is selected. At this stage, the URL is still text information.
（ステップＳ１１）映像出力装置１０の制御部１１は、ステップＳ１２で選択された情報を二次元コード等の二値画像に変換する。これにより、ＵＲＬの文字情報が、二値画像に変換されたこととなる。
(Step S11) The
（ステップＳ１２）映像出力装置１０の制御部１１は、二次元コードの二値画像を映像コンテンツの画像に埋め込むために、二値画像の大きさ（解像度）情報を取得する。
(Step S12) The
（ステップＳ１３）映像出力装置１０の制御部１１は、二次元コードの二値画像の各画素が白であるか黒であるかにより、「１」又は「０」の二値データを取得する。この例では、白＝「１」、黒＝「０」として説明しているが、白＝「０」、黒＝「１」としても良い。
(Step S13) The
（ステップＳ１４）映像出力装置１０の制御部１１は、ステップＳ１３から、データ（「１」か「０」かの二値）の値を取得する。
(Step S14) The
（ステップＳ１５）映像出力装置１０の制御部１１は、取得したデータが、「１」か「０」かを、ステップＳ６の処理に通知する。
(Step S15) The
以下ステップＳ６以降の処理で、二値画像のデータが「１」の場合には、色差値に所定の周波数成分を付加し、二値画像のデータが「０」の場合には、色差値をそのままにして、各画素に、二値画像データを合成していく。 In the process after step S6, if the binary image data is "1", a predetermined frequency component is added to the color difference value, and if the binary image data is "0", the color difference value is As it is, binary image data is synthesized to each pixel.
次に、情報の受信側の処理について説明する。
（ステップＳ２０）ユーザは、携帯情報処理装置３０のカメラ部３４で、ディスプレイ装置２０に表示されるコンテンツ画像を動画で撮影する。この撮影画面は、動画ファイルとして、携帯情報処理装置３０のデータ記憶部３２に保存される。
Next, processing on the information receiving side will be described.
(Step S20) The user uses the
（ステップＳ２１）携帯情報処理装置３０の制御部３１は、データ記憶部３２に保存されたコンテンツ画像の動画ファイルから所定時間ごとにスライスしたものを作成する。
(Step S21) The
（ステップＳ２２）携帯情報処理装置３０の制御部３１は、スライスした各フレームの画像データから、各座標の色差値を取得する。これにより、時間毎に変化する各座標の色差値のテーブルができることになる。
(Step S22) The
（ステップＳ２３）携帯情報処理装置３０の制御部３１は、各座標毎に色差値と時間パラメータのデータ列を作成する。
(Step S23) The
（ステップＳ２４）次に、携帯情報処理装置３０の制御部３１は、ステップＳ２３で作成した、時間と色差値のデータ列をフーリエ変換する。
(Step S24) Next, the
（ステップＳ２５）次に、携帯情報処理装置３０の制御部３１は、色差値のデータ列のフーリエ変換値から、所定の周波数成分が検出されるたか否かを判定する。もし、情報送信側でこの座標に所定の周波数および既定の振幅で、画素データを変化させていた場合は、フーリエ変換することで、所定の周波数成分が検出されることとなる。また、情報送信側で、画素データを変化させていなかった場合は、所定の周波数成分が検出されないこととなる。周波数成分がある場合には、処理をステップＳ２６に進め、周波数成分がない場合には、処理をステップＳ２７に進める。
(Step S25) Next, the
（ステップＳ２６）色差値に所定の周波数成分がある場合には、符号データは「１」であると判定でき、この座標は白と判定することができる。 (Step S26) If the color difference value has a predetermined frequency component, it can be determined that the code data is "1", and this coordinate can be determined to be white.
（ステップＳ２７）一方、色差値に所定の周波数成分が無い場合には、符号データは「０」であると判定でき、この座標は黒と判定することができる。 (Step S27) On the other hand, if the color difference value does not have a predetermined frequency component, it can be determined that the code data is "0", and this coordinate can be determined to be black.
（ステップＳ２８）携帯情報処理装置３０の制御部３１は、その座標が白か黒かを判定して２値画像を復号する。
(Step S28) The
（ステップＳ２９）携帯情報処理装置３０の制御部３１は、全画素に対して判定が終わったか否かを判定する。全画素に対して判定が終われば（ステップＳ２９：Ｙｅｓ）、ステップＳ３０に処理を進める。全画素に対して判定が終わっていなければ（ステップＳ２９：Ｎｏ）、ステップＳ３１に処理を進める。
(Step S29) The
（ステップＳ３０）携帯情報処理装置３０の制御部３１は、判定された符号に基いて、二次元符号の二値画像を画面上に展開して配列し直し、これにより白と黒の二値画像が求められたこととなる。
(Step S30) The
（ステップＳ３１）携帯情報処理装置３０の制御部３１は、次の画素の判定処理に移り、ステップＳ２２に戻る。ステップＳ２２からＳ２９の処理を繰り返す。
(Step S31) The
なお、上述の実施形態では、二値画像の「０」か「１」に応じて、ＹＣｒＣｂ信号の色差値Ｃｒに所定の周波数成分を付加しているが、勿論、色差値Ｃｂに所定の周波数成分を付加しても良い。 In the above embodiment, although the predetermined frequency component is added to the color difference value Cr of the YCrCb signal according to “0” or “1” of the binary image, it is needless to say that the predetermined frequency is used for the color difference value Cb. You may add an ingredient.
また、二値画像の「０」か「１」に応じて、ＹＣｒＣｂ信号の輝度値Ｙｒに所定の周波数成分を付加しても良い。 Further, a predetermined frequency component may be added to the luminance value Yr of the YCrCb signal in accordance with “0” or “1” of the binary image.
また、三原色信号ＲＧＢのうちのＲ信号、Ｇ信号、又はＢ信号のうちの何れか若しくはその組み合わせに、二値画像の「０」か「１」に応じて、所定の周波数成分を付加しても良い。 Further, a predetermined frequency component is added to any one or a combination of R, G, and B signals among the three primary color signals RGB according to “0” or “1” of the binary image. Also good.
また、上述の実施形態では、二次元コードを二値画像としてコンテンツ画像に合成しているが、勿論、一次元バーコードを二値画像としてコンテンツ画像に合成しても良い。また、文字画像や絵の画像を二値画像としてコンテンツ画像に合成しても良い。 Further, in the above-described embodiment, the two-dimensional code is combined with the content image as a binary image, but of course, a one-dimensional barcode may be combined with the content image as a binary image. In addition, a character image or a picture image may be combined with the content image as a binary image.
また、情報受信側は、更に、復号された二値画像のエラー訂正を行うようにしても良い。 Also, the information receiving side may further perform error correction of the decoded binary image.
映像コンテンツの二値画像を埋め込むエリアの輝度が最小値、もしくはＲＧＢの色信号が最小値の時には、色差信号を既定の周波数にて変動させても、下側に変動させることができない。このため、下側に変動させることができるように、埋め込むエリアの輝度を持ち上げる、またはＲＧＢ色信号を持ち上げる機能を設けても良い。また、映像コンテンツの二値画像を埋め込むエリアの輝度が最大値、もしくはＲＧＢの色信号が最大値の時には、色差信号を既定の周波数にて変動させても、上側に変動させることができないため、上側に変動させることができるように、埋め込むエリアの輝度を下げる、またはＲＧＢ色信号を下げる機能を設けても良い。 When the luminance of the area in which the binary image of the video content is embedded is the minimum value or the RGB color signal is the minimum value, the color difference signal can not be varied downward even if it is varied at a predetermined frequency. For this reason, a function may be provided to raise the luminance of the area to be embedded or to raise the RGB color signal so that it can be moved downward. In addition, when the luminance of the area in which the binary image of the video content is embedded is at the maximum value or the RGB color signal is at the maximum value, the color difference signal can not be fluctuated upward even if it is fluctuated at a predetermined frequency. A function may be provided to lower the luminance of the area to be embedded or to lower the RGB color signal so that it can be varied upward.
図２０は、本発明の第１の実施形態に係る情報提供システムの機能に基づくブロック図である。図２０に示すように、本発明の第１の実施形態に係る情報提供システムは、所望の情報を含む二値画像を映像コンテンツに合成して表示する情報送信側１０１と、情報送信側１０１の表示画面を解析して二値画像に含まれる情報を取得する情報受信側１０２とからなる情報提供システムであって、情報送信側１０１は、符号判定部１１１と、周波数成分合成部１１２と、表示部１１３とを備え、情報受信側１０２は、撮像部１２１と、画素データ取得部１２２と、周波数成分解析部１２３と、二値画像復号部１２４とを備える。
FIG. 20 is a block diagram based on the function of the information providing system according to the first embodiment of the present invention. As shown in FIG. 20, in the information providing system according to the first embodiment of the present invention, an
符号判定部１１１は、映像コンテンツの画面上に合成した二値画像の符号を画素毎に判定する。周波数成分合成部１１２は、二値画像の符号に応じて映像コンテンツの画素データに対して各画素毎に時間軸方向の所望の周波数成分を付加する。表示部１１３は、二値画像が合成された映像コンテンツを表示する。
The
撮像部１２１は、表示部１１３に表示される画像を撮像する。画素データ取得部１２２は、撮像部１２１で撮像された画像から画素データを取得する。周波数成分解析部１２３は、画素データ取得部１２２から取得された画素データ中に所望の周波数成分が含まれているか否かを画素毎に解析する。二値画像復号部１２４は、周波数成分解析部１２３の解析結果から、二値画像の符号を復号する。
The
なお、情報提供システム１の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
Note that a program for realizing all or a part of functions of the
The "computer system" also includes a homepage providing environment (or display environment) if the WWW system is used.
The term "computer-readable recording medium" refers to a storage medium such as a flexible disk, a magneto-optical disk, a ROM, a portable medium such as a ROM or a CD-ROM, or a hard disk built in a computer system. Furthermore, “computer-readable recording medium” dynamically holds a program for a short time, like a communication line in the case of transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, the volatile memory in the computer system which is the server or the client in that case, and the one that holds the program for a certain period of time is also included. The program may be for realizing a part of the functions described above, or may be realized in combination with the program already recorded in the computer system.
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。 Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and design changes and the like within the scope of the present invention are also included.
１０…映像出力装置，２０…ディスプレイ装置，３０…携帯情報処理装置，２，１０１…情報送信側，３，１０２…情報受信側，１１１…符号判定部，１１２…周波数成分合成部，１１３…表示部，１２１…撮像部，１２２…画素データ取得部，１２３…周波数成分解析部，１２４…二値画像復号部
DESCRIPTION OF
Claims (14)
前記二値画像の符号に応じて映像コンテンツの画素データに対して各画素毎に時間軸方向の所望の周波数成分を付加することで、前記映像コンテンツに前記二値画像を合成する周波数成分合成部と、
前記二値画像が合成された映像コンテンツを表示する表示部と
を備える表示装置と、
前記表示部に表示された画像が撮像された撮像画像から画素データを取得する画素データ取得部と、
前記画素データ取得部から取得された画素データ中に所望の周波数成分が含まれているか否かを画素毎に解析する周波数成分解析部と、
前記周波数成分解析部の解析結果から、二値画像の符号を復号する二値画像復号部と、
を備える前記情報処理装置と
を有する情報提供システム。 A code determination unit that determines, for each pixel, the code of the binary image to be synthesized on the screen of the video content;
A frequency component synthesis unit that synthesizes the binary image with the video content by adding a desired frequency component in the time axis direction to pixel data of the video content according to the code of the binary image. When,
A display unit that displays a video content in which the binary image is synthesized;
A pixel data acquisition unit that acquires pixel data from a captured image obtained by capturing an image displayed on the display unit;
A frequency component analysis unit that analyzes for each pixel whether or not a desired frequency component is included in pixel data acquired from the pixel data acquisition unit;
A binary image decoding unit that decodes a binary image code from the analysis result of the frequency component analysis unit;
An information providing system comprising:
請求項１乃至９の何れか１項に記載の情報提供システム。 The frequency component synthesis unit is configured to, when the luminance of the image area for synthesizing the binary image of the video content is the minimum value or the RGB color signal is the minimum value among the image areas of the video content, the luminance area of the image area to be synthesized. The information providing system according to any one of claims 1 to 9, wherein:
請求項１乃至１０の何れか１項に記載の情報提供システム。 The frequency component synthesis unit is configured to, when the luminance of the image area for synthesizing the binary image of the video content is the maximum value or the RGB color signal is the maximum value, of the image areas of the video content, the luminance area of the image area to be synthesized. The information providing system according to any one of claims 1 to 10, wherein R is lowered or R, G, and B signals are lowered.
前記二値画像の符号に応じて映像コンテンツの画素データに対して各画素毎に時間軸方向の所望の周波数成分を付加することで、前記映像コンテンツに前記二値画像を合成する周波数成分合成部と、
前記二値画像が合成された映像コンテンツを表示する表示部と
を有する表示装置。 A code determination unit that determines, for each pixel, the code of the binary image to be synthesized on the screen of the video content;
A frequency component synthesis unit that synthesizes the binary image with the video content by adding a desired frequency component in the time axis direction to pixel data of the video content according to the code of the binary image. When,
A display unit for displaying video content in which the binary image is combined.
前記画素データ取得部から取得された画素データ中に所望の周波数成分が含まれているか否かを画素毎に解析する周波数成分解析部と、
前記周波数成分解析部の解析結果から、二値画像の符号を復号する二値画像復号部と
を有する情報処理装置。 A pixel data acquisition unit that acquires pixel data from a captured image obtained by capturing an image displayed on a display unit of a display device;
A frequency component analysis unit that analyzes for each pixel whether or not a desired frequency component is included in pixel data acquired from the pixel data acquisition unit;
An information processing apparatus comprising: a binary image decoding unit that decodes a code of a binary image from an analysis result of the frequency component analysis unit.
前記情報送信側で、映像コンテンツの画面上に合成する二値画像の符号を画素毎に判定する工程と、
前記情報送信側で、前記二値画像の符号に応じて映像コンテンツの画素データに対して各画素毎に時間軸方向の所望の周波数成分を付加することで、前記映像コンテンツに前記二値画像を合成する工程と、
前記情報送信側で、前記二値画像が合成された映像コンテンツを表示する工程と、
前記情報受信側で、前記表示される画像を撮像する工程と、
前記情報受信側で、前記撮像された画像から画素データを取得する工程と、
前記情報受信側で、前記取得された画素データ中に所望の周波数成分が含まれているか否かを画素毎に解析する工程と、
前記情報受信側で、前記周波数成分の解析結果から、二値画像の符号を復号する工程と
を含む情報提供方法。 An information providing method of combining a binary image including desired information with video content on the information transmitting side and displaying it, and analyzing a display screen on the information transmitting side to acquire information included in the binary image.
Determining the code of the binary image to be synthesized on the screen of the video content on the information transmitting side;
The information transmitting side adds the desired binary image to the video content by adding a desired frequency component in the time axis direction for each pixel to pixel data of the video content according to the code of the binary image. A process of synthesizing
Displaying the video content in which the binary image is synthesized on the information transmitting side;
Capturing the displayed image on the information receiving side;
Acquiring pixel data from the captured image on the information receiving side;
Analyzing, for each pixel, whether or not a desired frequency component is included in the acquired pixel data on the information receiving side;
And D. decoding the code of the binary image from the analysis result of the frequency component on the information receiving side.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017081267A JP2018182589A (en) | 2017-04-17 | 2017-04-17 | Information provision system, display device, information processing device, and information providing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017081267A JP2018182589A (en) | 2017-04-17 | 2017-04-17 | Information provision system, display device, information processing device, and information providing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018182589A true JP2018182589A (en) | 2018-11-15 |
Family
ID=64277105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017081267A Pending JP2018182589A (en) | 2017-04-17 | 2017-04-17 | Information provision system, display device, information processing device, and information providing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018182589A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7273007B2 (en) | 2020-07-28 | 2023-05-12 | Kddi株式会社 | Authentication device, authentication method and authentication program |
-
2017
- 2017-04-17 JP JP2017081267A patent/JP2018182589A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7273007B2 (en) | 2020-07-28 | 2023-05-12 | Kddi株式会社 | Authentication device, authentication method and authentication program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10559053B2 (en) | Screen watermarking methods and arrangements | |
| US9558591B2 (en) | Method of providing augmented reality and terminal supporting the same | |
| CN106462768B (en) | Using characteristics of image from image zooming-out form | |
| US8520967B2 (en) | Methods and apparatuses for facilitating generation images and editing of multiframe images | |
| JP2007248861A (en) | Image display device and receiving device | |
| CN102687107B (en) | Content display, content display method, content providing device and content providing | |
| US20050086259A1 (en) | Viewing tabular data on small handheld displays and mobile phones | |
| JP6120467B1 (en) | Server device, terminal device, information processing method, and program | |
| EP2423882B1 (en) | Methods and apparatuses for enhancing wallpaper display | |
| CN105933730A (en) | Video association information recommendation method and device | |
| CN112789650A (en) | Detecting semi-transparent image watermarks | |
| US20210248658A1 (en) | Dynamic product information during barcode scanning | |
| JP2015106862A (en) | Content information acquisition device and program, and content distribution device | |
| JP2010205121A (en) | Information processor and portable terminal | |
| JP2018182589A (en) | Information provision system, display device, information processing device, and information providing method | |
| KR20060121971A (en) | Method of visualizing a large still picture on a small-size display | |
| KR20190028046A (en) | Historical studies method and system using augmented reality | |
| JP2017228278A (en) | Server device, terminal device, information processing method, and program | |
| US20130134221A1 (en) | Apparatus and method for acquiring code image in a portable terminal | |
| US10318989B2 (en) | Information providing method and system using signage device | |
| JP2015125541A (en) | Line-of-sight prediction system, line-of-sight prediction method, and line-of-sight prediction program | |
| KR20120076541A (en) | Advertising method using augmented reality coder and system thereof | |
| US20130048730A1 (en) | Terminal device | |
| Ostkamp et al. | Using mobile devices to enable visual multiplexing on public displays: three approaches compared | |
| JP5681653B2 (en) | Video viewing system and video viewing program |