JP2012249257A - Video display device, photographing device, video system, display method, information reading method, and program - Google Patents
Video display device, photographing device, video system, display method, information reading method, and program Download PDFInfo
- Publication number
- JP2012249257A JP2012249257A JP2011121873A JP2011121873A JP2012249257A JP 2012249257 A JP2012249257 A JP 2012249257A JP 2011121873 A JP2011121873 A JP 2011121873A JP 2011121873 A JP2011121873 A JP 2011121873A JP 2012249257 A JP2012249257 A JP 2012249257A
- Authority
- JP
- Japan
- Prior art keywords
- video
- superimposed
- data
- video signal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims description 24
- 230000004397 blinking Effects 0.000 claims description 32
- 238000010586 diagram Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 241000282412 Homo Species 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、映像にデータを重畳させる技術に関する。 The present invention relates to a technique for superimposing data on a video.
被写体を撮影して画像を取得する撮影装置の分野では、赤外線や光無線通信などを利用して、画像の取得時に、その画像に関連する関連データなどのデータをさらに取得する技術が提案されている。 In the field of imaging devices that capture an image by photographing a subject, a technique has been proposed in which data such as related data related to the image is further acquired when the image is acquired using infrared or optical wireless communication. Yes.
例えば、特許文献1には、赤外線を発生させる赤外線発光物質で描かれた赤外線マーカーを有する追跡対象体からの光を赤外線と可視光線とに分離して取得し、可視光線に応じた映像と赤外線に応じたデータとを重畳させて表示する拡張リアリティシステム(AR:Augmented Reality)が記載されている。
For example, in
また、特許文献2には、被写体を撮影して画像を取得するとともに、その被写体の近傍に配置された光源が光無線通信を用いて送信したデータを取得して、画像とデータとを同時に表示する撮影装置が記載されている。
また、特許文献3には、被写体を撮影することで取得した画像を解析して、その画像から建造物などの特徴部分を抽出し、さらに、その特徴部分に関連したデータを通信ネットワーク上の端末などから取得する重畳情報提示装置が記載されている。
Further,
特許文献1〜3に記載の技術を用いて画像とは別のデータを取得するためには、特別なハードウェアが必要になるという問題がある。
In order to acquire data different from an image using the techniques described in
例えば、特許文献1に記載の拡張リアリティシステムでは、赤外線と可視光線を分離するための光学部材が必要となる。また、特許文献2に記載の撮影装置では、光無線通信が可能な光源が必要であり、さらには、撮影装置に光無線通信を行う受信機が必要となる。また、特許文献3に記載の重畳情報提示装置では、通信ネットワークと接続するための通信装置が必要となる。
For example, the extended reality system described in
なお、特許文献3に記載の重畳情報提示装置が取得できるデータは、映像の特徴部分に関連したデータに限られているため、映像の閲覧者に対してデータの提供者が所望のデータを必ずしも取得させることができないという問題もある。
Note that the data that can be acquired by the superimposition information presentation device described in
本発明の目的は、特別なハードウェアがなくても、画像の取得時に画像とは別のデータを取得することが可能な映像表示装置、撮影装置、映像システム、表示方法、情報読取方法およびプログラムを提供することである。 An object of the present invention is to provide a video display device, a photographing device, a video system, a display method, an information reading method, and a program capable of acquiring data different from an image when acquiring an image without special hardware. Is to provide.
本発明による映像表示装置は、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する制御部と、前記重畳映像信号が示す重畳映像を表示する映像表示部と、を有する。 The video display device according to the present invention corrects the video signal so that dots forming a video corresponding to the video signal blink according to the superimposition data, and the superimposition in which the superimposition data is superimposed on the video. A control unit that generates a superimposed video signal indicating a video; and a video display unit that displays the superimposed video indicated by the superimposed video signal.
本発明による撮影装置は、前記映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する取得部と、前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る管理部と、を有する。 The imaging device according to the present invention, an acquisition unit that acquires the captured image by capturing the superimposed video displayed on the video display device, and the brightness of the dots forming the captured image, And a management unit that reads the superimposed data superimposed on the superimposed video.
本発明による映像システムは、前記映像表示装置と前記撮影装置とを有する。 The video system according to the present invention includes the video display device and the photographing device.
本発明による表示方法は、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成し、前記重畳映像信号が示す重畳映像を表示する。 The display method according to the present invention corrects the video signal so that dots forming the video corresponding to the video signal blink according to the superposition data, and the superimposed video in which the superposition data is superimposed on the video. Is generated, and the superimposed video indicated by the superimposed video signal is displayed.
本発明による情報読取方法は、前記映像表示装置にて表示された重畳映像を撮影して撮影画像を取得し、前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る。 In the information reading method according to the present invention, the superimposed video displayed on the video display device is photographed to obtain a photographed image, the luminance of the dots forming the photographed image is analyzed, and the superimposed video is obtained from the photographed image. The superimposed data superimposed on is read.
本発明による第1のプログラムは、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する処理と、前記重畳映像信号が示す重畳映像を表示する処理と、をコンピュータに実行させる。 The first program according to the present invention corrects the video signal so that dots forming a video corresponding to the video signal blink according to the superimposition data, and the superimposition data is superimposed on the video. A computer is caused to execute a process of generating a superimposed video signal indicating a superimposed video and a process of displaying the superimposed video indicated by the superimposed video signal.
本発明による第2のプログラムは、前記映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する処理と、前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る処理と、をコンピュータに実行させる。 A second program according to the present invention is a method for capturing a captured image by capturing a superimposed image displayed on the image display device, analyzing a luminance of dots forming the captured image, and analyzing the luminance from the captured image. And causing the computer to execute a process of reading the superimposed data superimposed on the superimposed video.
本発明によれば、特別なハードウェアがなくても、画像の取得時に画像とは別のデータを取得することが可能になる。 According to the present invention, it is possible to acquire data different from an image when acquiring an image without special hardware.
以下、本発明の実施形態について図面を参照して説明する。なお、以下の説明では、同じ機能を有するものには同じ符号を付け、その説明を省略する場合がある。 Embodiments of the present invention will be described below with reference to the drawings. In the following description, components having the same function may be denoted by the same reference numerals and description thereof may be omitted.
図1は、本発明の第1の実施形態の映像システムを示す図である。図1において、映像システムは、投影機10と、撮影機20とを有する。
FIG. 1 is a diagram showing a video system according to a first embodiment of the present invention. In FIG. 1, the video system includes a
投影機10は、映像を表示する映像表示装置であり、より具体的には、スクリーンのような投射面30に映像を投影して表示するプロジェクタである。撮影機20は、周囲を撮影して撮影画像を取得する撮影装置である。
The
図2は、投影機10の構成の一例を示すブロック図である。図2において、投影機10は、CPU11と、映像表示部12とを有する。
FIG. 2 is a block diagram illustrating an example of the configuration of the
CPU11は、プログラムにて制御されることで、下記の機能を実現する制御部である。
The
CPU11には、パーソナルコンピュータのような外部装置(不図示)から、複数のドットで形成される映像を示す映像信号と、その映像信号に重畳するデータを示すデータ信号とが入力される。
The
CPU11は、データ信号にて示されるデータに応じて、映像信号が示す映像を形成するドットである映像ドットが点滅するように、映像信号をデータに基づいて補正して、データが重畳された映像である重畳映像を示す重畳映像信号を生成する。なお、データ信号にて示されるデータは、重畳用データの一例である。
The
映像表示部12は、CPU11にて生成された重畳映像信号に基づいて、重畳映像信号が示す重畳映像を投射面30に投影して表示する。
The video display unit 12 projects and displays the superimposed video indicated by the superimposed video signal on the
より具体的には、映像表示部12は、LED(Light Emitting Diode)部12Aと、表示素子12Bと、レンズ部12Cとを有する。
More specifically, the video display unit 12 includes an LED (Light Emitting Diode) unit 12A, a
LED部12Aは、表示素子12Bに光を入射させる光源である。表示素子12Bは、LED部12Aからの光を重畳映像信号に応じて変調して、レンズ部12Cを介して投射面30に投影することで、重畳映像を投射面30に表示する。なお、光源は、LEDに限らず、適宜変更可能である。また、表示素子12Bとしては、例えば、液晶パネルなどが挙げられる。
The LED unit 12A is a light source that causes light to enter the
図3は、撮影機20の構成の一例を示すブロック図である。図3において、撮影機20は、キー操作部21と、カメラ部22と、管理部23と、表示部24と、記憶部25とを有する。
FIG. 3 is a block diagram illustrating an example of the configuration of the photographing device 20. In FIG. 3, the photographing machine 20 includes a
キー操作部21は、ユーザからの種々の操作を検知する。例えば、キー操作部21は、所定のキーの押下を、撮影を開始するための撮影開始操作として検知する。
The
カメラ部22は、キー操作部21にて撮影開始操作が検知されると、周囲を撮影して撮影画像を取得する映像取得部である。以下では、カメラ部22は、投影機10が投射面30に表示した重畳映像を撮影して、重畳映像を示す撮影画像を取得するものとする。
The camera unit 22 is a video acquisition unit that captures an image of the surroundings and acquires a captured image when a shooting start operation is detected by the
管理部23は、例えば、CPUなどの演算装置やメモリなどの記録装置で構成される。また、管理部23は、カメラ部22で取得された撮影画像を形成する撮影ドットの輝度を解析して、重畳映像に重畳されているデータを撮影画像から読み取り、その読み取ったデータと撮影画像を表示部24に表示する。
For example, the
記憶部25は、種々の情報を記憶する。例えば、記憶部25は、撮影機20の使用者の属性を特定する識別情報であるグループIDを記憶する。属性としては、例えば、所属会社、年齢および性別などが挙げられる。
The
以下、データの重畳と読み取りについてより詳細に説明する。なお、本実施形態におけるデータの重畳と読み取りは、肉眼で発生する残存現象と、投影機10および撮影機20の解像度および処理速度の相違を利用するものである。
Hereinafter, data superposition and reading will be described in more detail. Note that the superimposing and reading of data in the present embodiment uses the residual phenomenon that occurs with the naked eye and the difference in resolution and processing speed between the
上述したように投影機10において、CPU11は、映像信号が示す映像を形成する映像ドットがデータに応じて点滅するように、映像信号をデータに基づいて補正する。
As described above, in the
このとき、CPU11は、複数の映像ドットで形成された複数のセクションで映像が区切られ、そのセクション単位で、セクション内の各映像ドットが点滅する点滅パターンが変化するように、映像信号をデータに応じて補正する。
At this time, the
なお、映像は、水平方向および垂直方向のそれぞれに映像ドットが並んだドットマトリックスで形成されているものとし、セクションは、映像の水平方向および垂直方向のそれぞれについて、連続した複数の映像ドットを有するものとしている。 The video is formed of a dot matrix in which video dots are arranged in the horizontal direction and the vertical direction, respectively, and the section has a plurality of continuous video dots in each of the horizontal direction and the vertical direction of the video. It is supposed to be.
また、CPU11は、全ての点滅パターンにおいて、表示された重畳映像の各表示ドットが人間には連続して点灯していると視認されるような点滅速度で点滅するように、映像信号を補正するものとする。この場合、人間には、各表示ドットが点灯時の輝度と消灯時の輝度との中間の輝度で連続して点灯されているように認識される。このため、人間に認識される、映像信号に応じた元の映像の各映像ドットの輝度と、重畳映像を形成する各表示ドットの輝度との差異ができるだけ小さくするために、CPU11は、重畳映像内の点灯時の各表示ドットの輝度が元の映像ドットの輝度よりも高くなるように、映像信号を補正することが望ましい。
Further, the
一方、撮影機20のカメラ部22にて撮影画像を取得する認識速度は、重畳映像内の各各表示ドットの点滅を認識できる速度であるとする。また、カメラ部22は、重畳映像の各表示ドットを個別に認識できず、重畳映像内の1セクションが、撮影画像の1撮影ドットとなるような解像度を有するものとする。 On the other hand, it is assumed that the recognition speed at which a captured image is acquired by the camera unit 22 of the photographing machine 20 is a speed at which blinking of each display dot in the superimposed video can be recognized. In addition, the camera unit 22 cannot recognize each display dot of the superimposed video individually, and has a resolution such that one section in the superimposed video becomes one shooting dot of the captured image.
図4は、重畳映像の各表示ドットの点滅パターンと撮影画像の各撮影ドットとの対応関係の一例を説明するための図である。なお、図4では、セクションは、重畳映像の水平方向および垂直方向のそれぞれについて2表示ドットずつ有するものとしている。 FIG. 4 is a diagram for explaining an example of the correspondence relationship between the blinking pattern of each display dot of the superimposed video and each shooting dot of the shot image. In FIG. 4, the section has two display dots for each of the horizontal direction and the vertical direction of the superimposed video.
図4では、点滅パターンとして、第1の点滅パターンである点滅パターンAと、第2の点滅パターンである点滅パターンBの2種類のパターンがある。 In FIG. 4, there are two types of blinking patterns: a blinking pattern A that is a first blinking pattern and a blinking pattern B that is a second blinking pattern.
点滅パターンAは、セクション内の互いに隣接する2つの隣接ドットの点灯状態が反転しているパターンである。つまり、点滅パターンAでは、隣接ドットの一方が点灯し、隣接ドットの他方が消灯するように、セクション内の各表示ドットが点滅する。 The blinking pattern A is a pattern in which lighting states of two adjacent dots adjacent to each other in the section are reversed. That is, in the blink pattern A, each display dot in the section blinks so that one of the adjacent dots is turned on and the other of the adjacent dots is turned off.
したがって、重畳映像の1セクションが撮影画像の1撮影ドットとなるので、点滅パターンAのセクションは、撮影画像では、点灯している表示ドットと消灯している表示ドットとが合わさって、表示ドットの点灯時の輝度に対応する高輝度と、表示ドットの消灯時の輝度に対応する低輝度との中間の輝度である中間輝度を有する撮影ドットとなる。 Accordingly, since one section of the superimposed image becomes one shooting dot of the captured image, the section of the blinking pattern A is the combination of the display dot that is turned on and the display dot that is turned off in the captured image. This is a shooting dot having an intermediate luminance that is an intermediate luminance between a high luminance corresponding to the luminance at the time of lighting and a low luminance corresponding to the luminance at the time of turning off the display dot.
一方、点滅パターンBは、セクション内の全ての表示ドットの点灯状態が同じになるパターンである。つまり、点滅パターンBでは、セクション内の全ての表示ドットが同時に点滅する。 On the other hand, the blinking pattern B is a pattern in which the lighting states of all display dots in the section are the same. That is, in the blink pattern B, all display dots in the section blink simultaneously.
したがって、点滅パターンBのセクションは、撮影画像では、点灯している表示ドットだけが合わさるか、または、消灯している表示ドットだけが合わさるので、撮影画像では、表示ドットの点灯時の輝度に対応する高輝度、または、表示ドットの消灯時の輝度に対応する低輝度を有する撮影ドットとなる。 Therefore, the section of the blinking pattern B corresponds to the brightness when the display dots are lit in the captured image because only the display dots that are lit or only the display dots that are turned off are aligned in the captured image. The shooting dots have high brightness or low brightness corresponding to the brightness when the display dots are turned off.
この場合、撮影機20の管理部23は、撮影画像の各撮影ドットの輝度を解析して、撮影画像から重畳データを読み取る。
In this case, the
データの重畳と読み取りの具体的を説明する。 The specifics of data superposition and reading will be described.
以下では、データ信号が示すデータは、QRコード(登録商標)のような2次元のドットパターンである2次元コードの形式で表現されているものとする。また、2次元コードは、黒レベルのコードドットと白レベルのコードドットで構成されているものとする。 In the following, it is assumed that the data indicated by the data signal is expressed in the form of a two-dimensional code that is a two-dimensional dot pattern such as a QR code (registered trademark). The two-dimensional code is composed of black level code dots and white level code dots.
データが2次元コードで表現されている場合、CPU11は、2次元コードの各コードドットと、映像信号が示す映像の各セクションとを対応させ、各セクションの点滅パターンがそのセクションに対応するコードドットに応じて変化するように、映像信号を補正する。
When the data is represented by a two-dimensional code, the
図5は、2次元コード、セクションおよび点滅パターンの対応関係の一例を示す図である。 FIG. 5 is a diagram illustrating an example of a correspondence relationship between a two-dimensional code, a section, and a blinking pattern.
図5では、映像内の4つのセクション1〜4と、そのセクションに対応する2次元コードが示されている。また、セクション1に対応するコードドットが白レベルであり、セクション2〜4のそれぞれに対応するコードドットが黒レベルである。
FIG. 5 shows four
このとき、例えば、CPU11は、白レベルのコードドットに対応するセクション1が点滅パターンAで点滅し、黒レベルのコードドットに対応するセクション2〜4のそれぞれが点滅パターンBで点滅するように、映像信号を補正することで、重畳映像信号を生成する。
At this time, for example, the
撮影機20のカメラ部22は、重畳映像の1セッションを1撮影ドットとして認識するので、上記のように生成された重畳映像信号に応じた重畳映像を撮影すると、図4に示すように、点滅パターンAのセクションは、撮影画像では、中間輝度を有する撮影ドットとなり、点滅パターンBのセクションは、撮影画像では、低輝度または高輝度を有する撮影ドットとなる。このため、セクション1に対応する撮影ドットの輝度は、中間輝度となり、セクション2〜4のそれぞれに対応する撮影ドットの輝度は、低輝度または高輝度となる。
Since the camera unit 22 of the photographing machine 20 recognizes one session of the superimposed video as one shooting dot, when the superimposed video corresponding to the superimposed video signal generated as described above is shot, as shown in FIG. The section of the pattern A is a shooting dot having intermediate luminance in the captured image, and the section of the blinking pattern B is a shooting dot having low luminance or high luminance in the captured image. For this reason, the luminance of the shooting dots corresponding to
管理部23は、撮影画像の各ドットの輝度を解析して、中間輝度の撮影ドットを2次元コードにおける白レベルのコードドットとみなし、低輝度または高輝度の撮影ドットを2次元コードにおける黒レベルのコードドットとみなすことで、撮影画像から2次元コードを読み取る。そして、管理部23は、2次元コードをデコードして元のデータを取得し、そのデータと撮影画像とを表示部24に表示する。
The
図6は、映像とデータの一例を示す図である。 FIG. 6 is a diagram illustrating an example of video and data.
図6の例では、映像信号が示す映像は、図6(a)に示すように、棒グラフの座標軸であるフレームのみを表す。また、データ信号が示すデータは、棒グラフの棒であるグラフ本体を有する。より具体的には、データは、図6(b1)および図6(b2)の実線で示すように、2種類のグラフ本体を有し、各グラフ本体には、撮影機20の使用者を特定する識別情報が対応付けられている。さらに、データは、2次元コードの形式で表されている。この場合、映像とデータとが重畳された重畳映像は、図6(c)に示すように、点灯している表示ドットと消灯している表示ドットとで形成される。 In the example of FIG. 6, the video indicated by the video signal represents only the frame that is the coordinate axis of the bar graph, as shown in FIG. The data indicated by the data signal has a graph body that is a bar of a bar graph. More specifically, the data has two types of graph bodies as indicated by the solid lines in FIG. 6 (b1) and FIG. 6 (b2), and each graph body identifies the user of the camera 20 Identification information to be associated with each other. Furthermore, the data is represented in the form of a two-dimensional code. In this case, a superimposed image in which the image and data are superimposed is formed with display dots that are lit and display dots that are not lit as shown in FIG.
しかしながら、重畳映像の点滅は人間には認識されないので、人間には、図6(a)で示したように、フレームのみが認識される。 However, since blinking of the superimposed video is not recognized by humans, only humans can recognize the frames as shown in FIG.
一方、撮影機20では、重畳映像の点滅が認識され、重畳映像の1セクションが撮影機20の1撮影ドットとなるので、カメラ部22は、図6(d1)および図6(d2)で示すように、中間輝度の撮影ドットと低輝度または高輝度の撮影ドットで形成される撮影画像を取得する。管理部23は、中間輝度の撮影ドットが2次元コードの白レベルとみなし、低輝度または高輝度の撮影ドットが2次元コードの黒レベルと見なすことで、2次元コードを読み取り、その2次元コードをデコードして、2種類のグラフ本体を取得する。
On the other hand, since the camera 20 recognizes the blinking of the superimposed image and one section of the superimposed image becomes one shooting dot of the camera 20, the camera unit 22 is shown in FIGS. 6 (d1) and 6 (d2). In this way, a captured image formed by the intermediate luminance shooting dots and the low luminance or high luminance shooting dots is acquired. The
そして、管理部23は、記憶部25に記憶されている識別情報と同じ識別情報と対応付けられているグラフ本体を、撮影画像に重ね合わせて表示部23に表示する。
Then, the
このとき、撮影画像の各撮影ドットは、重畳映像と同様に高速で点滅しているので、人間には、図6(a)に示すように、棒グラフのフレームとして認識される。表示部23に表示される撮影画像は、グラフ本体が重ね合わされているので、人間には、図6(e1)または図6(e2)のようなフレームとグラフ本体とを有する画像として認識される。
At this time, each captured dot of the captured image blinks at high speed as in the superimposed image, so that it is recognized by a human as a bar graph frame as shown in FIG. Since the captured image displayed on the
次に本実施形態の映像システムの動作について説明する。 Next, the operation of the video system of this embodiment will be described.
なお、投影機10では、CPU11は、入力された映像信号およびデータ信号に基づいて、重畳映像信号を生成し、その重畳映像信号を映像表示部12の表示素子12Bに入力する。表示素子12Bは、光源12Aからの光を重畳映像信号に応じて変調して、レンズ部12Cを介して投射面30に投射して、投射面30に重畳映像を表示する。また、重畳映像全体がセクションに区切られており、各セクションの点滅パターンには、点滅パターンAおよびBがあるものとする。
In the
図7は、撮影機20の動作を説明するための図である。 FIG. 7 is a diagram for explaining the operation of the photographing device 20.
なお、撮影機20の使用者がカメラ部22を投射面30に向けて、撮影を開始するための撮影開始操作をキー操作部21に行う。キー操作部21は、撮影開始操作を検知し、開始操作検知信号を管理部23に出力する。管理部23は、開始操作検知信号を受け付けると、カメラ部22を駆動させる。
Note that the user of the photographing device 20 directs the camera unit 22 to the
そして、カメラ部22は、重畳映像の各ドットの点滅を認識する速度で、重畳画像を繰り返し撮影し、その撮影画像を管理部23に出力する(ステップS701)。 Then, the camera unit 22 repeatedly captures the superimposed image at a speed for recognizing blinking of each dot of the superimposed video, and outputs the captured image to the management unit 23 (step S701).
管理部23は、撮影画像を受け付け、撮影画像内の各撮影ドットの輝度を解析して、各撮影ドットの輝度の分布である輝度分布(輝度ヒストグラム)を求める(ステップS702)。
The
そして、管理部23は、輝度分布におけるピーク値が予め定められた閾値以上か否かを判断する(ステップS703)。撮影画像に重畳映像が映っている場合、重畳映像には点滅パターンBで点滅するドットが含まれており、撮影画像では、点滅パターンBは高輝度または低輝度の撮影ドットとなるため、輝度分布における高輝度領域または低輝度領域にピークが発生し、そのピーク値は比較的大きくなるので、ピーク値が閾値以上の場合、撮影画像に重畳映像が映っているとみなすことができる。
Then, the
したがって、管理部23は、ピーク値が閾値未満の場合、管理部23は、撮影画像に重畳映像が映っていないと判断して、処理を終了し、ピーク値が閾値以上の場合、撮影画像に重畳映像が映っていると判断し、撮影画像から重畳データを読み取る読取処理を行う。
Therefore, when the peak value is less than the threshold value, the
読取処理では、先ず、管理部23は、輝度分布のピークが輝度分布の高輝度側にあるか否かを判断する(ステップS704)。より具体的には、管理部23は、ピークの輝度が所定輝度以上か否かを判断し、ピークの輝度が所定輝度以上の場合、ピークが高輝度側にあると判断し、ピークの輝度が所定輝度未満の場合、ピークが低輝度側にあると判断する。なお、所定輝度は、輝度分布の中央値または中央値近辺の値である。
In the reading process, first, the
ピークが低輝度側にある場合、管理部23は、第1の所定輝度範囲に含まれる輝度を低輝度とみなし、第1の所定輝度範囲より高輝度側にある第2の所定輝度範囲に含まれる輝度を中間輝度とみなす。そして、管理部23は、低輝度の撮影ドットを2次元コードにおける黒レベルのコードドットし、中間輝度の撮影ドットを2次元コードにおける白レベルのコードドットとすることで、撮影画像から2次元コードを復元する(ステップS705)。
When the peak is on the low luminance side, the
そして、管理部23は、その2次元コードをデコードしてデータを復元し、そのデータを撮影画像に重ね合わせて表示部24に表示する(ステップS706)。
Then, the
なお、データが、図6に示したグラフ本体のような複数の部分データを有し、各部分データが識別情報と対応付けられている場合、管理部23は、記憶部25に記憶されている識別情報と同じ識別情報と対応付けられている部分データを撮影画像に重ね合わせて表示部24に表示する。
When the data has a plurality of partial data such as the graph body shown in FIG. 6 and each partial data is associated with the identification information, the
また、一般的に、QRコードなどの2次元コードでは、2次コードの領域を特定する位置検出パターンが四隅などに設けられており、2次元コードを読み取る読取装置では、撮影画像から位置検出パターンを判別し、その位置検出パターンに基づいて2次元コードをデコードしている。管理部23は、この一般的な読取装置と同様に、白レベルおよび黒レベルのコードドットのパターンから位置検出パターンを判別し、その位置検出パターンに基づいて、2次元コードの領域を特定して、2次元コードをデコードする。
In general, in a two-dimensional code such as a QR code, position detection patterns for specifying a secondary code area are provided at four corners. In a reading apparatus that reads a two-dimensional code, a position detection pattern is obtained from a captured image. The two-dimensional code is decoded based on the position detection pattern. The
ピークが高輝度側にある場合、撮影画像には、重畳映像における点滅パターンBで点滅しているドットの点灯状態が映されている。このため、撮影画像における高輝度の撮影ドットが2次元コードにおける黒レベルのコードドットとなるが、重畳映像における点灯しているドットの輝度は元の映像信号に依存するので、高輝度の撮影ドットを正確に判断できない可能性がある。 When the peak is on the high luminance side, the captured image shows the lighting state of the dots blinking in the blinking pattern B in the superimposed image. For this reason, a high-luminance shooting dot in the captured image becomes a black-level code dot in the two-dimensional code, but since the luminance of the lit dot in the superimposed image depends on the original video signal, the high-luminance shooting dot May not be accurately determined.
このため、ピークが高輝度側にある場合、管理部23は、高輝度のピークが明確か否かを判断する(ステップS707)。より具体的には、管理部23は、ピーク値が閾値より高い第2の閾値以上か否かを判断し、ピーク値が第2の閾値以上であると、ピークが明確であると判断し、ピーク値が第2の閾値未満であると、ピークが明確でないと判断する。
For this reason, when the peak is on the high luminance side, the
ピークが明確な場合、管理部23は、撮影画像の輝度を反転させる。そして、第1の所定輝度範囲に含まれる輝度を低輝度とみなし、第2の所定輝度範囲に含まれる輝度を中間輝度とみなし、低輝度のドットを2次元コードにおける黒レベルのドットとし、高輝度のドットを2次元コードにおける白レベルのドットとして、2次元コードを復元する(ステップS708)。その後、管理部23は、ステップS706の処理を実行する。
When the peak is clear, the
一方、ピークが明確でない場合、管理部23は、現在の撮影画像の前のフレームである前フレーム画像が記憶部25に記憶されているか否かを判断する(ステップS709)。
On the other hand, when the peak is not clear, the
前フレーム画像が記憶されている場合、管理部23は、前フレーム画像の各ドットの輝度と、現在の撮影画像の各ドットの輝度の差分とをとった差分画像を生成する(ステップS710)。
When the previous frame image is stored, the
図8は、差分画像を説明するための図である。図8に示すように、元の映像にデータが重畳され場合に、現在の撮影画像のピーク値の輝度が高輝度側にあると、前フレーム画像のピーク値の輝度は低輝度側にあることになる。また、中間輝度付近の輝度は、現在の撮影画像と前フレーム画像との間で差異はあまりない。このため、差分画像では、撮影画像および前フレーム画像の中間輝度付近の輝度は、低輝度となり、撮影画像の高輝度(前フレーム画像の低輝度)は、中間輝度となる。 FIG. 8 is a diagram for explaining the difference image. As shown in FIG. 8, when data is superimposed on the original video, if the luminance of the peak value of the current captured image is on the high luminance side, the luminance of the peak value of the previous frame image is on the low luminance side. become. Further, the brightness near the intermediate brightness is not significantly different between the current captured image and the previous frame image. For this reason, in the difference image, the luminance near the intermediate luminance between the captured image and the previous frame image is low, and the high luminance of the captured image (low luminance of the previous frame image) is the intermediate luminance.
よって、管理部23は、差分画像の中間輝度のドットを2次元コードにおける黒レベルのコードドットとし、差分画像の低輝度のドットを2次元コードにおける白レベルのドットとし、差分画像の中間輝度のドットを2次元コードにおける黒レベルのドットとすることで2次元コードを復元する(ステップS712)。
Therefore, the
以上説明したように本実施形態によれば、映像を形成するドットがデータに応じて点滅する。また、映像が撮影されて取得される撮影画像の輝度が解析されることによって、撮影画像からデータが読み取られる。このため、表示されている映像に撮影機20を向けるだけで画像とデータとを取得することができ、特別なハードウェアがなくても、画像の取得時に画像とは別のデータを取得することが可能になる。また、撮影画像から建造物などの特徴部分を抽出する必要がないので、データの提供者は所望のデータを映像の絵杖暗射に取得させることが可能になる。 As described above, according to the present embodiment, the dots forming the video blink according to the data. In addition, data is read from the captured image by analyzing the luminance of the captured image obtained by capturing the video. For this reason, the image and data can be acquired simply by pointing the photographing device 20 to the displayed video, and even when there is no special hardware, data different from the image is acquired when the image is acquired. Is possible. Further, since it is not necessary to extract a characteristic part such as a building from the photographed image, it becomes possible for the data provider to acquire desired data by the wand of the picture.
また、データに含まれる識別情報に応じたデータが映像とともに表示されるので、同じ映像を見ながら、閲覧者の会社、年齢および性別など属性に応じて、閲覧者に提供するデータを変更することが可能になる。 In addition, since data corresponding to the identification information included in the data is displayed together with the video, the data provided to the viewer can be changed according to the attributes such as the company, age and gender of the viewer while viewing the same video. Is possible.
次に本発明の第2の実施形態について説明する。 Next, a second embodiment of the present invention will be described.
図9は、本発明に第2の実施形態の映像システムを示す図である。 FIG. 9 is a diagram showing a video system according to the second embodiment of the present invention.
図9において、映像システムは、映像表示装置100と、撮影装置200とを有する。 In FIG. 9, the video system includes a video display device 100 and a photographing device 200.
映像表示装置100は、制御部101と、映像表示部102とを有する。
The video display device 100 includes a
制御部101は、CPUなどの演算装置やメモリなどの記録装置で構成される。また、制御部101には、映像信号が入力される。
The
制御部101は、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、映像信号を補正して、映像に重畳用データが重畳された重畳映像を示す重畳映像信号を生成する。なお、重畳用データは、予め制御部101が保持していてもよいし、第1の実施形態のように外部から入力されてもよい。
The
重畳用データの形式は、2次元コードに限らず、バーコードのような1次元コードやその他の形式でもよい。また、重畳用データ(例えば、2次元コード)は、1画面ごとに1つとは限らず、複数あってもよい。この場合、複数のデータを映像に重ね合わせて表示することができる。 The format of the superimposition data is not limited to a two-dimensional code, and may be a one-dimensional code such as a barcode or other formats. In addition, the superimposition data (for example, a two-dimensional code) is not limited to one per screen, and may be plural. In this case, a plurality of data can be displayed superimposed on the video.
映像表示部102は、制御部101にて生成されて重畳映像信号が示す重畳映像を表示する。映像表示部102は、第1の実施形態のように投射面に光を投影して重畳映像を表示するものでもよいし、自身に備わっている表示面に重畳映像を表示するものでもよい。
The
撮影装置200は、取得部201と、管理部202とを有する。
The imaging apparatus 200 includes an
取得部201は、映像表示装置100にて表示された重畳映像を撮影して撮影画像を取得する。管理部202は、取得部201にて取得された撮影画像を形成するドットの輝度を解析して、撮影画像から重畳映像に重畳されている重畳データを読み取る。
The
本実施形態でも、第1の実施形態と同様に特別なハードウェアがなくても、画像の取得時に画像とは別のデータを取得することが可能になる。 Even in the present embodiment, it is possible to acquire data different from an image when acquiring an image without special hardware as in the first embodiment.
なお、各実施形態で説明した投影機10、撮影機20、映像表示装置100および撮影装置200の機能は、専用のハードウェアにて実現されてもよいし、その機能を実現するためのプログラムを、コンピュータにて読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ実行させることで、実現されてもよい。
Note that the functions of the
以上説明した各実施形態において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。 In each embodiment described above, the illustrated configuration is merely an example, and the present invention is not limited to the configuration.
例えば、撮影機10や撮影装置100は、携帯電話機、スマートフォン、ゲーム機、タブレット型PCおよびノード型PCなどの端末装置に備わっていてもよい。
For example, the photographing
また、各実施形態で説明した映像システムは、映像を表示する街頭ディスプレイなどに、広告情報を重畳させて提供する広告システムや、会社の社内発表時に、従業員の部署などの属性に応じたデータを配信するプレゼンテーションシステムなどに適用されてもよい。 In addition, the video system described in each embodiment includes an advertising system in which advertising information is superimposed on a street display that displays video, and data according to attributes such as employee departments at the time of company announcements. The present invention may be applied to a presentation system that distributes.
また、上記の各実施形態の一部又は全部は、以下の付記のように記載することが可能であるが、以下には限定されない。 Moreover, although part or all of each said embodiment can be described like the following additional remarks, it is not limited to the following.
[付記1]
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する制御部と、
前記重畳映像信号が示す重畳映像を表示する映像表示部と、を有する映像表示装置。
[Appendix 1]
The video signal is corrected so that dots forming the video corresponding to the video signal blink according to the superimposition data, and a superimposed video signal indicating the superimposed video in which the superposition data is superimposed on the video is generated. A control unit,
A video display unit configured to display a superimposed video indicated by the superimposed video signal.
[付記2]
前記制御部は、前記ドットを複数有する複数のセクションで前記映像が区切られ、前記ドットが点滅する点滅パターンが前記セクション単位で変化するように、前記映像信号を補正する、付記1に記載の映像表示装置。
[Appendix 2]
The video according to
[付記3]
前記重畳用データは、2次元コードで表され、
前記制御部は、前記2次元コードの各コードドットと各セクションとを対応させ、前記セクションの点滅パターンが当該セクションに対応するコードドットに応じて変化するように、前記映像信号を補正する、付記2に記載の映像表示装置。
[Appendix 3]
The superimposition data is represented by a two-dimensional code,
The control unit associates each code dot of the two-dimensional code with each section, and corrects the video signal so that the blinking pattern of the section changes according to the code dot corresponding to the section. 2. The video display device according to 2.
[付記4]
前記点滅パターンには、前記セクション内の互いに隣接する2つの隣接ドットの一方が点灯し他方が消灯するように、前記セクション内の各ドットが点滅する第1の点滅パターンと、前記セクション内の各ドットが一斉に点滅する第2の点滅パターンを有する、付記2または3に記載の映像表示装置。
[Appendix 4]
The blinking pattern includes a first blinking pattern in which each dot in the section blinks, so that one of two adjacent dots in the section that are adjacent to each other is turned on and the other is turned off. 4. The video display device according to
[付記5]
付記1ないし4のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する取得部と、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳用データを読み取る管理部と、を有する撮影装置。
[Appendix 5]
An acquisition unit that captures a superimposed image displayed by the video display device according to any one of
And a management unit that analyzes luminance of dots forming the captured image and reads data for superimposition superimposed on the superimposed video from the captured image.
[付記6]
表示部と、
使用者の属性を特定する識別情報を記憶する記憶部と、をさらに有し、
前記重畳データでは、複数の部分データのそれぞれが前記識別情報と対応付けられ、
前記管理部は、前記記憶部に記憶されている識別情報と同じ識別情報に対応する部分データを前記表示部に表示する、付記5に記載の撮影装置。
[Appendix 6]
A display unit;
A storage unit that stores identification information that identifies the user's attributes;
In the superimposed data, each of a plurality of partial data is associated with the identification information,
The imaging apparatus according to appendix 5, wherein the management unit displays partial data corresponding to the same identification information as the identification information stored in the storage unit on the display unit.
[付記7]
付記1ないし4のいずれかに記載の映像表示装置と、付記5または6に記載の撮影装置とを有する映像システム。
[Appendix 7]
A video system comprising the video display device according to any one of
[付記8]
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成し、
前記重畳映像信号が示す重畳映像を表示する、表示方法。
[Appendix 8]
The video signal is corrected so that dots forming the video corresponding to the video signal blink according to the superimposition data, and a superimposed video signal indicating the superimposed video in which the superposition data is superimposed on the video is generated. And
A display method for displaying a superimposed video indicated by the superimposed video signal.
[付記9]
付記1ないし4のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得し、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る、情報読取方法。
[Appendix 9]
Shooting the superimposed video displayed on the video display device according to any one of
An information reading method for analyzing luminance of dots forming the captured image and reading superimposed data superimposed on the superimposed video from the captured image.
[付記10]
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する処理と、
前記重畳映像信号が示す重畳映像を表示する処理と、をコンピュータに実行させるプログラム。
[Appendix 10]
The video signal is corrected so that dots forming the video corresponding to the video signal blink according to the superimposition data, and a superimposed video signal indicating the superimposed video in which the superposition data is superimposed on the video is generated. Processing to
A program for causing a computer to execute a process of displaying a superimposed video indicated by the superimposed video signal.
[付記11]
付記1ないし4のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する処理と、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る処理と、をコンピュータに実行させるプログラム。
[Appendix 11]
A process of capturing a superimposed image displayed by the video display device according to any one of
A program for causing a computer to execute processing of analyzing luminance of dots forming the captured image and reading superimposed data superimposed on the superimposed video from the captured image.
10 投影機
11 CPU
12、102 映像表示部
12A LED部
12B 表示素子
12C レンズ部
2 撮影機
21 キー操作部
22 カメラ部
23、202 管理部
24 表示部
25 記憶部
100 映像表示装置
101 制御部
200 撮影装置
201 取得部
10
DESCRIPTION OF
Claims (10)
前記重畳映像信号が示す重畳映像を表示する映像表示部と、を有する映像表示装置。 The video signal is corrected so that dots forming the video corresponding to the video signal blink according to the superimposition data, and a superimposed video signal indicating the superimposed video in which the superposition data is superimposed on the video is generated. A control unit,
A video display unit configured to display a superimposed video indicated by the superimposed video signal.
前記制御部は、前記2次元コードの各コードドットと各セクションとを対応させ、前記セクションの点滅パターンが当該セクションに対応するコードドットに応じて変化するように、前記映像信号を補正する、請求項2に記載の映像表示装置。 The superimposition data is represented by a two-dimensional code,
The control unit associates each code dot of the two-dimensional code with each section, and corrects the video signal so that the blinking pattern of the section changes according to the code dot corresponding to the section. Item 3. The video display device according to Item 2.
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳用データを読み取る管理部と、を有する撮影装置。 An acquisition unit that acquires the captured image by capturing the superimposed image displayed by the image display device according to claim 1;
And a management unit that analyzes luminance of dots forming the captured image and reads data for superimposition superimposed on the superimposed video from the captured image.
前記重畳映像信号が示す重畳映像を表示する、表示方法。 The video signal is corrected so that dots forming the video corresponding to the video signal blink according to the superimposition data, and a superimposed video signal indicating the superimposed video in which the superposition data is superimposed on the video is generated. And
A display method for displaying a superimposed video indicated by the superimposed video signal.
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る、情報読取方法。 Shooting the superimposed video displayed by the video display device according to any one of claims 1 to 4 to obtain a captured image;
An information reading method for analyzing luminance of dots forming the captured image and reading superimposed data superimposed on the superimposed video from the captured image.
前記重畳映像信号が示す重畳映像を表示する処理と、をコンピュータに実行させるプログラム。 The video signal is corrected so that dots forming the video corresponding to the video signal blink according to the superimposition data, and a superimposed video signal indicating the superimposed video in which the superposition data is superimposed on the video is generated. Processing to
A program for causing a computer to execute a process of displaying a superimposed video indicated by the superimposed video signal.
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る処理と、をコンピュータに実行させるプログラム。 A process of capturing a superimposed image displayed on the image display device according to claim 1 to acquire a captured image;
A program for causing a computer to execute processing of analyzing luminance of dots forming the captured image and reading superimposed data superimposed on the superimposed video from the captured image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011121873A JP2012249257A (en) | 2011-05-31 | 2011-05-31 | Video display device, photographing device, video system, display method, information reading method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011121873A JP2012249257A (en) | 2011-05-31 | 2011-05-31 | Video display device, photographing device, video system, display method, information reading method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012249257A true JP2012249257A (en) | 2012-12-13 |
Family
ID=47469236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011121873A Withdrawn JP2012249257A (en) | 2011-05-31 | 2011-05-31 | Video display device, photographing device, video system, display method, information reading method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012249257A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016066957A (en) * | 2014-09-25 | 2016-04-28 | 池上通信機株式会社 | Optical wireless communication apparatus, optical wireless communication method, and optical wireless communication system |
-
2011
- 2011-05-31 JP JP2011121873A patent/JP2012249257A/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016066957A (en) * | 2014-09-25 | 2016-04-28 | 池上通信機株式会社 | Optical wireless communication apparatus, optical wireless communication method, and optical wireless communication system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107077630B (en) | Image processing apparatus, method of synthesizing mark image, and method of detecting mark | |
| CN112074877B (en) | Marker-based augmented reality system and method | |
| US9036943B1 (en) | Cloud-based image improvement | |
| RU2689136C2 (en) | Automated determination of system behavior or user experience by recording, sharing and processing information associated with wide-angle image | |
| JP6165459B2 (en) | Method for correcting user's line of sight in video, machine-readable storage medium, and portable terminal | |
| US9135490B1 (en) | Communication system, image pickup device, program, and communication method | |
| US10379610B2 (en) | Information processing device and information processing method | |
| US9807300B2 (en) | Display apparatus for generating a background image and control method thereof | |
| US20150085155A1 (en) | Image capture input and projection output | |
| CN108762501B (en) | AR display method, smart terminal, AR device and system | |
| US10019639B2 (en) | Determining a boundary associated with image data | |
| JP2015060012A (en) | Image processing system, image processing apparatus, image processing method, image processing program, and display system | |
| US11889083B2 (en) | Image display method and device, image recognition method and device, storage medium, electronic apparatus, and image system | |
| TWI608428B (en) | Image processing system for generating corresponding information by image recognition and related method | |
| KR20170001223A (en) | Information extracting system, information extracting apparatus, information extracting method of thereof and non-transitory computer readable medium | |
| US20170126966A1 (en) | Photography method using gaze detection | |
| JP2020182246A (en) | Information processing equipment, control methods, and programs | |
| KR20110072108A (en) | Vision-based Augmented Reality Implementation System Using Mobile Terminal with Tag | |
| JP2012249257A (en) | Video display device, photographing device, video system, display method, information reading method, and program | |
| JP2016091193A (en) | Image processor, image processing method and program | |
| US20120050302A1 (en) | Method and apparatus for enhancing a white-board | |
| JP2017072945A (en) | Image processing apparatus and image processing method | |
| KR101525409B1 (en) | Augmented method of contents using image-cognition modules | |
| KR101488647B1 (en) | Virtual illumination of operating method and apparatus for mobile terminal | |
| JP6508730B2 (en) | Light emission marker device, marker detection device, transmission system, marker light emission method, marker detection method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140805 |