JP2012249257A - Video display device, photographing device, video system, display method, information reading method, and program - Google Patents

Video display device, photographing device, video system, display method, information reading method, and program Download PDF

Info

Publication number
JP2012249257A
JP2012249257A JP2011121873A JP2011121873A JP2012249257A JP 2012249257 A JP2012249257 A JP 2012249257A JP 2011121873 A JP2011121873 A JP 2011121873A JP 2011121873 A JP2011121873 A JP 2011121873A JP 2012249257 A JP2012249257 A JP 2012249257A
Authority
JP
Japan
Prior art keywords
video
superimposed
data
video signal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011121873A
Other languages
Japanese (ja)
Inventor
Naohide Aizawa
直秀 相沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Casio Mobile Communications Ltd
Original Assignee
NEC Casio Mobile Communications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Casio Mobile Communications Ltd filed Critical NEC Casio Mobile Communications Ltd
Priority to JP2011121873A priority Critical patent/JP2012249257A/en
Publication of JP2012249257A publication Critical patent/JP2012249257A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a video system capable of acquiring non-image data when acquiring an image, even if special hardware is not provided.SOLUTION: A CPU 11 corrects a video signal such that dots forming a video corresponding to the video signal flicker according to data for superimposition, thereby generating a superimposed video signal for indicating a superimposed video in which the data for superimposition is superimposed on the video. A video display part 12 displays the superimposed video indicated by the superimposed video signal.

Description

本発明は、映像にデータを重畳させる技術に関する。   The present invention relates to a technique for superimposing data on a video.

被写体を撮影して画像を取得する撮影装置の分野では、赤外線や光無線通信などを利用して、画像の取得時に、その画像に関連する関連データなどのデータをさらに取得する技術が提案されている。   In the field of imaging devices that capture an image by photographing a subject, a technique has been proposed in which data such as related data related to the image is further acquired when the image is acquired using infrared or optical wireless communication. Yes.

例えば、特許文献1には、赤外線を発生させる赤外線発光物質で描かれた赤外線マーカーを有する追跡対象体からの光を赤外線と可視光線とに分離して取得し、可視光線に応じた映像と赤外線に応じたデータとを重畳させて表示する拡張リアリティシステム(AR:Augmented Reality)が記載されている。   For example, in Patent Document 1, light from a tracking target having an infrared marker drawn with an infrared light emitting material that generates infrared light is acquired separately from infrared light and visible light, and an image and infrared light corresponding to visible light are obtained. An augmented reality system (AR) that superimposes and displays data corresponding to the data is described.

また、特許文献2には、被写体を撮影して画像を取得するとともに、その被写体の近傍に配置された光源が光無線通信を用いて送信したデータを取得して、画像とデータとを同時に表示する撮影装置が記載されている。   Patent Document 2 captures an image by capturing an image of a subject, acquires data transmitted by a light source disposed in the vicinity of the subject using optical wireless communication, and simultaneously displays the image and the data. An imaging device is described.

また、特許文献3には、被写体を撮影することで取得した画像を解析して、その画像から建造物などの特徴部分を抽出し、さらに、その特徴部分に関連したデータを通信ネットワーク上の端末などから取得する重畳情報提示装置が記載されている。   Further, Patent Document 3 analyzes an image acquired by photographing a subject, extracts a feature portion such as a building from the image, and further transmits data related to the feature portion to a terminal on a communication network. The superimposition information presentation apparatus acquired from the above is described.

特表2008−508591号公報Special table 2008-508591 特開2011−009804号公報JP 2011-009804 A 再特WO2008/016083号公報Re-specialized WO2008 / 016083

特許文献1〜3に記載の技術を用いて画像とは別のデータを取得するためには、特別なハードウェアが必要になるという問題がある。   In order to acquire data different from an image using the techniques described in Patent Documents 1 to 3, there is a problem that special hardware is required.

例えば、特許文献1に記載の拡張リアリティシステムでは、赤外線と可視光線を分離するための光学部材が必要となる。また、特許文献2に記載の撮影装置では、光無線通信が可能な光源が必要であり、さらには、撮影装置に光無線通信を行う受信機が必要となる。また、特許文献3に記載の重畳情報提示装置では、通信ネットワークと接続するための通信装置が必要となる。   For example, the extended reality system described in Patent Document 1 requires an optical member for separating infrared light and visible light. In addition, the imaging device described in Patent Document 2 requires a light source capable of optical wireless communication, and further requires a receiver that performs optical wireless communication for the imaging device. Moreover, in the superimposition information presentation apparatus described in Patent Document 3, a communication apparatus for connecting to a communication network is required.

なお、特許文献3に記載の重畳情報提示装置が取得できるデータは、映像の特徴部分に関連したデータに限られているため、映像の閲覧者に対してデータの提供者が所望のデータを必ずしも取得させることができないという問題もある。   Note that the data that can be acquired by the superimposition information presentation device described in Patent Document 3 is limited to data related to the characteristic portion of the video, and therefore the data provider does not necessarily provide the desired data to the viewer of the video. There is also a problem that it cannot be acquired.

本発明の目的は、特別なハードウェアがなくても、画像の取得時に画像とは別のデータを取得することが可能な映像表示装置、撮影装置、映像システム、表示方法、情報読取方法およびプログラムを提供することである。   An object of the present invention is to provide a video display device, a photographing device, a video system, a display method, an information reading method, and a program capable of acquiring data different from an image when acquiring an image without special hardware. Is to provide.

本発明による映像表示装置は、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する制御部と、前記重畳映像信号が示す重畳映像を表示する映像表示部と、を有する。   The video display device according to the present invention corrects the video signal so that dots forming a video corresponding to the video signal blink according to the superimposition data, and the superimposition in which the superimposition data is superimposed on the video. A control unit that generates a superimposed video signal indicating a video; and a video display unit that displays the superimposed video indicated by the superimposed video signal.

本発明による撮影装置は、前記映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する取得部と、前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る管理部と、を有する。   The imaging device according to the present invention, an acquisition unit that acquires the captured image by capturing the superimposed video displayed on the video display device, and the brightness of the dots forming the captured image, And a management unit that reads the superimposed data superimposed on the superimposed video.

本発明による映像システムは、前記映像表示装置と前記撮影装置とを有する。   The video system according to the present invention includes the video display device and the photographing device.

本発明による表示方法は、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成し、前記重畳映像信号が示す重畳映像を表示する。   The display method according to the present invention corrects the video signal so that dots forming the video corresponding to the video signal blink according to the superposition data, and the superimposed video in which the superposition data is superimposed on the video. Is generated, and the superimposed video indicated by the superimposed video signal is displayed.

本発明による情報読取方法は、前記映像表示装置にて表示された重畳映像を撮影して撮影画像を取得し、前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る。   In the information reading method according to the present invention, the superimposed video displayed on the video display device is photographed to obtain a photographed image, the luminance of the dots forming the photographed image is analyzed, and the superimposed video is obtained from the photographed image. The superimposed data superimposed on is read.

本発明による第1のプログラムは、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する処理と、前記重畳映像信号が示す重畳映像を表示する処理と、をコンピュータに実行させる。   The first program according to the present invention corrects the video signal so that dots forming a video corresponding to the video signal blink according to the superimposition data, and the superimposition data is superimposed on the video. A computer is caused to execute a process of generating a superimposed video signal indicating a superimposed video and a process of displaying the superimposed video indicated by the superimposed video signal.

本発明による第2のプログラムは、前記映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する処理と、前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る処理と、をコンピュータに実行させる。   A second program according to the present invention is a method for capturing a captured image by capturing a superimposed image displayed on the image display device, analyzing a luminance of dots forming the captured image, and analyzing the luminance from the captured image. And causing the computer to execute a process of reading the superimposed data superimposed on the superimposed video.

本発明によれば、特別なハードウェアがなくても、画像の取得時に画像とは別のデータを取得することが可能になる。   According to the present invention, it is possible to acquire data different from an image when acquiring an image without special hardware.

本発明の第1の実施形態の映像システムを示す図である。It is a figure which shows the video system of the 1st Embodiment of this invention. 投影機の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of a projector. 撮影機の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of an imaging device. 映像内の各ドットの点滅パターンと撮影画像の各撮影ドットの対応関係の一例を説明するための図である。It is a figure for demonstrating an example of the correspondence of the blink pattern of each dot in an image | video, and each imaging | photography dot of a picked-up image. 2次元コード、セクションおよび点滅パターンの対応関係の一例を示す図である。It is a figure which shows an example of the correspondence of a two-dimensional code, a section, and a blink pattern. 映像とデータの一例を示す図である。It is a figure which shows an example of an image | video and data. 撮影機の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of an imaging device. 差分画像を説明するための図である。It is a figure for demonstrating a difference image. 本発明の第2の実施形態の映像システムを示す図である。It is a figure which shows the video system of the 2nd Embodiment of this invention.

以下、本発明の実施形態について図面を参照して説明する。なお、以下の説明では、同じ機能を有するものには同じ符号を付け、その説明を省略する場合がある。   Embodiments of the present invention will be described below with reference to the drawings. In the following description, components having the same function may be denoted by the same reference numerals and description thereof may be omitted.

図1は、本発明の第1の実施形態の映像システムを示す図である。図1において、映像システムは、投影機10と、撮影機20とを有する。   FIG. 1 is a diagram showing a video system according to a first embodiment of the present invention. In FIG. 1, the video system includes a projector 10 and a photographing machine 20.

投影機10は、映像を表示する映像表示装置であり、より具体的には、スクリーンのような投射面30に映像を投影して表示するプロジェクタである。撮影機20は、周囲を撮影して撮影画像を取得する撮影装置である。   The projector 10 is a video display device that displays video, and more specifically, is a projector that projects and displays video on a projection surface 30 such as a screen. The photographing machine 20 is a photographing device that photographs the surroundings and acquires a photographed image.

図2は、投影機10の構成の一例を示すブロック図である。図2において、投影機10は、CPU11と、映像表示部12とを有する。   FIG. 2 is a block diagram illustrating an example of the configuration of the projector 10. In FIG. 2, the projector 10 includes a CPU 11 and a video display unit 12.

CPU11は、プログラムにて制御されることで、下記の機能を実現する制御部である。   The CPU 11 is a control unit that realizes the following functions by being controlled by a program.

CPU11には、パーソナルコンピュータのような外部装置(不図示)から、複数のドットで形成される映像を示す映像信号と、その映像信号に重畳するデータを示すデータ信号とが入力される。   The CPU 11 receives a video signal indicating an image formed by a plurality of dots and a data signal indicating data to be superimposed on the video signal from an external device (not shown) such as a personal computer.

CPU11は、データ信号にて示されるデータに応じて、映像信号が示す映像を形成するドットである映像ドットが点滅するように、映像信号をデータに基づいて補正して、データが重畳された映像である重畳映像を示す重畳映像信号を生成する。なお、データ信号にて示されるデータは、重畳用データの一例である。   The CPU 11 corrects the video signal based on the data so that the video dot which is the dot forming the video indicated by the video signal flashes in accordance with the data indicated by the data signal, and the video on which the data is superimposed A superimposed video signal indicating the superimposed video is generated. The data indicated by the data signal is an example of superimposition data.

映像表示部12は、CPU11にて生成された重畳映像信号に基づいて、重畳映像信号が示す重畳映像を投射面30に投影して表示する。   The video display unit 12 projects and displays the superimposed video indicated by the superimposed video signal on the projection surface 30 based on the superimposed video signal generated by the CPU 11.

より具体的には、映像表示部12は、LED(Light Emitting Diode)部12Aと、表示素子12Bと、レンズ部12Cとを有する。   More specifically, the video display unit 12 includes an LED (Light Emitting Diode) unit 12A, a display element 12B, and a lens unit 12C.

LED部12Aは、表示素子12Bに光を入射させる光源である。表示素子12Bは、LED部12Aからの光を重畳映像信号に応じて変調して、レンズ部12Cを介して投射面30に投影することで、重畳映像を投射面30に表示する。なお、光源は、LEDに限らず、適宜変更可能である。また、表示素子12Bとしては、例えば、液晶パネルなどが挙げられる。   The LED unit 12A is a light source that causes light to enter the display element 12B. The display element 12B modulates the light from the LED unit 12A according to the superimposed video signal and projects the light onto the projection surface 30 via the lens unit 12C, thereby displaying the superimposed image on the projection surface 30. The light source is not limited to the LED, and can be changed as appropriate. Examples of the display element 12B include a liquid crystal panel.

図3は、撮影機20の構成の一例を示すブロック図である。図3において、撮影機20は、キー操作部21と、カメラ部22と、管理部23と、表示部24と、記憶部25とを有する。   FIG. 3 is a block diagram illustrating an example of the configuration of the photographing device 20. In FIG. 3, the photographing machine 20 includes a key operation unit 21, a camera unit 22, a management unit 23, a display unit 24, and a storage unit 25.

キー操作部21は、ユーザからの種々の操作を検知する。例えば、キー操作部21は、所定のキーの押下を、撮影を開始するための撮影開始操作として検知する。   The key operation unit 21 detects various operations from the user. For example, the key operation unit 21 detects pressing of a predetermined key as a shooting start operation for starting shooting.

カメラ部22は、キー操作部21にて撮影開始操作が検知されると、周囲を撮影して撮影画像を取得する映像取得部である。以下では、カメラ部22は、投影機10が投射面30に表示した重畳映像を撮影して、重畳映像を示す撮影画像を取得するものとする。   The camera unit 22 is a video acquisition unit that captures an image of the surroundings and acquires a captured image when a shooting start operation is detected by the key operation unit 21. In the following, it is assumed that the camera unit 22 captures a superimposed image displayed on the projection surface 30 by the projector 10 and acquires a captured image indicating the superimposed image.

管理部23は、例えば、CPUなどの演算装置やメモリなどの記録装置で構成される。また、管理部23は、カメラ部22で取得された撮影画像を形成する撮影ドットの輝度を解析して、重畳映像に重畳されているデータを撮影画像から読み取り、その読み取ったデータと撮影画像を表示部24に表示する。   For example, the management unit 23 includes an arithmetic device such as a CPU and a recording device such as a memory. Further, the management unit 23 analyzes the luminance of the shooting dots forming the shot image acquired by the camera unit 22, reads the data superimposed on the superimposed video from the shot image, and reads the read data and the shot image. It is displayed on the display unit 24.

記憶部25は、種々の情報を記憶する。例えば、記憶部25は、撮影機20の使用者の属性を特定する識別情報であるグループIDを記憶する。属性としては、例えば、所属会社、年齢および性別などが挙げられる。   The storage unit 25 stores various information. For example, the storage unit 25 stores a group ID that is identification information that identifies the attribute of the user of the photographing machine 20. Examples of the attribute include the company to which the user belongs, age, and sex.

以下、データの重畳と読み取りについてより詳細に説明する。なお、本実施形態におけるデータの重畳と読み取りは、肉眼で発生する残存現象と、投影機10および撮影機20の解像度および処理速度の相違を利用するものである。   Hereinafter, data superposition and reading will be described in more detail. Note that the superimposing and reading of data in the present embodiment uses the residual phenomenon that occurs with the naked eye and the difference in resolution and processing speed between the projector 10 and the photographing device 20.

上述したように投影機10において、CPU11は、映像信号が示す映像を形成する映像ドットがデータに応じて点滅するように、映像信号をデータに基づいて補正する。   As described above, in the projector 10, the CPU 11 corrects the video signal based on the data so that the video dots forming the video indicated by the video signal blink according to the data.

このとき、CPU11は、複数の映像ドットで形成された複数のセクションで映像が区切られ、そのセクション単位で、セクション内の各映像ドットが点滅する点滅パターンが変化するように、映像信号をデータに応じて補正する。   At this time, the CPU 11 uses the video signal as data so that the video is divided by a plurality of sections formed by a plurality of video dots, and the blinking pattern in which each video dot in the section blinks changes for each section. Correct accordingly.

なお、映像は、水平方向および垂直方向のそれぞれに映像ドットが並んだドットマトリックスで形成されているものとし、セクションは、映像の水平方向および垂直方向のそれぞれについて、連続した複数の映像ドットを有するものとしている。   The video is formed of a dot matrix in which video dots are arranged in the horizontal direction and the vertical direction, respectively, and the section has a plurality of continuous video dots in each of the horizontal direction and the vertical direction of the video. It is supposed to be.

また、CPU11は、全ての点滅パターンにおいて、表示された重畳映像の各表示ドットが人間には連続して点灯していると視認されるような点滅速度で点滅するように、映像信号を補正するものとする。この場合、人間には、各表示ドットが点灯時の輝度と消灯時の輝度との中間の輝度で連続して点灯されているように認識される。このため、人間に認識される、映像信号に応じた元の映像の各映像ドットの輝度と、重畳映像を形成する各表示ドットの輝度との差異ができるだけ小さくするために、CPU11は、重畳映像内の点灯時の各表示ドットの輝度が元の映像ドットの輝度よりも高くなるように、映像信号を補正することが望ましい。   Further, the CPU 11 corrects the video signal so that each display dot of the displayed superimposed video blinks at a blinking speed so that it can be visually recognized that it is continuously lit by humans in all blink patterns. Shall. In this case, it is recognized by human beings that each display dot is continuously lit at an intermediate luminance between the luminance at the time of lighting and the luminance at the time of extinction. Therefore, in order to minimize the difference between the luminance of each video dot of the original video corresponding to the video signal and the luminance of each display dot forming the superimposed video, which is recognized by humans, the CPU 11 It is desirable to correct the video signal so that the brightness of each display dot when it is lit is higher than the brightness of the original video dot.

一方、撮影機20のカメラ部22にて撮影画像を取得する認識速度は、重畳映像内の各各表示ドットの点滅を認識できる速度であるとする。また、カメラ部22は、重畳映像の各表示ドットを個別に認識できず、重畳映像内の1セクションが、撮影画像の1撮影ドットとなるような解像度を有するものとする。   On the other hand, it is assumed that the recognition speed at which a captured image is acquired by the camera unit 22 of the photographing machine 20 is a speed at which blinking of each display dot in the superimposed video can be recognized. In addition, the camera unit 22 cannot recognize each display dot of the superimposed video individually, and has a resolution such that one section in the superimposed video becomes one shooting dot of the captured image.

図4は、重畳映像の各表示ドットの点滅パターンと撮影画像の各撮影ドットとの対応関係の一例を説明するための図である。なお、図4では、セクションは、重畳映像の水平方向および垂直方向のそれぞれについて2表示ドットずつ有するものとしている。   FIG. 4 is a diagram for explaining an example of the correspondence relationship between the blinking pattern of each display dot of the superimposed video and each shooting dot of the shot image. In FIG. 4, the section has two display dots for each of the horizontal direction and the vertical direction of the superimposed video.

図4では、点滅パターンとして、第1の点滅パターンである点滅パターンAと、第2の点滅パターンである点滅パターンBの2種類のパターンがある。   In FIG. 4, there are two types of blinking patterns: a blinking pattern A that is a first blinking pattern and a blinking pattern B that is a second blinking pattern.

点滅パターンAは、セクション内の互いに隣接する2つの隣接ドットの点灯状態が反転しているパターンである。つまり、点滅パターンAでは、隣接ドットの一方が点灯し、隣接ドットの他方が消灯するように、セクション内の各表示ドットが点滅する。   The blinking pattern A is a pattern in which lighting states of two adjacent dots adjacent to each other in the section are reversed. That is, in the blink pattern A, each display dot in the section blinks so that one of the adjacent dots is turned on and the other of the adjacent dots is turned off.

したがって、重畳映像の1セクションが撮影画像の1撮影ドットとなるので、点滅パターンAのセクションは、撮影画像では、点灯している表示ドットと消灯している表示ドットとが合わさって、表示ドットの点灯時の輝度に対応する高輝度と、表示ドットの消灯時の輝度に対応する低輝度との中間の輝度である中間輝度を有する撮影ドットとなる。   Accordingly, since one section of the superimposed image becomes one shooting dot of the captured image, the section of the blinking pattern A is the combination of the display dot that is turned on and the display dot that is turned off in the captured image. This is a shooting dot having an intermediate luminance that is an intermediate luminance between a high luminance corresponding to the luminance at the time of lighting and a low luminance corresponding to the luminance at the time of turning off the display dot.

一方、点滅パターンBは、セクション内の全ての表示ドットの点灯状態が同じになるパターンである。つまり、点滅パターンBでは、セクション内の全ての表示ドットが同時に点滅する。   On the other hand, the blinking pattern B is a pattern in which the lighting states of all display dots in the section are the same. That is, in the blink pattern B, all display dots in the section blink simultaneously.

したがって、点滅パターンBのセクションは、撮影画像では、点灯している表示ドットだけが合わさるか、または、消灯している表示ドットだけが合わさるので、撮影画像では、表示ドットの点灯時の輝度に対応する高輝度、または、表示ドットの消灯時の輝度に対応する低輝度を有する撮影ドットとなる。   Therefore, the section of the blinking pattern B corresponds to the brightness when the display dots are lit in the captured image because only the display dots that are lit or only the display dots that are turned off are aligned in the captured image. The shooting dots have high brightness or low brightness corresponding to the brightness when the display dots are turned off.

この場合、撮影機20の管理部23は、撮影画像の各撮影ドットの輝度を解析して、撮影画像から重畳データを読み取る。   In this case, the management unit 23 of the photographing machine 20 analyzes the luminance of each photographing dot of the photographed image and reads the superimposed data from the photographed image.

データの重畳と読み取りの具体的を説明する。   The specifics of data superposition and reading will be described.

以下では、データ信号が示すデータは、QRコード(登録商標)のような2次元のドットパターンである2次元コードの形式で表現されているものとする。また、2次元コードは、黒レベルのコードドットと白レベルのコードドットで構成されているものとする。   In the following, it is assumed that the data indicated by the data signal is expressed in the form of a two-dimensional code that is a two-dimensional dot pattern such as a QR code (registered trademark). The two-dimensional code is composed of black level code dots and white level code dots.

データが2次元コードで表現されている場合、CPU11は、2次元コードの各コードドットと、映像信号が示す映像の各セクションとを対応させ、各セクションの点滅パターンがそのセクションに対応するコードドットに応じて変化するように、映像信号を補正する。   When the data is represented by a two-dimensional code, the CPU 11 associates each code dot of the two-dimensional code with each section of the video indicated by the video signal, and the blink pattern of each section corresponds to the code dot corresponding to that section. The video signal is corrected so as to change in accordance with.

図5は、2次元コード、セクションおよび点滅パターンの対応関係の一例を示す図である。   FIG. 5 is a diagram illustrating an example of a correspondence relationship between a two-dimensional code, a section, and a blinking pattern.

図5では、映像内の4つのセクション1〜4と、そのセクションに対応する2次元コードが示されている。また、セクション1に対応するコードドットが白レベルであり、セクション2〜4のそれぞれに対応するコードドットが黒レベルである。   FIG. 5 shows four sections 1 to 4 in the video and a two-dimensional code corresponding to the sections. The code dots corresponding to section 1 are at the white level, and the code dots corresponding to sections 2 to 4 are at the black level.

このとき、例えば、CPU11は、白レベルのコードドットに対応するセクション1が点滅パターンAで点滅し、黒レベルのコードドットに対応するセクション2〜4のそれぞれが点滅パターンBで点滅するように、映像信号を補正することで、重畳映像信号を生成する。   At this time, for example, the CPU 11 causes the section 1 corresponding to the white level code dots to flash with the flashing pattern A and the sections 2 to 4 corresponding to the black level code dots to flash with the flashing pattern B. A superimposed video signal is generated by correcting the video signal.

撮影機20のカメラ部22は、重畳映像の1セッションを1撮影ドットとして認識するので、上記のように生成された重畳映像信号に応じた重畳映像を撮影すると、図4に示すように、点滅パターンAのセクションは、撮影画像では、中間輝度を有する撮影ドットとなり、点滅パターンBのセクションは、撮影画像では、低輝度または高輝度を有する撮影ドットとなる。このため、セクション1に対応する撮影ドットの輝度は、中間輝度となり、セクション2〜4のそれぞれに対応する撮影ドットの輝度は、低輝度または高輝度となる。   Since the camera unit 22 of the photographing machine 20 recognizes one session of the superimposed video as one shooting dot, when the superimposed video corresponding to the superimposed video signal generated as described above is shot, as shown in FIG. The section of the pattern A is a shooting dot having intermediate luminance in the captured image, and the section of the blinking pattern B is a shooting dot having low luminance or high luminance in the captured image. For this reason, the luminance of the shooting dots corresponding to section 1 is intermediate luminance, and the luminance of the shooting dots corresponding to each of sections 2 to 4 is low luminance or high luminance.

管理部23は、撮影画像の各ドットの輝度を解析して、中間輝度の撮影ドットを2次元コードにおける白レベルのコードドットとみなし、低輝度または高輝度の撮影ドットを2次元コードにおける黒レベルのコードドットとみなすことで、撮影画像から2次元コードを読み取る。そして、管理部23は、2次元コードをデコードして元のデータを取得し、そのデータと撮影画像とを表示部24に表示する。   The management unit 23 analyzes the luminance of each dot of the photographed image, regards the medium luminance photographing dot as the white level code dot in the two-dimensional code, and treats the low-luminance or high-luminance photographing dot as the black level in the two-dimensional code. The two-dimensional code is read from the photographed image by regarding it as a code dot. The management unit 23 decodes the two-dimensional code to acquire original data, and displays the data and the captured image on the display unit 24.

図6は、映像とデータの一例を示す図である。   FIG. 6 is a diagram illustrating an example of video and data.

図6の例では、映像信号が示す映像は、図6(a)に示すように、棒グラフの座標軸であるフレームのみを表す。また、データ信号が示すデータは、棒グラフの棒であるグラフ本体を有する。より具体的には、データは、図6(b1)および図6(b2)の実線で示すように、2種類のグラフ本体を有し、各グラフ本体には、撮影機20の使用者を特定する識別情報が対応付けられている。さらに、データは、2次元コードの形式で表されている。この場合、映像とデータとが重畳された重畳映像は、図6(c)に示すように、点灯している表示ドットと消灯している表示ドットとで形成される。   In the example of FIG. 6, the video indicated by the video signal represents only the frame that is the coordinate axis of the bar graph, as shown in FIG. The data indicated by the data signal has a graph body that is a bar of a bar graph. More specifically, the data has two types of graph bodies as indicated by the solid lines in FIG. 6 (b1) and FIG. 6 (b2), and each graph body identifies the user of the camera 20 Identification information to be associated with each other. Furthermore, the data is represented in the form of a two-dimensional code. In this case, a superimposed image in which the image and data are superimposed is formed with display dots that are lit and display dots that are not lit as shown in FIG.

しかしながら、重畳映像の点滅は人間には認識されないので、人間には、図6(a)で示したように、フレームのみが認識される。   However, since blinking of the superimposed video is not recognized by humans, only humans can recognize the frames as shown in FIG.

一方、撮影機20では、重畳映像の点滅が認識され、重畳映像の1セクションが撮影機20の1撮影ドットとなるので、カメラ部22は、図6(d1)および図6(d2)で示すように、中間輝度の撮影ドットと低輝度または高輝度の撮影ドットで形成される撮影画像を取得する。管理部23は、中間輝度の撮影ドットが2次元コードの白レベルとみなし、低輝度または高輝度の撮影ドットが2次元コードの黒レベルと見なすことで、2次元コードを読み取り、その2次元コードをデコードして、2種類のグラフ本体を取得する。   On the other hand, since the camera 20 recognizes the blinking of the superimposed image and one section of the superimposed image becomes one shooting dot of the camera 20, the camera unit 22 is shown in FIGS. 6 (d1) and 6 (d2). In this way, a captured image formed by the intermediate luminance shooting dots and the low luminance or high luminance shooting dots is acquired. The management unit 23 reads the two-dimensional code by regarding the intermediate luminance shooting dot as the white level of the two-dimensional code and regarding the low luminance or high luminance shooting dot as the black level of the two-dimensional code. To obtain two types of graph bodies.

そして、管理部23は、記憶部25に記憶されている識別情報と同じ識別情報と対応付けられているグラフ本体を、撮影画像に重ね合わせて表示部23に表示する。   Then, the management unit 23 displays the graph body associated with the same identification information as the identification information stored in the storage unit 25 on the display unit 23 so as to be superimposed on the captured image.

このとき、撮影画像の各撮影ドットは、重畳映像と同様に高速で点滅しているので、人間には、図6(a)に示すように、棒グラフのフレームとして認識される。表示部23に表示される撮影画像は、グラフ本体が重ね合わされているので、人間には、図6(e1)または図6(e2)のようなフレームとグラフ本体とを有する画像として認識される。   At this time, each captured dot of the captured image blinks at high speed as in the superimposed image, so that it is recognized by a human as a bar graph frame as shown in FIG. Since the captured image displayed on the display unit 23 is superimposed on the graph body, a human recognizes it as an image having a frame and a graph body as shown in FIG. 6 (e1) or FIG. 6 (e2). .

次に本実施形態の映像システムの動作について説明する。   Next, the operation of the video system of this embodiment will be described.

なお、投影機10では、CPU11は、入力された映像信号およびデータ信号に基づいて、重畳映像信号を生成し、その重畳映像信号を映像表示部12の表示素子12Bに入力する。表示素子12Bは、光源12Aからの光を重畳映像信号に応じて変調して、レンズ部12Cを介して投射面30に投射して、投射面30に重畳映像を表示する。また、重畳映像全体がセクションに区切られており、各セクションの点滅パターンには、点滅パターンAおよびBがあるものとする。   In the projector 10, the CPU 11 generates a superimposed video signal based on the input video signal and data signal, and inputs the superimposed video signal to the display element 12 </ b> B of the video display unit 12. The display element 12B modulates light from the light source 12A according to the superimposed video signal, projects the light onto the projection surface 30 via the lens unit 12C, and displays the superimposed video on the projection surface 30. Also, it is assumed that the entire superimposed image is divided into sections, and the flashing patterns A and B are included in the flashing pattern of each section.

図7は、撮影機20の動作を説明するための図である。   FIG. 7 is a diagram for explaining the operation of the photographing device 20.

なお、撮影機20の使用者がカメラ部22を投射面30に向けて、撮影を開始するための撮影開始操作をキー操作部21に行う。キー操作部21は、撮影開始操作を検知し、開始操作検知信号を管理部23に出力する。管理部23は、開始操作検知信号を受け付けると、カメラ部22を駆動させる。   Note that the user of the photographing device 20 directs the camera unit 22 to the projection surface 30 and performs a photographing start operation on the key operation unit 21 to start photographing. The key operation unit 21 detects a shooting start operation and outputs a start operation detection signal to the management unit 23. Upon receiving the start operation detection signal, the management unit 23 drives the camera unit 22.

そして、カメラ部22は、重畳映像の各ドットの点滅を認識する速度で、重畳画像を繰り返し撮影し、その撮影画像を管理部23に出力する(ステップS701)。   Then, the camera unit 22 repeatedly captures the superimposed image at a speed for recognizing blinking of each dot of the superimposed video, and outputs the captured image to the management unit 23 (step S701).

管理部23は、撮影画像を受け付け、撮影画像内の各撮影ドットの輝度を解析して、各撮影ドットの輝度の分布である輝度分布(輝度ヒストグラム)を求める(ステップS702)。   The management unit 23 receives the captured image, analyzes the brightness of each captured dot in the captured image, and obtains a brightness distribution (a brightness histogram) that is a brightness distribution of each captured dot (step S702).

そして、管理部23は、輝度分布におけるピーク値が予め定められた閾値以上か否かを判断する(ステップS703)。撮影画像に重畳映像が映っている場合、重畳映像には点滅パターンBで点滅するドットが含まれており、撮影画像では、点滅パターンBは高輝度または低輝度の撮影ドットとなるため、輝度分布における高輝度領域または低輝度領域にピークが発生し、そのピーク値は比較的大きくなるので、ピーク値が閾値以上の場合、撮影画像に重畳映像が映っているとみなすことができる。   Then, the management unit 23 determines whether or not the peak value in the luminance distribution is greater than or equal to a predetermined threshold value (step S703). When the superimposed image is reflected in the captured image, the superimposed image includes dots that blink with the blinking pattern B. In the captured image, the blinking pattern B is a captured dot with high or low luminance. Since a peak occurs in a high-luminance region or a low-luminance region and the peak value is relatively large, it can be considered that a superimposed image is reflected in a captured image when the peak value is equal to or greater than a threshold value.

したがって、管理部23は、ピーク値が閾値未満の場合、管理部23は、撮影画像に重畳映像が映っていないと判断して、処理を終了し、ピーク値が閾値以上の場合、撮影画像に重畳映像が映っていると判断し、撮影画像から重畳データを読み取る読取処理を行う。   Therefore, when the peak value is less than the threshold value, the management unit 23 determines that the superimposed image is not shown in the captured image, and ends the process. When the peak value is equal to or greater than the threshold value, the management unit 23 It is determined that the superimposed video is reflected, and reading processing for reading the superimposed data from the captured image is performed.

読取処理では、先ず、管理部23は、輝度分布のピークが輝度分布の高輝度側にあるか否かを判断する(ステップS704)。より具体的には、管理部23は、ピークの輝度が所定輝度以上か否かを判断し、ピークの輝度が所定輝度以上の場合、ピークが高輝度側にあると判断し、ピークの輝度が所定輝度未満の場合、ピークが低輝度側にあると判断する。なお、所定輝度は、輝度分布の中央値または中央値近辺の値である。   In the reading process, first, the management unit 23 determines whether or not the peak of the luminance distribution is on the high luminance side of the luminance distribution (step S704). More specifically, the management unit 23 determines whether the peak luminance is equal to or higher than a predetermined luminance. If the peak luminance is equal to or higher than the predetermined luminance, the management unit 23 determines that the peak is on the high luminance side, and the peak luminance is If it is less than the predetermined luminance, it is determined that the peak is on the low luminance side. The predetermined luminance is a median value of the luminance distribution or a value near the median value.

ピークが低輝度側にある場合、管理部23は、第1の所定輝度範囲に含まれる輝度を低輝度とみなし、第1の所定輝度範囲より高輝度側にある第2の所定輝度範囲に含まれる輝度を中間輝度とみなす。そして、管理部23は、低輝度の撮影ドットを2次元コードにおける黒レベルのコードドットし、中間輝度の撮影ドットを2次元コードにおける白レベルのコードドットとすることで、撮影画像から2次元コードを復元する(ステップS705)。   When the peak is on the low luminance side, the management unit 23 regards the luminance included in the first predetermined luminance range as the low luminance, and includes it in the second predetermined luminance range on the higher luminance side than the first predetermined luminance range. Is considered as intermediate brightness. Then, the management unit 23 converts the low-brightness shooting dots into black-level code dots in the two-dimensional code, and sets the intermediate-brightness shooting dots as white-level code dots in the two-dimensional code, so that the two-dimensional code is obtained from the shot image. Is restored (step S705).

そして、管理部23は、その2次元コードをデコードしてデータを復元し、そのデータを撮影画像に重ね合わせて表示部24に表示する(ステップS706)。   Then, the management unit 23 decodes the two-dimensional code to restore data, and superimposes the data on the captured image and displays the data on the display unit 24 (step S706).

なお、データが、図6に示したグラフ本体のような複数の部分データを有し、各部分データが識別情報と対応付けられている場合、管理部23は、記憶部25に記憶されている識別情報と同じ識別情報と対応付けられている部分データを撮影画像に重ね合わせて表示部24に表示する。   When the data has a plurality of partial data such as the graph body shown in FIG. 6 and each partial data is associated with the identification information, the management unit 23 is stored in the storage unit 25. The partial data associated with the same identification information as the identification information is superimposed on the captured image and displayed on the display unit 24.

また、一般的に、QRコードなどの2次元コードでは、2次コードの領域を特定する位置検出パターンが四隅などに設けられており、2次元コードを読み取る読取装置では、撮影画像から位置検出パターンを判別し、その位置検出パターンに基づいて2次元コードをデコードしている。管理部23は、この一般的な読取装置と同様に、白レベルおよび黒レベルのコードドットのパターンから位置検出パターンを判別し、その位置検出パターンに基づいて、2次元コードの領域を特定して、2次元コードをデコードする。   In general, in a two-dimensional code such as a QR code, position detection patterns for specifying a secondary code area are provided at four corners. In a reading apparatus that reads a two-dimensional code, a position detection pattern is obtained from a captured image. The two-dimensional code is decoded based on the position detection pattern. The management unit 23 determines the position detection pattern from the white level and black level code dot patterns, and identifies the area of the two-dimensional code based on the position detection pattern, as in this general reading device. Decode the two-dimensional code.

ピークが高輝度側にある場合、撮影画像には、重畳映像における点滅パターンBで点滅しているドットの点灯状態が映されている。このため、撮影画像における高輝度の撮影ドットが2次元コードにおける黒レベルのコードドットとなるが、重畳映像における点灯しているドットの輝度は元の映像信号に依存するので、高輝度の撮影ドットを正確に判断できない可能性がある。   When the peak is on the high luminance side, the captured image shows the lighting state of the dots blinking in the blinking pattern B in the superimposed image. For this reason, a high-luminance shooting dot in the captured image becomes a black-level code dot in the two-dimensional code, but since the luminance of the lit dot in the superimposed image depends on the original video signal, the high-luminance shooting dot May not be accurately determined.

このため、ピークが高輝度側にある場合、管理部23は、高輝度のピークが明確か否かを判断する(ステップS707)。より具体的には、管理部23は、ピーク値が閾値より高い第2の閾値以上か否かを判断し、ピーク値が第2の閾値以上であると、ピークが明確であると判断し、ピーク値が第2の閾値未満であると、ピークが明確でないと判断する。   For this reason, when the peak is on the high luminance side, the management unit 23 determines whether the high luminance peak is clear (step S707). More specifically, the management unit 23 determines whether or not the peak value is equal to or higher than a second threshold value higher than the threshold value, and determines that the peak is clear when the peak value is equal to or higher than the second threshold value, If the peak value is less than the second threshold, it is determined that the peak is not clear.

ピークが明確な場合、管理部23は、撮影画像の輝度を反転させる。そして、第1の所定輝度範囲に含まれる輝度を低輝度とみなし、第2の所定輝度範囲に含まれる輝度を中間輝度とみなし、低輝度のドットを2次元コードにおける黒レベルのドットとし、高輝度のドットを2次元コードにおける白レベルのドットとして、2次元コードを復元する(ステップS708)。その後、管理部23は、ステップS706の処理を実行する。   When the peak is clear, the management unit 23 inverts the luminance of the captured image. Then, the luminance included in the first predetermined luminance range is regarded as low luminance, the luminance included in the second predetermined luminance range is regarded as intermediate luminance, the low luminance dot is a black level dot in the two-dimensional code, The two-dimensional code is restored by setting the luminance dot as the white level dot in the two-dimensional code (step S708). Thereafter, the management unit 23 executes the process of step S706.

一方、ピークが明確でない場合、管理部23は、現在の撮影画像の前のフレームである前フレーム画像が記憶部25に記憶されているか否かを判断する(ステップS709)。   On the other hand, when the peak is not clear, the management unit 23 determines whether or not a previous frame image that is a frame before the current captured image is stored in the storage unit 25 (step S709).

前フレーム画像が記憶されている場合、管理部23は、前フレーム画像の各ドットの輝度と、現在の撮影画像の各ドットの輝度の差分とをとった差分画像を生成する(ステップS710)。   When the previous frame image is stored, the management unit 23 generates a difference image that takes the luminance of each dot of the previous frame image and the luminance difference of each dot of the current photographed image (step S710).

図8は、差分画像を説明するための図である。図8に示すように、元の映像にデータが重畳され場合に、現在の撮影画像のピーク値の輝度が高輝度側にあると、前フレーム画像のピーク値の輝度は低輝度側にあることになる。また、中間輝度付近の輝度は、現在の撮影画像と前フレーム画像との間で差異はあまりない。このため、差分画像では、撮影画像および前フレーム画像の中間輝度付近の輝度は、低輝度となり、撮影画像の高輝度(前フレーム画像の低輝度)は、中間輝度となる。   FIG. 8 is a diagram for explaining the difference image. As shown in FIG. 8, when data is superimposed on the original video, if the luminance of the peak value of the current captured image is on the high luminance side, the luminance of the peak value of the previous frame image is on the low luminance side. become. Further, the brightness near the intermediate brightness is not significantly different between the current captured image and the previous frame image. For this reason, in the difference image, the luminance near the intermediate luminance between the captured image and the previous frame image is low, and the high luminance of the captured image (low luminance of the previous frame image) is the intermediate luminance.

よって、管理部23は、差分画像の中間輝度のドットを2次元コードにおける黒レベルのコードドットとし、差分画像の低輝度のドットを2次元コードにおける白レベルのドットとし、差分画像の中間輝度のドットを2次元コードにおける黒レベルのドットとすることで2次元コードを復元する(ステップS712)。   Therefore, the management unit 23 sets the intermediate luminance dot of the difference image as the black level code dot in the two-dimensional code, sets the low luminance dot of the difference image as the white level dot in the two-dimensional code, and sets the intermediate luminance dot of the difference image. The two-dimensional code is restored by setting the dot to a black level dot in the two-dimensional code (step S712).

以上説明したように本実施形態によれば、映像を形成するドットがデータに応じて点滅する。また、映像が撮影されて取得される撮影画像の輝度が解析されることによって、撮影画像からデータが読み取られる。このため、表示されている映像に撮影機20を向けるだけで画像とデータとを取得することができ、特別なハードウェアがなくても、画像の取得時に画像とは別のデータを取得することが可能になる。また、撮影画像から建造物などの特徴部分を抽出する必要がないので、データの提供者は所望のデータを映像の絵杖暗射に取得させることが可能になる。   As described above, according to the present embodiment, the dots forming the video blink according to the data. In addition, data is read from the captured image by analyzing the luminance of the captured image obtained by capturing the video. For this reason, the image and data can be acquired simply by pointing the photographing device 20 to the displayed video, and even when there is no special hardware, data different from the image is acquired when the image is acquired. Is possible. Further, since it is not necessary to extract a characteristic part such as a building from the photographed image, it becomes possible for the data provider to acquire desired data by the wand of the picture.

また、データに含まれる識別情報に応じたデータが映像とともに表示されるので、同じ映像を見ながら、閲覧者の会社、年齢および性別など属性に応じて、閲覧者に提供するデータを変更することが可能になる。   In addition, since data corresponding to the identification information included in the data is displayed together with the video, the data provided to the viewer can be changed according to the attributes such as the company, age and gender of the viewer while viewing the same video. Is possible.

次に本発明の第2の実施形態について説明する。   Next, a second embodiment of the present invention will be described.

図9は、本発明に第2の実施形態の映像システムを示す図である。   FIG. 9 is a diagram showing a video system according to the second embodiment of the present invention.

図9において、映像システムは、映像表示装置100と、撮影装置200とを有する。   In FIG. 9, the video system includes a video display device 100 and a photographing device 200.

映像表示装置100は、制御部101と、映像表示部102とを有する。   The video display device 100 includes a control unit 101 and a video display unit 102.

制御部101は、CPUなどの演算装置やメモリなどの記録装置で構成される。また、制御部101には、映像信号が入力される。   The control unit 101 includes an arithmetic device such as a CPU and a recording device such as a memory. In addition, a video signal is input to the control unit 101.

制御部101は、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、映像信号を補正して、映像に重畳用データが重畳された重畳映像を示す重畳映像信号を生成する。なお、重畳用データは、予め制御部101が保持していてもよいし、第1の実施形態のように外部から入力されてもよい。   The control unit 101 corrects the video signal so that the dots forming the video according to the video signal blink according to the superimposition data, and the superimposed video signal indicating the superimposed video in which the superposition data is superimposed on the video Is generated. Note that the superimposition data may be held in advance by the control unit 101, or may be input from the outside as in the first embodiment.

重畳用データの形式は、2次元コードに限らず、バーコードのような1次元コードやその他の形式でもよい。また、重畳用データ(例えば、2次元コード)は、1画面ごとに1つとは限らず、複数あってもよい。この場合、複数のデータを映像に重ね合わせて表示することができる。   The format of the superimposition data is not limited to a two-dimensional code, and may be a one-dimensional code such as a barcode or other formats. In addition, the superimposition data (for example, a two-dimensional code) is not limited to one per screen, and may be plural. In this case, a plurality of data can be displayed superimposed on the video.

映像表示部102は、制御部101にて生成されて重畳映像信号が示す重畳映像を表示する。映像表示部102は、第1の実施形態のように投射面に光を投影して重畳映像を表示するものでもよいし、自身に備わっている表示面に重畳映像を表示するものでもよい。   The video display unit 102 displays the superimposed video generated by the control unit 101 and indicated by the superimposed video signal. The video display unit 102 may display the superimposed video by projecting light onto the projection surface as in the first embodiment, or may display the superimposed video on the display surface provided in the video display unit 102.

撮影装置200は、取得部201と、管理部202とを有する。   The imaging apparatus 200 includes an acquisition unit 201 and a management unit 202.

取得部201は、映像表示装置100にて表示された重畳映像を撮影して撮影画像を取得する。管理部202は、取得部201にて取得された撮影画像を形成するドットの輝度を解析して、撮影画像から重畳映像に重畳されている重畳データを読み取る。   The acquisition unit 201 acquires a captured image by capturing a superimposed image displayed on the image display device 100. The management unit 202 analyzes the luminance of the dots forming the captured image acquired by the acquisition unit 201, and reads the superimposed data superimposed on the superimposed video from the captured image.

本実施形態でも、第1の実施形態と同様に特別なハードウェアがなくても、画像の取得時に画像とは別のデータを取得することが可能になる。   Even in the present embodiment, it is possible to acquire data different from an image when acquiring an image without special hardware as in the first embodiment.

なお、各実施形態で説明した投影機10、撮影機20、映像表示装置100および撮影装置200の機能は、専用のハードウェアにて実現されてもよいし、その機能を実現するためのプログラムを、コンピュータにて読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ実行させることで、実現されてもよい。   Note that the functions of the projector 10, the photographing device 20, the video display device 100, and the photographing device 200 described in each embodiment may be realized by dedicated hardware, or a program for realizing the function. It may be realized by recording on a computer-readable recording medium and reading and executing the program recorded on the recording medium.

以上説明した各実施形態において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。   In each embodiment described above, the illustrated configuration is merely an example, and the present invention is not limited to the configuration.

例えば、撮影機10や撮影装置100は、携帯電話機、スマートフォン、ゲーム機、タブレット型PCおよびノード型PCなどの端末装置に備わっていてもよい。   For example, the photographing device 10 and the photographing device 100 may be included in a terminal device such as a mobile phone, a smartphone, a game machine, a tablet PC, and a node PC.

また、各実施形態で説明した映像システムは、映像を表示する街頭ディスプレイなどに、広告情報を重畳させて提供する広告システムや、会社の社内発表時に、従業員の部署などの属性に応じたデータを配信するプレゼンテーションシステムなどに適用されてもよい。   In addition, the video system described in each embodiment includes an advertising system in which advertising information is superimposed on a street display that displays video, and data according to attributes such as employee departments at the time of company announcements. The present invention may be applied to a presentation system that distributes.

また、上記の各実施形態の一部又は全部は、以下の付記のように記載することが可能であるが、以下には限定されない。   Moreover, although part or all of each said embodiment can be described like the following additional remarks, it is not limited to the following.

[付記1]
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する制御部と、
前記重畳映像信号が示す重畳映像を表示する映像表示部と、を有する映像表示装置。
[Appendix 1]
The video signal is corrected so that dots forming the video corresponding to the video signal blink according to the superimposition data, and a superimposed video signal indicating the superimposed video in which the superposition data is superimposed on the video is generated. A control unit,
A video display unit configured to display a superimposed video indicated by the superimposed video signal.

[付記2]
前記制御部は、前記ドットを複数有する複数のセクションで前記映像が区切られ、前記ドットが点滅する点滅パターンが前記セクション単位で変化するように、前記映像信号を補正する、付記1に記載の映像表示装置。
[Appendix 2]
The video according to claim 1, wherein the control unit corrects the video signal so that the video is divided by a plurality of sections having the plurality of dots, and a blinking pattern in which the dots blink is changed in units of the sections. Display device.

[付記3]
前記重畳用データは、2次元コードで表され、
前記制御部は、前記2次元コードの各コードドットと各セクションとを対応させ、前記セクションの点滅パターンが当該セクションに対応するコードドットに応じて変化するように、前記映像信号を補正する、付記2に記載の映像表示装置。
[Appendix 3]
The superimposition data is represented by a two-dimensional code,
The control unit associates each code dot of the two-dimensional code with each section, and corrects the video signal so that the blinking pattern of the section changes according to the code dot corresponding to the section. 2. The video display device according to 2.

[付記4]
前記点滅パターンには、前記セクション内の互いに隣接する2つの隣接ドットの一方が点灯し他方が消灯するように、前記セクション内の各ドットが点滅する第1の点滅パターンと、前記セクション内の各ドットが一斉に点滅する第2の点滅パターンを有する、付記2または3に記載の映像表示装置。
[Appendix 4]
The blinking pattern includes a first blinking pattern in which each dot in the section blinks, so that one of two adjacent dots in the section that are adjacent to each other is turned on and the other is turned off. 4. The video display device according to appendix 2 or 3, which has a second blinking pattern in which dots blink simultaneously.

[付記5]
付記1ないし4のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する取得部と、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳用データを読み取る管理部と、を有する撮影装置。
[Appendix 5]
An acquisition unit that captures a superimposed image displayed by the video display device according to any one of appendices 1 to 4 and acquires a captured image;
And a management unit that analyzes luminance of dots forming the captured image and reads data for superimposition superimposed on the superimposed video from the captured image.

[付記6]
表示部と、
使用者の属性を特定する識別情報を記憶する記憶部と、をさらに有し、
前記重畳データでは、複数の部分データのそれぞれが前記識別情報と対応付けられ、
前記管理部は、前記記憶部に記憶されている識別情報と同じ識別情報に対応する部分データを前記表示部に表示する、付記5に記載の撮影装置。
[Appendix 6]
A display unit;
A storage unit that stores identification information that identifies the user's attributes;
In the superimposed data, each of a plurality of partial data is associated with the identification information,
The imaging apparatus according to appendix 5, wherein the management unit displays partial data corresponding to the same identification information as the identification information stored in the storage unit on the display unit.

[付記7]
付記1ないし4のいずれかに記載の映像表示装置と、付記5または6に記載の撮影装置とを有する映像システム。
[Appendix 7]
A video system comprising the video display device according to any one of appendices 1 to 4 and the photographing device according to appendix 5 or 6.

[付記8]
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成し、
前記重畳映像信号が示す重畳映像を表示する、表示方法。
[Appendix 8]
The video signal is corrected so that dots forming the video corresponding to the video signal blink according to the superimposition data, and a superimposed video signal indicating the superimposed video in which the superposition data is superimposed on the video is generated. And
A display method for displaying a superimposed video indicated by the superimposed video signal.

[付記9]
付記1ないし4のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得し、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る、情報読取方法。
[Appendix 9]
Shooting the superimposed video displayed on the video display device according to any one of appendices 1 to 4 to obtain a captured image;
An information reading method for analyzing luminance of dots forming the captured image and reading superimposed data superimposed on the superimposed video from the captured image.

[付記10]
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する処理と、
前記重畳映像信号が示す重畳映像を表示する処理と、をコンピュータに実行させるプログラム。
[Appendix 10]
The video signal is corrected so that dots forming the video corresponding to the video signal blink according to the superimposition data, and a superimposed video signal indicating the superimposed video in which the superposition data is superimposed on the video is generated. Processing to
A program for causing a computer to execute a process of displaying a superimposed video indicated by the superimposed video signal.

[付記11]
付記1ないし4のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する処理と、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る処理と、をコンピュータに実行させるプログラム。
[Appendix 11]
A process of capturing a superimposed image displayed by the video display device according to any one of appendices 1 to 4 to acquire a captured image;
A program for causing a computer to execute processing of analyzing luminance of dots forming the captured image and reading superimposed data superimposed on the superimposed video from the captured image.

10 投影機
11 CPU
12、102 映像表示部
12A LED部
12B 表示素子
12C レンズ部
2 撮影機
21 キー操作部
22 カメラ部
23、202 管理部
24 表示部
25 記憶部
100 映像表示装置
101 制御部
200 撮影装置
201 取得部
10 Projector 11 CPU
DESCRIPTION OF SYMBOLS 12, 102 Image | video display part 12A LED part 12B Display element 12C Lens part 2 Photographing machine 21 Key operation part 22 Camera part 23,202 Management part 24 Display part 25 Memory | storage part 100 Image | video display apparatus 101 Control part 200 Imaging apparatus 201 Acquisition part

Claims (10)

映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する制御部と、
前記重畳映像信号が示す重畳映像を表示する映像表示部と、を有する映像表示装置。
The video signal is corrected so that dots forming the video corresponding to the video signal blink according to the superimposition data, and a superimposed video signal indicating the superimposed video in which the superposition data is superimposed on the video is generated. A control unit,
A video display unit configured to display a superimposed video indicated by the superimposed video signal.
前記制御部は、前記ドットを複数有する複数のセクションで前記映像が区切られ、前記ドットが点滅する点滅パターンが前記セクション単位で変化するように、前記映像信号を補正する、請求項1に記載の映像表示装置。   2. The control unit according to claim 1, wherein the control unit corrects the video signal so that the video is divided by a plurality of sections having a plurality of dots, and a blinking pattern in which the dots blink is changed in units of the sections. Video display device. 前記重畳用データは、2次元コードで表され、
前記制御部は、前記2次元コードの各コードドットと各セクションとを対応させ、前記セクションの点滅パターンが当該セクションに対応するコードドットに応じて変化するように、前記映像信号を補正する、請求項2に記載の映像表示装置。
The superimposition data is represented by a two-dimensional code,
The control unit associates each code dot of the two-dimensional code with each section, and corrects the video signal so that the blinking pattern of the section changes according to the code dot corresponding to the section. Item 3. The video display device according to Item 2.
前記点滅パターンには、前記セクション内の互いに隣接する2つの隣接ドットの一方が点灯し他方が消灯するように、前記セクション内の各ドットが点滅する第1の点滅パターンと、前記セクション内の各ドットが一斉に点滅する第2の点滅パターンを有する、請求項2または3に記載の映像表示装置。   The blinking pattern includes a first blinking pattern in which each dot in the section blinks, so that one of two adjacent dots in the section that are adjacent to each other is turned on and the other is turned off. The video display device according to claim 2, wherein the video display device has a second blinking pattern in which dots blink simultaneously. 請求項1ないし4のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する取得部と、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳用データを読み取る管理部と、を有する撮影装置。
An acquisition unit that acquires the captured image by capturing the superimposed image displayed by the image display device according to claim 1;
And a management unit that analyzes luminance of dots forming the captured image and reads data for superimposition superimposed on the superimposed video from the captured image.
請求項1ないし4のいずれかに記載の映像表示装置と、請求項5に記載の撮影装置とを有する映像システム。   A video system comprising the video display device according to any one of claims 1 to 4 and the photographing device according to claim 5. 映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成し、
前記重畳映像信号が示す重畳映像を表示する、表示方法。
The video signal is corrected so that dots forming the video corresponding to the video signal blink according to the superimposition data, and a superimposed video signal indicating the superimposed video in which the superposition data is superimposed on the video is generated. And
A display method for displaying a superimposed video indicated by the superimposed video signal.
請求項1ないし4のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得し、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る、情報読取方法。
Shooting the superimposed video displayed by the video display device according to any one of claims 1 to 4 to obtain a captured image;
An information reading method for analyzing luminance of dots forming the captured image and reading superimposed data superimposed on the superimposed video from the captured image.
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する処理と、
前記重畳映像信号が示す重畳映像を表示する処理と、をコンピュータに実行させるプログラム。
The video signal is corrected so that dots forming the video corresponding to the video signal blink according to the superimposition data, and a superimposed video signal indicating the superimposed video in which the superposition data is superimposed on the video is generated. Processing to
A program for causing a computer to execute a process of displaying a superimposed video indicated by the superimposed video signal.
請求項1ないし4のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する処理と、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る処理と、をコンピュータに実行させるプログラム。
A process of capturing a superimposed image displayed on the image display device according to claim 1 to acquire a captured image;
A program for causing a computer to execute processing of analyzing luminance of dots forming the captured image and reading superimposed data superimposed on the superimposed video from the captured image.
JP2011121873A 2011-05-31 2011-05-31 Video display device, photographing device, video system, display method, information reading method, and program Withdrawn JP2012249257A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011121873A JP2012249257A (en) 2011-05-31 2011-05-31 Video display device, photographing device, video system, display method, information reading method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011121873A JP2012249257A (en) 2011-05-31 2011-05-31 Video display device, photographing device, video system, display method, information reading method, and program

Publications (1)

Publication Number Publication Date
JP2012249257A true JP2012249257A (en) 2012-12-13

Family

ID=47469236

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011121873A Withdrawn JP2012249257A (en) 2011-05-31 2011-05-31 Video display device, photographing device, video system, display method, information reading method, and program

Country Status (1)

Country Link
JP (1) JP2012249257A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016066957A (en) * 2014-09-25 2016-04-28 池上通信機株式会社 Optical wireless communication apparatus, optical wireless communication method, and optical wireless communication system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016066957A (en) * 2014-09-25 2016-04-28 池上通信機株式会社 Optical wireless communication apparatus, optical wireless communication method, and optical wireless communication system

Similar Documents

Publication Publication Date Title
CN107077630B (en) Image processing apparatus, method of synthesizing mark image, and method of detecting mark
CN112074877B (en) Marker-based augmented reality system and method
US9036943B1 (en) Cloud-based image improvement
RU2689136C2 (en) Automated determination of system behavior or user experience by recording, sharing and processing information associated with wide-angle image
JP6165459B2 (en) Method for correcting user&#39;s line of sight in video, machine-readable storage medium, and portable terminal
US9135490B1 (en) Communication system, image pickup device, program, and communication method
US10379610B2 (en) Information processing device and information processing method
US9807300B2 (en) Display apparatus for generating a background image and control method thereof
US20150085155A1 (en) Image capture input and projection output
CN108762501B (en) AR display method, smart terminal, AR device and system
US10019639B2 (en) Determining a boundary associated with image data
JP2015060012A (en) Image processing system, image processing apparatus, image processing method, image processing program, and display system
US11889083B2 (en) Image display method and device, image recognition method and device, storage medium, electronic apparatus, and image system
TWI608428B (en) Image processing system for generating corresponding information by image recognition and related method
KR20170001223A (en) Information extracting system, information extracting apparatus, information extracting method of thereof and non-transitory computer readable medium
US20170126966A1 (en) Photography method using gaze detection
JP2020182246A (en) Information processing equipment, control methods, and programs
KR20110072108A (en) Vision-based Augmented Reality Implementation System Using Mobile Terminal with Tag
JP2012249257A (en) Video display device, photographing device, video system, display method, information reading method, and program
JP2016091193A (en) Image processor, image processing method and program
US20120050302A1 (en) Method and apparatus for enhancing a white-board
JP2017072945A (en) Image processing apparatus and image processing method
KR101525409B1 (en) Augmented method of contents using image-cognition modules
KR101488647B1 (en) Virtual illumination of operating method and apparatus for mobile terminal
JP6508730B2 (en) Light emission marker device, marker detection device, transmission system, marker light emission method, marker detection method, and program

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140805