JP2010066389A - Information display device and information display method - Google Patents

Information display device and information display method Download PDF

Info

Publication number
JP2010066389A
JP2010066389A JP2008231088A JP2008231088A JP2010066389A JP 2010066389 A JP2010066389 A JP 2010066389A JP 2008231088 A JP2008231088 A JP 2008231088A JP 2008231088 A JP2008231088 A JP 2008231088A JP 2010066389 A JP2010066389 A JP 2010066389A
Authority
JP
Japan
Prior art keywords
display
image
distance
unit
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008231088A
Other languages
Japanese (ja)
Inventor
Ryota Taniguchi
亮太 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2008231088A priority Critical patent/JP2010066389A/en
Publication of JP2010066389A publication Critical patent/JP2010066389A/en
Pending legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information display device for displaying information in such a size to be easily photographed with a camera on a display screen. <P>SOLUTION: The information display device includes: a display part for displaying information on the display screen; a display image storage part for storing variable display images displayed in variable sizes on the display screen; a distance measuring part for measuring a distance from the display screen to a photographing camera which photographs the variable display image displayed on the display screen; a display magnification control part for controlling display magnification of the variable display image correspondingly to the distance measured by the distance measuring part; and a display drive part for displaying the variable display image in the size controlled by the display magnification control part on the display screen. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、表示画面上に情報を表示する情報表示装置及び情報表示方法に関し、特に表示画面上に表示された表示画像(特に、コード情報画像)をカメラで撮影しやすい大きさに表示する情報表示装置及び情報表示方法に関する。   The present invention relates to an information display device and an information display method for displaying information on a display screen, and in particular, information for displaying a display image (particularly a code information image) displayed on the display screen in a size that can be easily captured by a camera. The present invention relates to a display device and an information display method.

一次元バーコードや二次元バーコード(特に、QRコード(登録商標))の画像認識システムが公知である。一元バーコードは、例えば商品の価格を表示するため、商品に直接或いは商品の包装、又は包装に貼り付けられたシール或いは商品に附属するラベル等に印字して用いられている。また二次元バーコードは、例えば製造業界では、商品の材料や処理工程を表示するため、流通業界では商品の発送元、送付先及び流通過程を表示するため、販売店業界では価格、製造元、産地及び材料を表示するため、広告業では商品のより詳細な情報の出所を表示するために用いられている。特に、広告媒体に、広告画像とともに一次元バーコード、二次元バーコード又はQRコードを表示し、カメラを使用して撮影可能にしている。広告画像を見ている人は、QRコードを携帯電話のカメラ機能を使用して撮影することにより、広告主のURLを取得し、URLにアクセスすることにより、より詳細な商品情報を取得することができる。
通常、一次元バーコード、二次元バーコード及びQRコードは、商品に直接或いは商品の包装、又は包装に貼り付けられたシール或いは商品に附属するラベル等に印字して用いられる。そして、これらコードをカメラで撮影し、その画像に含まれる情報を画像認識することによって、コードに含まれる情報を取得することができる。しかしながら、一次元バーコード、二次元バーコード及びQRコードをカメラで撮影する場合、被写体とカメラの距離を適切に調整しなければ、これらコードを撮影し、画像認識して情報を取得することができない。
Image recognition systems for one-dimensional barcodes and two-dimensional barcodes (particularly QR codes (registered trademark)) are known. For example, in order to display the price of a product, the unified bar code is printed on a product directly or on a product packaging, a sticker attached to the packaging, a label attached to the product, or the like. For example, in the manufacturing industry, the two-dimensional bar code displays the material and processing process of the product. In the distribution industry, it displays the shipping source, destination, and distribution process of the product. In order to display materials and materials, the advertising industry is used to display the source of more detailed information on products. In particular, a one-dimensional bar code, a two-dimensional bar code, or a QR code is displayed together with an advertising image on an advertising medium, and photography is possible using a camera. The person who sees the advertisement image acquires the advertiser's URL by photographing the QR code using the camera function of the mobile phone, and acquires more detailed product information by accessing the URL. Can do.
Usually, the one-dimensional bar code, the two-dimensional bar code, and the QR code are used by printing directly on a product or on a package of the product, a sticker attached to the package, or a label attached to the product. Then, the information included in the code can be acquired by photographing these codes with a camera and recognizing the information included in the image. However, when taking a one-dimensional barcode, two-dimensional barcode, and QR code with a camera, if the distance between the subject and the camera is not adjusted appropriately, these codes can be taken and information can be obtained by image recognition. Can not.

被写体とカメラの距離を適切に調整して、住所バーコード又は名刺を適切な大きさで撮影するため、予め画面上に住所バーコード又は名刺を表示する所定範囲を規定する枠を表示し、カメラによって撮影した画像を上記枠内に表示させ、そして枠内に表示された画像を取り込んで画像処理することによって、画像認識する技術が特許文献1に開示されている。
特開平9−185695号公報
In order to adjust the distance between the subject and the camera appropriately and shoot the address barcode or business card in an appropriate size, a frame that prescribes a predetermined range for displaying the address barcode or business card is displayed on the screen in advance. Patent Document 1 discloses a technique for recognizing an image by displaying an image photographed by the above method in the frame, capturing the image displayed in the frame, and performing image processing.
JP-A-9-185695

上記特許文献1は、予め画面上に、バーコードまたは名詞情報を表示する枠を表示し、この枠内にカメラで撮影した画像を表示することにより、画像処理を簡単にするものである。
ところで、近年表示装置の大きさは、例えば、長辺が1m〜2mあるいはそれ以上に壁一面のように非常に大型化され、このように大型の表示装置は、例えば広告画像を表示するため、またはテレビ会議、講演会、説明会等で資料を表示するために使用される。このような大型の表示装置に表示されている広告画像を見ている人物、またはテレビ会議、講演会、説明会等の参加者が所有しているカメラで撮影させることによって、更に詳細な情報を提供する場合がある。特に、広告画像またはテレビ会議、講演会、説明会等で使用される資料とともにQRコードを表示し、このQRコードを撮影させて情報を提供することは有効である。この場合に、QRコードを適切な大きさで撮影しなければならないので、カメラのズーム機能を使って、またはカメラを前後に移動させて適切な大きさになるよう調整して撮影する。QRコードを適切な大きさで撮影すると、QRコードを解析して情報を取得することができるが、カメラのズーム機能は操作が面倒であり、またズーム機能の動作が遅いため調整が困難である。またズーム機能を使って撮影した画像は画質が悪くなり、QRコードを解析できない場合がある。またカメラを前後に移動するためには、広いスペースが必要であるが、会議、講演会、説明会等のように多くの参加者が居る場合には移動できる範囲は小さいため、十分に撮影画像の大きさを調整することができない。
In Patent Document 1, a frame for displaying barcode or noun information is displayed on a screen in advance, and an image captured by a camera is displayed in the frame, thereby simplifying image processing.
By the way, in recent years, the size of the display device has become very large, for example, the long side is 1 m to 2 m or more like a wall, and such a large display device displays an advertisement image, for example. Or it is used to display materials at video conferences, lectures, briefing sessions, etc. More detailed information can be obtained by photographing with a camera owned by a person watching an advertising image displayed on such a large display device or a participant of a video conference, lecture, briefing session, etc. May be provided. In particular, it is effective to display a QR code together with advertisement images or materials used in video conferences, lectures, briefing sessions, etc., and to provide information by photographing the QR code. In this case, since the QR code must be photographed with an appropriate size, the image is photographed using the zoom function of the camera or adjusted to an appropriate size by moving the camera back and forth. If the QR code is photographed at an appropriate size, information can be obtained by analyzing the QR code. However, the zoom function of the camera is troublesome to operate, and the adjustment of the zoom function is difficult because the operation of the zoom function is slow. . In addition, an image shot using the zoom function has poor image quality, and the QR code may not be analyzed. In order to move the camera back and forth, a large space is required, but when there are many participants such as conferences, lectures, briefing sessions, etc., the range that can be moved is small, so it is sufficient to take images. The size of can not be adjusted.

本発明は、上記のような問題に鑑みて、表示画面にカメラによって撮影しやすい大きさで情報を表示する情報表示装置及び情報表示方法を提供するものである。   In view of the above problems, the present invention provides an information display device and an information display method for displaying information on a display screen in a size that can be easily captured by a camera.

本発明の情報表示装置は、上記課題を解決するため、外部機器によって、光学的に読み取り可能な画像を表示する情報表示装置であって、表示画面上に画像を表示する表示部と、前記表示画面上に可変の大きさで表示する可変表示画像情報を記憶する表示画像記憶部と、前記表示画面から、前記外部機器までの距離を測定する距離測定部と、前記距離測定部によって測定された距離に応じて、前記可変表示画像の表示倍率を制御する表示倍率制御部と、前記表示画面上に、前記表示倍率制御部によって制御された大きさで前記可変表示画像を表示する表示駆動部とを備えることを特徴とする。   In order to solve the above problems, an information display device of the present invention is an information display device that displays an optically readable image by an external device, the display unit displaying an image on a display screen, and the display Measured by a display image storage unit that stores variable display image information to be displayed in a variable size on the screen, a distance measurement unit that measures the distance from the display screen to the external device, and the distance measurement unit A display magnification control unit that controls a display magnification of the variable display image according to a distance; and a display drive unit that displays the variable display image on the display screen in a size controlled by the display magnification control unit; It is characterized by providing.

ここで、可変表示画像は、例えば一次元バーコードまたは二次元バーコードであり、特に、QRコードである。この外に、可変表示画像は、文字データ、数字データ、絵またはイラストを含み、広告画像を見ている人物、または会議、講演会、説明会等の参加者に提供する全ての表示画像であり、動画であってもよい。   Here, the variable display image is, for example, a one-dimensional barcode or a two-dimensional barcode, and in particular, a QR code. In addition to this, variable display images include character data, numeric data, pictures or illustrations, and are all display images that are provided to the person watching the advertisement image, or to participants such as conferences, lectures, and explanatory meetings. It may be a video.

本発明の情報表示装置は、表示画面から表示画面上に表示された可変表示画像を撮影する外部機器までの距離を測定する距離測定部によって測定された距離に応じて、可変表示画像の表示倍率を制御する表示倍率制御部を備えるので、可変表示画像を外部機器で撮影しやすい大きさに自動的に制御することができる。また本発明は、表示画面上に、表示倍率制御部によって制御された大きさで可変表示画像を表示する表示駆動部を備えるので、可変表示画像は制御された大きさで情報を表示することができ、従って、可変表示画像を外部機器で撮影しやすい大きさで情報を表示することができる。   The information display device of the present invention has a display magnification of the variable display image according to the distance measured by the distance measuring unit that measures the distance from the display screen to the external device that captures the variable display image displayed on the display screen. Since the display magnification control unit for controlling the display is provided, it is possible to automatically control the variable display image to a size that can be easily captured by an external device. In addition, since the present invention includes a display drive unit that displays a variable display image in a size controlled by the display magnification control unit on the display screen, the variable display image can display information in a controlled size. Therefore, information can be displayed in a size that allows the variable display image to be easily photographed by an external device.

本発明は、別の観点によれば、情報表示方法であり、上記課題を解決するため、表示画面上に可変の大きさで表示する可変表示画像を記憶する表示画像記憶部を備え、前記表示画面から前記可変表示画像を撮影する撮影カメラまでの距離を測定する距離測定ステップと、前記測定された距離に応じて、前記可変表示画像の表示倍率を制御する表示倍率制御ステップと、前記表示画面上に、前記表示倍率が制御された大きさで前記可変表示画像を表示する表示駆動ステップを備えることを特徴とする。
これにより、表示画面にカメラで撮影しやすい大きさに情報を表示することができる。
According to another aspect of the present invention, there is provided an information display method. In order to solve the above-described problem, the present invention includes a display image storage unit that stores a variable display image to be displayed in a variable size on a display screen. A distance measuring step for measuring a distance from a screen to a photographing camera for capturing the variable display image, a display magnification control step for controlling a display magnification of the variable display image according to the measured distance, and the display screen Furthermore, a display driving step for displaying the variable display image at a controlled size of the display magnification is provided.
Thereby, information can be displayed on the display screen in a size that can be easily photographed by the camera.

本発明によれば、カメラによって撮影しやすい大きさで情報を表示するように自動的に制御する情報表示装置及び情報表示方法が提供される。   According to the present invention, an information display device and an information display method for automatically controlling to display information in a size that can be easily photographed by a camera are provided.

図1は本発明の情報表示装置の構成を示すブロック図である。
情報表示装置1は、制御部10、表示部20、音声出力部30、ROM40、RAM50、第1撮影部60、第2撮影部70、画像解析部80、HDD90を備える。ここには本発明の情報表示装置を構成するために必要な部分を示したが、文書作成機能、グラフ作成機能等の機能部分を備えてもよく、またネットワークを介して他の画像を取り込むための通信機能部分を備えるとよい。即ち、本発明の情報表示装置は、一般的なパーソナルコンピュータを利用して、構成することが可能である。
FIG. 1 is a block diagram showing the configuration of the information display apparatus of the present invention.
The information display device 1 includes a control unit 10, a display unit 20, an audio output unit 30, a ROM 40, a RAM 50, a first imaging unit 60, a second imaging unit 70, an image analysis unit 80, and an HDD 90. Here, the parts necessary for configuring the information display device of the present invention are shown, but functional parts such as a document creation function and a graph creation function may be provided, and other images may be captured via a network. The communication function part may be provided. That is, the information display apparatus of the present invention can be configured using a general personal computer.

上記制御部10は、本発明の情報表示装置1全体を制御する部分であり、マイクロプロセッサ(Microprocessor)又はプログラミングすることができるLSIによって構成される。この外に、FPGA(Field Programmable Gate Array)、特定用途のために設計、製造された集積回路であるASIC(Applicant Specific Integrated Circuit)、その他の演算機能を有する回路のいずれであってもよい。制御部10は、ROM40に格納された制御プログラムを読み出して、順次本発明の各ステップを実行することにより、各部分を所定の通り機能させ、本発明の情報表示装置を実現する。   The control unit 10 is a part that controls the entire information display device 1 of the present invention, and is configured by a microprocessor or an LSI that can be programmed. In addition, any of an FPGA (Field Programmable Gate Array), an ASIC (Applicant Specific Integrated Circuit) that is an integrated circuit designed and manufactured for a specific application, and a circuit having other arithmetic functions may be used. The control unit 10 reads out the control program stored in the ROM 40 and sequentially executes each step of the present invention, thereby causing each part to function as predetermined, thereby realizing the information display device of the present invention.

上記表示部20は、液晶モニター21、液晶表示コントローラ22、VRAM23を備える。液晶モニター21は、プラズマ表示装置、有機EL表示装置、その他表示装置などに代えてもよい。本発明の液晶モニター21は、例えば少なくとも一辺が1m以上の表示画面を備える。即ち、長辺が1m〜2m、或いはそれ以上の大きさの表示画面を有し、壁一面のように非常に大型の表示画面を有する。本発明はこのように大きい表示画面を有する表示部10を発明の対象とする。本発明の情報表示装置は、このように大きい表示画面に、商品を広告する広告画像を表示するとともに、更に詳細なデータの出所を表示するコード情報を表示する。または、このように大きい表示画面に、会議、講演会、説明会等で使用される資料や情報画像を表示するとともに、参加者に更に詳細な情報の出所を表示するコード情報を表示する。特に、上記広告画像の詳細なデータの出所を表示するコード情報、または上記参加者に詳細な情報の出所を表示するコード情報は、広告を見ている人、または参加者が所有するデジタルカメラまたは携帯電話のカメラ機能を使用して、撮影に適した大きさで表示することを特徴とする。従って、本発明は、表示画面上に、商品広告の広告画像、または会議、講演会、説明会等で使用される資料や情報画像を所定の大きさで表示し、詳細なデータの出所を表示するコード情報、または参加者に提供するコード情報は、可変の大きさで表示するものである。   The display unit 20 includes a liquid crystal monitor 21, a liquid crystal display controller 22, and a VRAM 23. The liquid crystal monitor 21 may be replaced with a plasma display device, an organic EL display device, other display devices, or the like. The liquid crystal monitor 21 of the present invention includes a display screen having at least one side of 1 m or more, for example. That is, it has a display screen whose long side is 1 m to 2 m or more, and has a very large display screen like the entire wall. The present invention is directed to the display unit 10 having such a large display screen. The information display device of the present invention displays an advertisement image for advertising a product and code information for displaying the origin of more detailed data on such a large display screen. Or, on such a large display screen, materials and information images used in meetings, lectures, briefing sessions, etc. are displayed, and code information for displaying the origin of more detailed information is displayed to the participants. In particular, the code information indicating the origin of the detailed data of the advertisement image or the code information indicating the origin of the detailed information to the participant is a digital camera or Displaying in a size suitable for shooting using the camera function of the mobile phone. Therefore, the present invention displays on the display screen advertisement images of product advertisements or materials and information images used in meetings, lectures, briefings, etc. in a predetermined size, and displays the origin of detailed data The code information to be provided or the code information provided to the participant is displayed in a variable size.

音声出力部30は、入力された音声信号を出力するスピーカ等の音声出力部である。
ROM40は、本発明の情報表示装置を制御するための制御プログラムを格納する。この外に、文書作成機能、グラフ作成機能等の機能を実現するためのプログラムも格納する。
The audio output unit 30 is an audio output unit such as a speaker that outputs an input audio signal.
The ROM 40 stores a control program for controlling the information display device of the present invention. In addition, a program for realizing functions such as a document creation function and a graph creation function is also stored.

RAM50は、制御部10によってデータアクセスされ、一時的にデータを記憶するワークメモリとして使用される記憶部である。RAM50は、QRコードデータ記憶部51と、広告画像データ記憶部52と、QRコード画像データ記憶部53を有する。
QRコードデータ記憶部51は、QRコード画像を表示するために表1を備え、QRコード画像幅と、QRコード画像高さと、QRコード画像の拡大率と、人物までの距離をそれぞれ変数名と、値を入力する。このような表1は、QRコード画像が複数存在する場合は複数備えるとよい。
The RAM 50 is a storage unit that is accessed as data by the control unit 10 and is used as a work memory that temporarily stores data. The RAM 50 includes a QR code data storage unit 51, an advertisement image data storage unit 52, and a QR code image data storage unit 53.
The QR code data storage unit 51 includes Table 1 for displaying a QR code image. The QR code image width, the QR code image height, the enlargement ratio of the QR code image, and the distance to the person are respectively represented as variable names. Enter a value. When there are a plurality of QR code images, a plurality of such Table 1 may be provided.

広告画像データ記憶部52は、液晶モニター21に表示する広告画像データを展開し、記憶する部分である。広告画像データが複数存在する場合は、複数の広告画像データを、この広告画像データ記憶部52に展開する。この広告画像データは、表示の大きさが予め設定され、固定表示画像を提供する。この実施形態では表示部の表示画面全体に表示するように展開する。
QRコード画像データ記憶部53は、広告画像データ記憶部52に記憶された広告画像データと対に構成され、QRコード画像データを展開し、記憶する部分である。従って、広告画像データが複数用意される場合は、その複数に応じて複数のQRコード画像データが、このQRコード画像データ記憶部53に展開される。QRコード画像データは後述するように表示倍率が可変であり、表示部20と、撮影カメラの距離に応じて表示倍率が制御され、自動的に大きさが制御された可変表示画像を提供する。
The advertisement image data storage unit 52 is a part that develops and stores advertisement image data to be displayed on the liquid crystal monitor 21. When there are a plurality of advertisement image data, the plurality of advertisement image data is developed in the advertisement image data storage unit 52. The advertisement image data has a preset display size and provides a fixed display image. In this embodiment, it expand | deploys so that it may display on the whole display screen of a display part.
The QR code image data storage unit 53 is configured to be paired with the advertisement image data stored in the advertisement image data storage unit 52, and develops and stores the QR code image data. Therefore, when a plurality of advertisement image data are prepared, a plurality of QR code image data is developed in the QR code image data storage unit 53 according to the plurality. As will be described later, the display magnification of the QR code image data is variable, the display magnification is controlled according to the distance between the display unit 20 and the photographing camera, and a variable display image whose size is automatically controlled is provided.

以上の説明及び以下の説明では、RAM50は、広告画像データとQRコード画像データを記憶するとして説明するが、広告画像データは、例えば会議、講演会、または説明会等で使用される資料画像のように任意の固定表示画像に代えてもよい。またQRコード画像データは、例えば、一次元バーコード、二次元バーコード、数字データ、文字データ、絵またはイラストデータを含む可変表示画像に代えてもよい。またこれら固定表示画像及び可変表示画像は、は動画であってもかまわない。   In the above description and the following description, the RAM 50 is described as storing the advertisement image data and the QR code image data. However, the advertisement image data is, for example, a document image used in a meeting, a lecture, or an explanation meeting. As described above, any fixed display image may be used. The QR code image data may be replaced with a variable display image including, for example, a one-dimensional barcode, a two-dimensional barcode, numeric data, character data, a picture, or illustration data. These fixed display image and variable display image may be moving images.

第1撮影部60と、第2撮影部70は、液晶モニター21の両側面に設置されたカメラである。例えば、図2に示すように、液晶モニター21の側面中央付近に設置される。第1撮影部60と、第2撮影部70は、USB(Universal Serial Bus)などによって、有線又は無線で接続され、静止画または動画を撮影する。この第1撮影部60と、第2撮影部70によって撮影した画像を用いて図3をとともに説明するように、ステレオ法によって処理することにより、表示画面から表示画面に表示された画像を撮影する撮影カメラまでの距離を測定する。   The first photographing unit 60 and the second photographing unit 70 are cameras installed on both side surfaces of the liquid crystal monitor 21. For example, as shown in FIG. 2, it is installed near the center of the side surface of the liquid crystal monitor 21. The first photographing unit 60 and the second photographing unit 70 are connected by a wired or wireless connection via a USB (Universal Serial Bus) or the like, and shoot a still image or a moving image. As described with reference to FIG. 3 using the images taken by the first photographing unit 60 and the second photographing unit 70, the image displayed on the display screen is photographed from the display screen by processing by the stereo method. Measure the distance to the camera.

画像解析部80は、制御部10の指示によって動作し、第1撮影部60と第2撮影部70によって撮影された画像を解析する。画像解析部80は、第1撮影部60と第2撮影部70の画像解析して、画像中の人物を認識する。即ち、画像中の両目、鼻、口を認識して、表示部20を見ている人物を認識する。もし、表示部20の前に複数の人物が居ると認識された場合は、表示画面に表示するQRコード画像の正面付近に居る人物を選択する。QRコード画像の正面付近に居る人物が複数である場合は、表示画面に近い人物を選択する。次に、認識した人物が所有するカメラを表示部20の方に向けているかどうか解析する。そして、第1撮影部60と第2撮影部70によって撮影された人物の画面中のずれに基づいて、表示部20からその人物までの距離を算出する。   The image analysis unit 80 operates according to an instruction from the control unit 10 and analyzes images captured by the first imaging unit 60 and the second imaging unit 70. The image analysis unit 80 performs image analysis of the first imaging unit 60 and the second imaging unit 70 and recognizes a person in the image. That is, both eyes, nose, and mouth in the image are recognized to recognize a person who is looking at the display unit 20. If it is recognized that there are a plurality of persons in front of the display unit 20, a person near the front of the QR code image displayed on the display screen is selected. When there are a plurality of persons near the front of the QR code image, a person close to the display screen is selected. Next, it is analyzed whether or not the camera owned by the recognized person is directed toward the display unit 20. The distance from the display unit 20 to the person is calculated based on the shift in the screen of the person photographed by the first photographing unit 60 and the second photographing unit 70.

HDD90は、ハードディスクによって構成され、大容量の記憶媒体を提供し、データの追加、変更を可能にする。
HDD90は、画像データ蓄積部91を備え、画像データ蓄積部91は、表示部20に表示する画像データファイル(display jpg)を蓄積する表示画像蓄積部91a、表示部20に表示する広告画像ファイル(koukoku.jpg)を蓄積する広告画像蓄積部91b、QRデータファイル(QRData.gif)を蓄積するQRデータ蓄積部91c、アドレスデータファイル(address.bmp)を蓄積するアドレスデータ蓄積部91dを有する。図1の実施形態では、表示画像蓄積部91a、広告画像蓄積部91b、QRデータ蓄積部91c、アドレスデータ蓄積部91dは、それぞれ1つ示しているが、複数のデータを蓄積する場合は、これらを複数備えるとよい。そして、制御部10の指示に従い表示部10に表示するための画像データ、広告画像データ、QRコード画像データ、アドレスデータを提供する。
The HDD 90 is constituted by a hard disk, provides a large-capacity storage medium, and enables addition and change of data.
The HDD 90 includes an image data storage unit 91. The image data storage unit 91 stores a display image storage unit 91a for storing an image data file (display jpg) to be displayed on the display unit 20, and an advertisement image file (to be displayed on the display unit 20). koukoku.jpg), an advertisement image storage unit 91b for storing QR data files (QRData.gif), a QR data storage unit 91c for storing QR data files (QRData.gif), and an address data storage unit 91d for storing address data files (address.bmp). In the embodiment of FIG. 1, one display image storage unit 91a, advertisement image storage unit 91b, QR data storage unit 91c, and address data storage unit 91d are shown. However, when storing a plurality of data, It is good to have multiple. Then, it provides image data, advertisement image data, QR code image data, and address data to be displayed on the display unit 10 in accordance with instructions from the control unit 10.

また、HDD90は、設定情報蓄積部92を有し、表2と表3を有する。
表2は第1撮影部60と第2撮影部70によって撮影した画像を解析することにより表示部から人物までの距離を求めるための設定値を記憶する。即ち、表2は、第1撮影部60と第2撮影部70のカメラ間距離(変数名D)と、カメラの焦点距離(変数名f)を記憶し、それぞれ値を入力するための欄を備える。
表3は、広告画像とQRコード画像の表示の大きさを決定するために必要なデータを記憶する表である。表3は、ID番号、広告画像ファイル名、QRコード画像ファイル名、QRコード表示中心座標(X座標、Y座標)、QRコードの最適表示距離(K)、QRコードの大きさ係数(S)を記憶し、それぞれ値を入力するための欄を備える。
The HDD 90 includes a setting information storage unit 92 and includes Table 2 and Table 3.
Table 2 stores setting values for determining the distance from the display unit to the person by analyzing the images captured by the first imaging unit 60 and the second imaging unit 70. That is, Table 2 stores the inter-camera distance (variable name D) and the camera focal length (variable name f) of the first photographing unit 60 and the second photographing unit 70, and columns for inputting values respectively. Prepare.
Table 3 is a table that stores data necessary to determine the display size of the advertisement image and the QR code image. Table 3 shows ID number, advertisement image file name, QR code image file name, QR code display center coordinates (X coordinate, Y coordinate), QR code optimum display distance (K), QR code size coefficient (S) Are stored, and each has a field for inputting a value.

QRコードの最適表示距離(K)は、QRコード画像の大きさに依存する値であり、QRコード画像が小さい場合は、QRコードの最適表示距離(K)が小さい値に設定され、QRコード画像が大きい場合は、QRコードの最適表示距離(K)が大きい値に設定される。この表3に示した例では、ID番号「1」は、QRコード画像が比較的大きいので、QRコードの最適表示距離(K)は、5が設定され、ID番号「2」は、QRコード画像が比較的小さいので、QRコードの最適表示距離(K)は、2が設定されている。   The optimum display distance (K) of the QR code is a value that depends on the size of the QR code image. When the QR code image is small, the optimum display distance (K) of the QR code is set to a small value. When the image is large, the optimum display distance (K) of the QR code is set to a large value. In the example shown in Table 3, since the QR code image is relatively large for the ID number “1”, the optimum display distance (K) of the QR code is set to 5, and the ID number “2” is the QR code. Since the image is relatively small, 2 is set as the optimum display distance (K) of the QR code.

QRコードの大きさ係数(S)は、表示部から人物までの距離に応じて、QRコード画像の大きさを決定するための係数であり、表示部の設置状況に応じてQRコード画像の大きさを微調整するための係数である。即ち、QRコードの大きさ係数(S)が1に設定されている場合、表示部から人物までの距離が倍になると、QRコード画像の大きさは2倍になる。表示部から人物までの距離が離れてもあまりQRコード画像を大きくしたくない場合は、QRコードの大きさ係数(S)を小さい値に設定し、逆に表示部から人物までの距離が離れるとQRコード画像を大きくしたい場合は、QRコードの大きさ係数(S)を大きい値に設定する。この表3に示した例では、ID番号「1」は、QRコード画像をあまり大きくしたくないので、QRコードの大きさ係数(S)は、1.2が設定され、ID番号「2」は、QRコード画像を大きくしたいので、QRコードの大きさ係数(S)は、3.2が設定されている。
QRコードの大きさ係数(S)は任意に設定することが可能であり、表示部から人物までの距離に対して、比例関係、またはS=(Y/K)2のように2次関数のように設定してもよい。
The QR code size coefficient (S) is a coefficient for determining the size of the QR code image according to the distance from the display unit to the person, and the size of the QR code image according to the installation state of the display unit. This is a coefficient for finely adjusting the thickness. That is, when the QR code size coefficient (S) is set to 1, when the distance from the display unit to the person is doubled, the size of the QR code image is doubled. If you do not want to make the QR code image too large even if the distance from the display unit to the person is large, set the QR code size coefficient (S) to a small value, and conversely the distance from the display unit to the person is large. When the QR code image is to be enlarged, the QR code size coefficient (S) is set to a large value. In the example shown in Table 3, since the ID number “1” does not want to make the QR code image very large, the QR code size coefficient (S) is set to 1.2, and the ID number “2” is set. Since it is desired to enlarge the QR code image, the QR code size coefficient (S) is set to 3.2.
The QR code size coefficient (S) can be set arbitrarily, and is proportional to the distance from the display unit to the person, or a quadratic function such as S = (Y / K) 2 . You may set as follows.

表3のID番号「1」の広告画像ファイル名欄には表示画像蓄積部91aに蓄積された画像データ(display jpg)が入力され、QRコード画像ファイル名欄には、アドレスデータ蓄積部91dに蓄積されたアドレスデータ(address bmp)を入力する。また表3のID番号「2」の広告画像ファイル名欄には表示画像蓄積部91bに蓄積された画像データ(koukoku.jpg)が入力され、QRコード画像ファイル名欄には、アドレスデータ蓄積部91cに蓄積されたアドレスデータ(QRData.gif)を入力する。これにより、画像データとQRコード画像データの組合わせをセットする。
この実施形態では、画像データは表示画面全体に表示するので、座標の設定は不要であるが、画像データの表示位置を設定する場合は表示画面上のX座標、Y座標を設定するとよい。また複数の画像データを表示画面に表示する場合は、各画像データの表示中心位置をX座標、Y座標によって設定するとよい。
QRコード画像データは、QRコード画像の表示位置を設定するための座標を、QRコード画像の表示中心のX座標とY座標によって設定し、またQRコード画像を拡大または縮小するときの設定として、QRコードの最適表示距離(K)とQRコードの大きさ係数(S)を設定する。
The image data (display jpg) stored in the display image storage unit 91a is input to the advertisement image file name column of ID number “1” in Table 3, and the address data storage unit 91d is input to the QR code image file name column. Input the stored address data (address bmp). Further, the image data (koukoku.jpg) stored in the display image storage unit 91b is input to the advertisement image file name column of ID number “2” in Table 3, and the address data storage unit is input to the QR code image file name column. Address data (QRData.gif) stored in 91c is input. Thereby, a combination of image data and QR code image data is set.
In this embodiment, since the image data is displayed on the entire display screen, it is not necessary to set coordinates. However, when setting the display position of the image data, the X coordinate and Y coordinate on the display screen may be set. When a plurality of image data are displayed on the display screen, the display center position of each image data may be set by the X coordinate and the Y coordinate.
In the QR code image data, the coordinates for setting the display position of the QR code image are set by the X coordinate and the Y coordinate of the display center of the QR code image, and the setting for enlarging or reducing the QR code image is as follows: The optimum display distance (K) of the QR code and the size coefficient (S) of the QR code are set.

図2は、液晶モニター21と、第1撮影部60及び第2撮影部70の配置を説明する図であり、図2に示すように、液晶モニター21の両側側面の中央位置に第1撮影部60と第2撮影部70をそれぞれ配置する。
このように配置した第1撮影部60と第2撮影部70によって広告画像を見ている人物または会議、講演会、説明会等の参加者(以下、「人物U」と言う。)を撮影すると、人物Uが液晶モニター21の中心より右側寄りに居るとすると、例えば、図2(b)に示すように、液晶モニター21の左側に設置された第1撮影部60で撮影した画像は、カメラの画面に人物Uは左側の方にずれて撮影される。一方、液晶モニター21の右側の第2撮影部70で撮影した画像は、人物Uはカメラの画面に右側の方にずれて撮影される。即ち、第1撮影部60と第2撮影部70で撮影した画像には、同一人物がずれZを生じるように撮影される。本発明はこのずれZに基づき、ステレオ法によって液晶モニター21と人物間の距離を計算し、その距離に応じて、QRコードの表示大きさを制御するものである。
なお、QRコード画像の表示大きさは、表示部から撮影カメラまでの距離に応じて制御するが、カメラを画像認識することが困難である場合は、人物Uを認識して、近似的に表示部からとカメラまでの距離とすることが可能である。
FIG. 2 is a diagram for explaining the arrangement of the liquid crystal monitor 21 and the first photographing unit 60 and the second photographing unit 70. As shown in FIG. 60 and the 2nd imaging | photography part 70 are each arrange | positioned.
When the first image capturing unit 60 and the second image capturing unit 70 arranged in this way photograph a person who is watching an advertisement image or a participant such as a meeting, lecture, information session (hereinafter referred to as “person U”). If the person U is on the right side of the center of the liquid crystal monitor 21, for example, as shown in FIG. 2B, an image photographed by the first photographing unit 60 installed on the left side of the liquid crystal monitor 21 is a camera. The person U is photographed on the screen of FIG. On the other hand, the image taken by the second photographing unit 70 on the right side of the liquid crystal monitor 21 is photographed while the person U is shifted to the right side on the camera screen. That is, the images taken by the first photographing unit 60 and the second photographing unit 70 are photographed so that the same person has a deviation Z. In the present invention, the distance between the liquid crystal monitor 21 and the person is calculated by the stereo method based on the deviation Z, and the display size of the QR code is controlled according to the distance.
The display size of the QR code image is controlled in accordance with the distance from the display unit to the photographing camera. When it is difficult to recognize the camera image, the person U is recognized and displayed approximately. The distance from the camera to the camera can be used.

図3は、第1撮影部60と第2撮影部70で撮影した画像に基づき、液晶モニター21から人物までの距離を計算する方法を説明する図であり、ここではステレオ法の原理によって計算する一例を説明する。
図3において、Aは、第1撮影部60と第2撮影部70を結ぶ線であり、Bは、人物Uが居る位置と、線Aに平行な線である。線A―B間の距離Tが液晶モニター21から人物Uまでの距離である。
距離Tを求めるため、第1撮影部60と第2撮影部70の間隔をDとし、第1撮影部60と第2撮影部70のカメラの焦点距離をfとし、左側の第1撮影部60のレンズ中心線Eとカメラの撮影面上の人物Uまでの間隔をXLとし、右側の第2撮影部70のレンズ中心線Fとカメラの映像上の人物Uまでの間隔をXRとし、人物Uが位置する面B上において、人物Uとレンズ中心線Eまでの間隔をXL’とし、人物Uが位置する面B上において、人物Uとレンズ中心線Fまでの間隔をXR’とすると、下記式により線A―B間の距離Tを求めることができる。
XL’:XL=T:f
XR’:XR=T:f
但し、XL’+XR’=D とする。
従って、Y=Df/(XL+XR) となる。
上記、XL、XRは、撮影面における人物Uの中心からの距離であるが、画像上の座標をxl、xrに置き換えた場合、画像の半分の座標をHとすると、
XL=xl−H
XR=H−xr
となる。よって、線A―B間の距離Tは、T=Df/(xl−xr)となる。
即ち、xl−xrは左右の画像のずれZとなるので、線A―B間の距離Tは、次の式のようになる。
T=Df/Z
FIG. 3 is a diagram for explaining a method for calculating the distance from the liquid crystal monitor 21 to the person based on the images taken by the first photographing unit 60 and the second photographing unit 70. Here, the calculation is based on the principle of the stereo method. An example will be described.
In FIG. 3, A is a line connecting the first imaging unit 60 and the second imaging unit 70, and B is a line parallel to the line A and the position where the person U is present. A distance T between the lines A and B is a distance from the liquid crystal monitor 21 to the person U.
In order to obtain the distance T, the distance between the first photographing unit 60 and the second photographing unit 70 is D, the focal length of the cameras of the first photographing unit 60 and the second photographing unit 70 is f, and the first photographing unit 60 on the left side. The distance from the lens center line E to the person U on the camera imaging plane is XL, and the distance from the lens center line F of the right second imaging unit 70 to the person U on the camera image is XR. If the distance between the person U and the lens center line E is XL ′ on the surface B where the person U is located, and XR ′ is the distance between the person U and the lens center line F on the surface B where the person U is located, The distance T between the lines A and B can be obtained from the equation.
XL ′: XL = T: f
XR ′: XR = T: f
However, XL ′ + XR ′ = D.
Therefore, Y = Df / (XL + XR).
The above XL and XR are distances from the center of the person U on the photographing plane. When the coordinates on the image are replaced by xl and xr, the coordinates of the half of the image are H.
XL = xl-H
XR = H-xr
It becomes. Therefore, the distance T between the lines A and B is T = Df / (xl−xr).
That is, since xl-xr is the shift Z between the left and right images, the distance T between the lines A and B is expressed by the following equation.
T = Df / Z

上記のようにして測定した液晶モニター21と人物Uまでの距離に応じて、液晶モニター21に広告画像とQRコード画像を図4のように表示する。即ち、図4(a)は、HDD90の画像データ蓄積部91に蓄積された画像データファイル(display.jpg)及び(address.bmp)と、RAM50上に展開した例を示す。図4(b)は、液晶モニター21と人物Uの距離Tが近い場合に、広告画像gとQRコード画像j1をRAM50上に合成して展開し、これを表示部20に転送して表示する例を示す。この場合、QRコードj1は、液晶モニター21と人物Uの距離Tが近いので、比較的小さく表示されている。図4(c)は、液晶モニター21と人物Uの距離Tが遠い場合を示し、表示部20は広告画像gとQRコードj2を表示する。この場合、QRコードj2は、液晶モニター21と人物Uの距離Tが遠いので、比較的大きく表示されていることを示す。
この実施形態では、広告画像は表示画面全体に表示され、QRコード画像は所定位置に表示される場合を示したが、広告画像は複数でもよく、また広告画像と会議、講演会、説明会等で使用する資料画像を表示画面を分割して同時に表示してもよい。またQRコード画像は広告画像が複数である場合、その複数に合わせて複数表示してもよい。
The advertisement image and the QR code image are displayed on the liquid crystal monitor 21 as shown in FIG. 4 according to the distance between the liquid crystal monitor 21 and the person U measured as described above. That is, FIG. 4A shows an example in which the image data files (display.jpg) and (address.bmp) stored in the image data storage unit 91 of the HDD 90 are expanded on the RAM 50. 4B, when the distance T between the liquid crystal monitor 21 and the person U is short, the advertisement image g and the QR code image j1 are combined and developed on the RAM 50, and transferred to the display unit 20 for display. An example is shown. In this case, the QR code j1 is displayed relatively small because the distance T between the liquid crystal monitor 21 and the person U is short. FIG. 4C shows a case where the distance T between the liquid crystal monitor 21 and the person U is far, and the display unit 20 displays the advertisement image g and the QR code j2. In this case, the QR code j2 indicates that the display is relatively large because the distance T between the liquid crystal monitor 21 and the person U is long.
In this embodiment, the advertisement image is displayed on the entire display screen, and the QR code image is displayed at a predetermined position. However, the advertisement image may be plural, and the advertisement image and the conference, lecture, briefing session, etc. The document image used in the above may be displayed simultaneously by dividing the display screen. In addition, when there are a plurality of advertisement images, a plurality of QR code images may be displayed in accordance with the plurality of advertisement images.

本発明の情報表示装置は、液晶モニター21と人物Uまでの距離に応じて、液晶モニター21に表示するQRコードの大きさを自動的に制御するため、図5及び図6に示すフローチャートのように処理が行われる。
図5のフローチャートは、広告データとQRコード画像データをメモリ上に展開し、画像合成して表示部20に表示データを転送する処理を示す。
図5に示すように、本発明の装置が動作を開始すると、ステップS1では、人物Uが写っていないとして、RAM50の表1のQRコードの拡大率R=1.0を設定する。次に、ステップS2では画像データ蓄積部91より広告データを取得し、これをRAM50の広告画像データ記憶部52に展開する。例えば、表3のID番号「1」を表示する場合は、広告画像蓄積部91aのdisplay.jpgファイルを取得して、RAM50の広告画像データ記憶部52に展開する。また画像データ蓄積部91よりQRコード画像データを取得し、これをRAM50のQRコード画像データ記憶部53に展開する(ステップS3)。例えば、表3のID番号「1」を表示する場合は、のQRデータ蓄積部91dのaddress.bmpファイルを取得して、RAM50のQR画像データ記憶部53に展開する。このとき、QRコード画像データ記憶部53の中心位置を、表示画面上のX,Y座標とする。
次に、QRコード画像データを記憶する表1より、QRコードの縦サイズdH、及び横サイズdWを取得する(ステップS4)。そして、ステップS5では、QRコード画像データ記憶部53上のQRコード画像データを縦方向、横方向に表1の拡大率に従いR倍に拡大する。即ち、
dW=R×dW
dH=R×dH
を求める。
次に、ステップS6では、RAM50上に展開した広告データの座標(X−dW/2、Y−dH/2)の位置にQRコード画像データを上書きする。即ち、ステップS3で展開したQRコード画像データ記憶部53の中心位置を中心にして、拡大したQRコード画像データ記憶部53をメモリ上に展開する。そして、ステップS7では、広告データとQRコードを合成した表示データを表示部20に転送し、液晶モニター21で表示する。
Since the information display device of the present invention automatically controls the size of the QR code displayed on the liquid crystal monitor 21 according to the distance between the liquid crystal monitor 21 and the person U, the flow chart shown in FIGS. Processing is performed.
The flowchart of FIG. 5 shows a process of developing the advertisement data and the QR code image data on the memory, synthesizing the images, and transferring the display data to the display unit 20.
As shown in FIG. 5, when the apparatus of the present invention starts to operate, in step S1, it is determined that the person U is not captured, and the QR code enlargement ratio R = 1.0 in Table 1 of the RAM 50 is set. Next, in step S <b> 2, advertisement data is acquired from the image data storage unit 91, and is expanded in the advertisement image data storage unit 52 of the RAM 50. For example, when displaying the ID number “1” in Table 3, the display.jpg file of the advertisement image storage unit 91 a is acquired and expanded in the advertisement image data storage unit 52 of the RAM 50. Further, the QR code image data is acquired from the image data storage unit 91 and developed in the QR code image data storage unit 53 of the RAM 50 (step S3). For example, when the ID number “1” in Table 3 is displayed, the address.bmp file of the QR data storage unit 91 d is acquired and developed in the QR image data storage unit 53 of the RAM 50. At this time, the center position of the QR code image data storage unit 53 is set to the X and Y coordinates on the display screen.
Next, the vertical size dH and horizontal size dW of the QR code are obtained from Table 1 storing the QR code image data (step S4). In step S5, the QR code image data on the QR code image data storage unit 53 is enlarged R times in the vertical and horizontal directions according to the enlargement ratio in Table 1. That is,
dW = R × dW
dH = R × dH
Ask for.
Next, in step S6, the QR code image data is overwritten at the position of the coordinates (X-dW / 2, Y-dH / 2) of the advertisement data developed on the RAM 50. That is, the enlarged QR code image data storage unit 53 is developed on the memory around the center position of the QR code image data storage unit 53 developed in step S3. In step S7, the display data obtained by combining the advertisement data and the QR code is transferred to the display unit 20 and displayed on the liquid crystal monitor 21.

図6は、QRコードの表示拡大率を求める処理を示す。
まず、ステップS11では、画像解析部80より人物が写っている画像データを取得する。ステップS12では、画像解析部80より取得した画像データに人物が写っているか否か判断する。人物が写っている場合はステップS13に進む。ステップS13では、人物が写っている画像データから人物Uの顔の目、鼻、口の認識状態を取得する。認識状態から目、鼻、口が認識できるか否か判断する(ステップS14)。このように、目、鼻、口を認識する場合に、更に肌色が認識できる否かを判断してもよい。これにより、人物Uが液晶モニター21を見ているか否か判断する。
次に、ステップS15では、携帯電話が写っているか否か判断する。携帯電話が写っている場合は、ステップS16で、画像解析部80より写っている人物の手に持っている携帯電話の認識状態を取得する。ステップS17では、携帯電話が認識できるか否か、及び携帯電話のカメラが液晶モニター21に向けられているか否か判断する。つまり、携帯電話の形状を認識し、そして、携帯電話のカメラ用レンズを認識できるか否か判断する。ステップS15〜S17によって、携帯電話によってQRコードを撮影しようとしているかどうか判断する。ステップS15〜S17で、携帯電話を画像認識することが困難である場合は、ステップS15〜S17はスキップしてもよい。このフローでは図示していないが、人物Uまたは携帯電話が複数認識される場合は、表示画面のQRコード画像の正面の人物または携帯電話を選択する。更に表示画面のQRコード画像の正面の人物または携帯電話が複数である場合は、表示画面に近い人物または携帯電話を選択する。
FIG. 6 shows a process for obtaining the display magnification rate of the QR code.
First, in step S <b> 11, image data showing a person is acquired from the image analysis unit 80. In step S12, it is determined whether or not a person is included in the image data acquired from the image analysis unit 80. If a person is shown, the process proceeds to step S13. In step S13, the recognition state of the eyes, nose, and mouth of the face of the person U is acquired from the image data that shows the person. It is determined whether the eyes, nose and mouth can be recognized from the recognition state (step S14). Thus, when recognizing eyes, nose, and mouth, it may be determined whether or not the skin color can be recognized. Thereby, it is determined whether or not the person U is looking at the liquid crystal monitor 21.
Next, in step S15, it is determined whether or not the mobile phone is shown. If the mobile phone is shown, in step S16, the recognition state of the mobile phone held in the hand of the person shown in the image analysis unit 80 is acquired. In step S17, it is determined whether or not the mobile phone can be recognized and whether or not the camera of the mobile phone is pointed at the liquid crystal monitor 21. That is, it recognizes the shape of the mobile phone and determines whether the camera lens of the mobile phone can be recognized. In steps S15 to S17, it is determined whether or not the mobile phone is going to photograph the QR code. If it is difficult to recognize the image of the mobile phone in steps S15 to S17, steps S15 to S17 may be skipped. Although not shown in this flow, when a plurality of persons U or mobile phones are recognized, the person or mobile phone in front of the QR code image on the display screen is selected. Further, when there are a plurality of persons or mobile phones in front of the QR code image on the display screen, the person or mobile phone close to the display screen is selected.

ステップS18では、左側のカメラ60の画像データから人物Uが写っているX座標である座標xlを画像解析部80より取得する。ステップS19では、右側のカメラ70の画像データから人物Uが写っているX座標である座標xrを画像解析部80より取得する。そして、ステップS20では、左側カメラの画像データに写っている人物のX座標xlと、右側カメラの画像データに写っている人物のX座標xrから、ずれZを求める。即ち、Z=xl−xrを計算する。次に、ステップS21では、左右のカメラの距離Dと、カメラの焦点距離f、ずれZを用いて、表示部20から人物Uまでの距離Tを算出する。即ち、T=D×f/Zを演算する。
次に、ステップS22では、図5のフローチャートのステップS1で予め設定された倍率R(即ち、1.0)を、変数R’に代入する。ステップS23では、ステップS21で算出した表示部20から人物Uまでの距離T、QRコードの最適表示距離K、QRコードの大きさ係数Sを用いて、QRコードの拡大率Rを算出する。QRコードの大きさ係数S即ち、R=S×T/Kを演算する。ステップS24では、拡大率の変数R’が拡大率Rに等しいか否か判断する。即ちR=R’か否か判断する。NOであれば、図5のステップS2に移行する。YESであれば、ステップS11に移行する。
上記ステップS12、S14、S15、S17において、NOの場合は、即ち、人物Uが写っていない場合、目、鼻、口が認識できない場合、または携帯電話が認識できない場合は、ステップS25に移行し、拡大率が1.0か否か判断する。YESであれば、ステップS11に移行する。NOであれば、ステップS26で、RAM上のデータ、QRコード画像の拡大率をR=1.0に設定して、ステップS2に移行する。即ち、予め設定された倍率で表示する。
以上のような処理によって、本発明によれば、人物Uが所有するカメラによって撮影しやすい大きさで情報を表示するように制御することができる。
In step S <b> 18, the coordinate xl, which is the X coordinate where the person U is captured, is acquired from the image analysis unit 80 from the image data of the left camera 60. In step S <b> 19, a coordinate xr, which is an X coordinate where the person U is captured, is acquired from the image analysis unit 80 from the image data of the right camera 70. In step S20, the shift Z is obtained from the X coordinate xl of the person shown in the image data of the left camera and the X coordinate xr of the person shown in the image data of the right camera. That is, Z = xl−xr is calculated. Next, in step S21, the distance T from the display unit 20 to the person U is calculated using the distance D between the left and right cameras, the focal length f of the camera, and the shift Z. That is, T = D × f / Z is calculated.
Next, in step S22, the magnification R (that is, 1.0) preset in step S1 of the flowchart of FIG. 5 is substituted into the variable R ′. In step S23, the QR code enlargement ratio R is calculated using the distance T from the display unit 20 to the person U calculated in step S21, the QR code optimal display distance K, and the QR code size coefficient S. The QR code size coefficient S, that is, R = S × T / K is calculated. In step S24, it is determined whether or not the enlargement ratio variable R ′ is equal to the enlargement ratio R. That is, it is determined whether or not R = R ′. If NO, the process proceeds to step S2 in FIG. If YES, the process moves to step S11.
In the above-described steps S12, S14, S15, and S17, if NO, that is, if the person U is not captured, if the eyes, nose, mouth cannot be recognized, or if the mobile phone cannot be recognized, the process proceeds to step S25. It is determined whether the enlargement ratio is 1.0. If YES, the process moves to step S11. If NO, in step S26, the enlargement ratio of the data on the RAM and the QR code image is set to R = 1.0, and the process proceeds to step S2. In other words, the image is displayed at a preset magnification.
Through the processing as described above, according to the present invention, it is possible to control to display information in a size that can be easily photographed by the camera owned by the person U.

以上の説明は、表示画面に広告画像とQRコード画像を表示する場合を説明したが、広告画像を会議、講演会、説明会等で使用する資料画像に代え、QRコード画像を例えば、一次元バーコード、二次元バーコード、数字データ、文字データ、画像データに代えてもよい。従って、本発明の情報表示装置は、例えば少なくとも一辺が1m以上或いはそれ以上の大きさを有し、壁一面のように非常に大型の表示画面を有する液晶モニターを用いて、宣伝または会議、講演会、説明会等に使用することができる。
また、上記説明では、図1の広告画像データ記憶部52と、QRコード画像データ記憶部53をRAM50に分けて形成したが、広告画像とQRコード画像が一つの画面に形成されている場合は、広告画像からQRコード画像を認識して切り出し、切り出したQRコード画像だけを大きさ制御してもよい。
In the above description, the case where the advertisement image and the QR code image are displayed on the display screen has been described. However, the advertisement image is replaced with a material image used in a conference, lecture, information session, etc. A bar code, a two-dimensional bar code, numeric data, character data, or image data may be used instead. Accordingly, the information display device of the present invention uses, for example, a liquid crystal monitor having at least one side of 1 m or more and a very large display screen such as one wall to promote, conference, or lecture. It can be used for meetings and briefings.
In the above description, the advertisement image data storage unit 52 and the QR code image data storage unit 53 of FIG. 1 are formed separately in the RAM 50. However, when the advertisement image and the QR code image are formed on one screen, Alternatively, the QR code image may be recognized and cut out from the advertisement image, and the size of only the cut out QR code image may be controlled.

上記説明では、表示部20と広告画像を見ている人物、またはテレビ会議、講演会、説明会等の参加者の距離を測定するため、第1撮影部60、第2撮影部70及び画像解析部80を使用したが、これらに代えて、赤外線または赤色光を広告画像を見ている人物、またはテレビ会議、講演会、説明会等の参加者に向けて発射し、その反射光を測定することによって、表示部20との距離を測定するものであってもよい。また、超音波を使用して、表示部20との距離を測定するものであってもよい。更には、カメラのピントあわせ機能を使用して、ピントの合った位置までの距離を測定するものであってもよい。この場合に、赤外線または赤色光を発射する光源、または超音波を発生する超音波源は、表示部20の近傍に複数個配置し、複数個の光源からの反射光を検出することにより、より正確な距離を測定することができる。   In the above description, the first photographing unit 60, the second photographing unit 70, and the image analysis are performed in order to measure the distance between the display unit 20 and the person watching the advertisement image, or the participants such as the video conference, the lecture, and the explanatory meeting. Although the unit 80 is used, instead of these, infrared or red light is emitted toward a person watching an advertisement image or a participant such as a video conference, a lecture, a briefing session, and the reflected light is measured. Thus, the distance to the display unit 20 may be measured. Further, the distance from the display unit 20 may be measured using ultrasonic waves. Furthermore, the distance to the in-focus position may be measured using the camera focusing function. In this case, a plurality of light sources emitting infrared light or red light, or ultrasonic sources generating ultrasonic waves are arranged in the vicinity of the display unit 20, and the reflected light from the plurality of light sources is detected. Accurate distance can be measured.

以上の説明では、表示部20の前に複数の人物がいる場合に、表示部20の正面に居る人物Uを選択して、正面に居る人物Uの前に表示しているQRコードの大きさを制御した。しかし、表示部20の前に複数の人物Uがいる場合に、複数の人物Uの前にそれぞれQRコードを表示して、表示部20に表示した各QRコードから各人物の距離を測定して、そのQRコードの大きさを制御してもよい。   In the above description, when there are a plurality of persons in front of the display unit 20, the person U in front of the display unit 20 is selected, and the size of the QR code displayed in front of the person U in front is displayed. Controlled. However, when there are a plurality of persons U in front of the display unit 20, QR codes are displayed in front of the plurality of persons U, and the distances between the persons are measured from the QR codes displayed on the display unit 20. The size of the QR code may be controlled.

本発明の情報表示装置の構成を示すブロック図である。It is a block diagram which shows the structure of the information display apparatus of this invention. 本発明の情報表示装置に用いられる表示部から人物までの距離を測定する方法を説明する図である。It is a figure explaining the method to measure the distance from the display part used for the information display apparatus of this invention to a person. 本発明の情報表示装置に用いられるステレオ法の原理を説明する図である。It is a figure explaining the principle of the stereo method used for the information display apparatus of this invention. 本発明の情報表示装置によって表示される広告画像及び資料画像とQRコードの表示例を示す図である。It is a figure which shows the example of a display of the advertisement image displayed by the information display apparatus of this invention, a document image, and QR code. 本発明の情報表示装置が広告データとQRコード画像データをメモリ上に展開し、画像合成して表示部20に表示データを転送する処理を示すフローチャート図である。FIG. 5 is a flowchart showing a process in which the information display device of the present invention develops advertisement data and QR code image data on a memory, combines the images, and transfers the display data to the display unit 20. 本発明の情報表示装置がQRコードの表示拡大率を求める処理を示すフローチャート図である。It is a flowchart figure which shows the process in which the information display apparatus of this invention calculates | requires the display magnification of QR Code.

符号の説明Explanation of symbols

1 情報表示装置
10 制御部
20 表示部
30 音声出力部
40 ROM
50 RAM
60 第1撮影部
70 第2撮影部
80 画像解析部
90 HDD
DESCRIPTION OF SYMBOLS 1 Information display apparatus 10 Control part 20 Display part 30 Audio | voice output part 40 ROM
50 RAM
60 First imaging unit 70 Second imaging unit 80 Image analysis unit 90 HDD

Claims (7)

外部機器によって、光学的に読み取り可能な画像を表示する情報表示装置であって、
表示画面上に画像を表示する表示部と、
前記表示画面上に可変の大きさで表示する可変表示画像情報を記憶する表示画像記憶部と、
前記表示画面から、前記外部機器までの距離を測定する距離測定部と、
前記距離測定部によって測定された距離に応じて、前記可変表示画像の表示倍率を制御する表示倍率制御部と、
前記表示画面上に、前記表示倍率制御部によって制御された大きさで前記可変表示画像を表示する表示駆動部と
を備えることを特徴とする情報表示装置。
An information display device for displaying an optically readable image by an external device,
A display unit for displaying an image on the display screen;
A display image storage unit for storing variable display image information to be displayed in a variable size on the display screen;
A distance measuring unit for measuring a distance from the display screen to the external device;
A display magnification control unit for controlling the display magnification of the variable display image according to the distance measured by the distance measurement unit;
An information display device comprising: a display driving unit configured to display the variable display image on the display screen in a size controlled by the display magnification control unit.
前記外部機器は撮影カメラであり、前記表示倍率制御部は、前記撮影カメラが複数存在する場合に、前記表示画面に表示された可変表示画像の正面に位置する撮影カメラを選択し、前記表示画面から前記選択された撮影カメラの距離までに応じて、前記可変表示画像の表示倍率を制御する請求項1に記載の情報表示装置。   The external device is a photographing camera, and the display magnification control unit selects a photographing camera located in front of the variable display image displayed on the display screen when there are a plurality of the photographing cameras, and the display screen The information display apparatus according to claim 1, wherein a display magnification of the variable display image is controlled according to a distance from the selected photographing camera to a distance. 前記距離測定部が、前記表示画面から前記撮影カメラまでの距離を測定できなかった場合に、前記表示倍率制御部は、前記可変表示画像を予め設定された大きさで表示する請求項1または2に記載の情報表示装置。   3. The display magnification control unit displays the variable display image in a preset size when the distance measurement unit cannot measure the distance from the display screen to the photographing camera. The information display device described in 1. 前記距離測定部は、前記表示部近傍に備えた複数のカメラにより構成され、前記複数のカメラによって撮影された画像をステレオ法によって処理し、前記表示画面から撮影カメラまでの距離を求める請求項1に記載の情報表示装置。   The distance measuring unit includes a plurality of cameras provided in the vicinity of the display unit, processes images captured by the plurality of cameras by a stereo method, and obtains a distance from the display screen to the imaging camera. The information display device described in 1. 前記可変表示画像は、一次元バーコード、二次元バーコード、QRコード、数字画像、文字画像、絵またはイラストの少なくとも1つを含む画像である請求項1に記載の情報表示装置。   The information display device according to claim 1, wherein the variable display image is an image including at least one of a one-dimensional barcode, a two-dimensional barcode, a QR code, a numeric image, a character image, a picture, or an illustration. 前記表示画像記憶部は、更に前記表示画面上に所定の大きさで表示する固定表示画像情報を記憶し、前記表示駆動部は表示倍率が制御された可変表示画像と固定表示画像を合成して表示する請求項1に記載の情報表示装置。   The display image storage unit further stores fixed display image information to be displayed in a predetermined size on the display screen, and the display drive unit combines the variable display image with the display magnification controlled and the fixed display image. The information display device according to claim 1 for displaying. 表示画面上に可変の大きさで表示する可変表示画像を記憶する表示画像記憶部を備え、
前記表示画面から、前記表示画面上に表示された前記可変表示画像を撮影する撮影カメラまでの距離を測定する距離測定ステップと、
前記測定された距離に応じて、前記可変表示画像の表示倍率を制御する表示倍率制御ステップと、
前記表示画面上に、前記表示倍率が制御された大きさで前記可変表示画像を表示する表示駆動ステップと
を備えることを特徴とする情報表示方法。
A display image storage unit for storing a variable display image to be displayed in a variable size on the display screen;
A distance measuring step for measuring a distance from the display screen to a photographing camera for photographing the variable display image displayed on the display screen;
A display magnification control step for controlling a display magnification of the variable display image according to the measured distance;
And a display driving step of displaying the variable display image on the display screen in a size in which the display magnification is controlled.
JP2008231088A 2008-09-09 2008-09-09 Information display device and information display method Pending JP2010066389A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008231088A JP2010066389A (en) 2008-09-09 2008-09-09 Information display device and information display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008231088A JP2010066389A (en) 2008-09-09 2008-09-09 Information display device and information display method

Publications (1)

Publication Number Publication Date
JP2010066389A true JP2010066389A (en) 2010-03-25

Family

ID=42192049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008231088A Pending JP2010066389A (en) 2008-09-09 2008-09-09 Information display device and information display method

Country Status (1)

Country Link
JP (1) JP2010066389A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8842202B2 (en) 2012-10-10 2014-09-23 Nec Casio Mobile Communications Ltd. Mobile terminal, method for adjusting magnification of camera and program
JPWO2017057196A1 (en) * 2015-09-29 2018-07-05 シャープ株式会社 Display device, television receiver, program, and recording medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8842202B2 (en) 2012-10-10 2014-09-23 Nec Casio Mobile Communications Ltd. Mobile terminal, method for adjusting magnification of camera and program
JPWO2017057196A1 (en) * 2015-09-29 2018-07-05 シャープ株式会社 Display device, television receiver, program, and recording medium

Similar Documents

Publication Publication Date Title
JP4970302B2 (en) Image processing apparatus, image processing method, and imaging apparatus
US9619693B2 (en) Display system, display device, projection device and program
KR101824439B1 (en) Mobile Stereoscopic Camera Apparatus and Method of Shooting thereof
WO2015148351A1 (en) Screen watermarking methods and arrangements
JP6655378B2 (en) Meeting support system
WO2019011091A1 (en) Photographing reminding method and device, terminal and computer storage medium
JP2009267787A (en) Composition determination device, composition determination method, and program
KR20110047398A (en) Image providing system and image providing mehtod of the same
JP4872396B2 (en) Image editing apparatus, image editing method, and image editing program
JP2011090386A (en) Information display device
JP2010066389A (en) Information display device and information display method
JP2010185962A (en) Information display device and information display method
JP5571895B2 (en) Information display device
JP2006332789A (en) Video photographing method, apparatus, and program, and storage medium for storing the program
JP2008140297A (en) Animation generation method and system
JP2005354331A (en) Image output unit and program
JP2005115897A (en) Three-dimensional image creation device and method
KR20120088966A (en) System and method for shooting photography using kiosk
WO2015141214A1 (en) Processing device for label information for multi-viewpoint images and processing method for label information
JP2008263500A (en) Communication device and communication program
JP2016118816A (en) Display system, display method, and program
JP5367747B2 (en) Imaging apparatus, imaging method, and imaging system
JP5055462B2 (en) Image processing apparatus, image processing method, and imaging apparatus
WO2018168825A1 (en) Image processing device and electronic equipment
JP2015165354A (en) Display device, display method, and program