JP2013042221A

JP2013042221A - Communication terminal, communication method, marker device, and communication system

Info

Publication number: JP2013042221A
Application number: JP2011176118A
Authority: JP
Inventors: Takenobu Arima; 健晋有馬
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2011-08-11
Filing date: 2011-08-11
Publication date: 2013-02-28

Abstract

PROBLEM TO BE SOLVED: To obtain data of a display object based on a marker and to display the data of the display object on a display screen simply and at high-speed at a marker-type display form.SOLUTION: A communication terminal comprises: a display unit for performing optical communication with a marker device as a light source, and displaying information or data; a light-receiving unit for receiving an optical signal emitted by the marker device; a light-receiving control unit for converting the light signal received by the light-receiving unit into a modulation signal having modulated data corresponding to the marker device; an imaging unit for obtaining an image around the communication terminal; a display control unit for making the display unit display the image obtained by the imaging unit; and a control unit for obtaining the data corresponding to the marker device by demodulating the modulation signal converted by the light-receiving control unit. The control unit instructs the display control unit to display the data corresponding to the marker device at a prescribed position of the display screen of the image displayed on the display unit.

Description

本発明は、光通信を用いてデータを通信する通信端末、通信方法、マーカ装置及び通信システムに関する。 The present invention relates to a communication terminal, a communication method, a marker device, and a communication system that communicate data using optical communication.

従来の光通信の一例として、可視光通信は、送信側において、通信対象の情報若しくはデータに応じて電気信号を変調し、例えばＬＥＤ（Light Emitting Diode）などの発光体から変調信号の符号ビット（「１」又は「０」）を可視光線に重畳して送信（発光）する。また、可視光通信は、受信側において、送信（発光）された可視光信号を受光（受信）し、受光された可視光信号を電気信号に変換して更に復調して元の情報若しくはデータを取得する。この様な可視光通信は、可視光通信コンソーシアム（ＶＬＣＣ：Visible Light Communication Consortium）などの団体により、通信方式などの標準化が進められている。 As an example of conventional optical communication, visible light communication modulates an electrical signal in accordance with information or data to be communicated on the transmission side, and, for example, a sign bit of a modulated signal from a light emitter such as an LED (Light Emitting Diode) ( “1” or “0”) is superimposed on visible light and transmitted (emitted). Further, in the visible light communication, on the receiving side, a transmitted (light-emitting) visible light signal is received (received), the received visible light signal is converted into an electric signal, and further demodulated to restore original information or data. get. Such visible light communication is being standardized by a group such as Visible Light Communication Consortium (VLCC).

可視光線を用いた通信の一例として、例えば、特許文献１には、映画撮影所において現実の人物又は物体の動きをデジタル的に記録する、所謂モーションキャプチャのために、可視光線を用いてデータを送信し、光学タグにおいて受光された可視光線からデータを投影する方法が開示されている。 As an example of communication using visible light, for example, Patent Document 1 discloses data using visible light for so-called motion capture, in which a motion of a real person or object is digitally recorded in a movie studio. A method is disclosed for projecting data from visible light that is transmitted and received by an optical tag.

また、近年、現実環境にコンピュータを用いて情報を付加的に表示し、又は情報が付加的に表示された環境そのものを示すＡＲ（Augmented Reality：拡張現実）技術が普及し始めている。ＡＲ技術においては、現実環境における特定の物体に関する説明又は関連情報を含む電子情報（アノテーションという）が、説明対象となる実物体（物理オブジェクト）に対応付けて提示される。ＡＲ技術の情報を付加的に表示する形態としては、マーカ型の表示形態と、マーカーレス型の表示形態とに大別される。 In recent years, AR (Augmented Reality) technology that additionally displays information in a real environment using a computer or indicates an environment in which information is additionally displayed has begun to spread. In the AR technology, electronic information (referred to as annotations) including explanation or related information related to a specific object in a real environment is presented in association with a real object (physical object) to be explained. The form of additionally displaying AR technology information is roughly divided into a marker-type display form and a markerless-type display form.

マーカ型は、マーカと呼ばれる図形などをユーザ端末において画像認識し、その図形に対応した情報（例：画像データ、テキストデータ）を、ユーザ端末のカメラ部において映し出された映像に、マーカの位置を基にオーバーレイして表示する方法である。 In the marker type, a figure called a marker is image-recognized at the user terminal, and information corresponding to the figure (eg, image data, text data) is displayed on the video image projected on the camera unit of the user terminal. This is a method of overlaying and displaying.

一方、マーカーレス型は、マーカを使わずに、情報若しくはデータ、更にユーザ端末の表示画面における情報若しくはデータの表示位置を、ネットワークを介して別途取得し、当該ユーザ端末の表示画面の表示位置に表示する方法である。マーカーレス型として、例えば頓智ドット株式会社のセカイカメラ（登録商標）というアプリケーションが知られている。このアプリケーションにおいては、カメラにおいて映し出された映像に、関連する付加情報（文字、画像、音声）がオーバーレイして表示される。より具体的には、このアプリケーションにおいては、ＧＰＳ（Global Positioning System）及び電子コンパスを用いて位置及び方向を特定し、関連する付加情報を表示する場所が特定される。なお、この付加情報は、インターネットを介して、このアプリケーションを利用可能なユーザ間において共有可能とされる。 On the other hand, in the markerless type, information or data, and also the display position of information or data on the display screen of the user terminal are separately acquired via the network without using the marker, and the display position of the display screen of the user terminal is obtained. How to display. As a markerless type, for example, an application called Sekai Camera (registered trademark) of Tonchi Dot Co., Ltd. is known. In this application, related additional information (characters, images, sounds) is overlaid and displayed on the video projected by the camera. More specifically, in this application, a position and direction are specified using a GPS (Global Positioning System) and an electronic compass, and a place where related additional information is displayed is specified. This additional information can be shared between users who can use this application via the Internet.

特開２００７−３１０３８２号公報JP 2007-310382 A

しかしながら、上述したマーカ型の表示形態においては、マーカの形状を基に表示対象のデータを特定するため、表示対象のデータのデータ量を多くするために複雑な形状のマーカを用いると、結果的に、ユーザ端末においてマーカの形状を認識するための画像認識処理量が増大し、時間がかかることになる。反対に、マーカの形状の認識を高速化するためにマーカの形状を単純化すると、ユーザ端末において表示されるデータのデータ量が減少することになる。 However, in the marker-type display mode described above, since the data to be displayed is specified based on the shape of the marker, if a marker having a complicated shape is used to increase the data amount of the data to be displayed, the result is as a result. In addition, the amount of image recognition processing for recognizing the shape of the marker at the user terminal increases and takes time. On the other hand, if the marker shape is simplified in order to speed up the recognition of the marker shape, the amount of data displayed on the user terminal is reduced.

また、上述した特許文献１にはＡＲ技術におけるマーカ型の表示形態については想定及び記載されていないため、マーカ型の表示形態において、マーカを基に表示対象のデータを取得して、表示対象のデータを高速且つ簡易に表示画面に表示することは困難であると考えられる。 Moreover, since the marker-type display form in the AR technology is not assumed or described in Patent Document 1 described above, in the marker-type display form, data to be displayed is acquired based on the marker, and the display target is displayed. It is considered difficult to display data on the display screen quickly and easily.

そこで、本発明は、上述した従来の事情に鑑みてなされたものであり、マーカ型の表示形態において、マーカを基に表示対象のデータを取得して、表示対象のデータを高速且つ簡易に表示画面に表示する通信端末、通信方法、マーカ装置及び通信システムを提供することを目的とする。 Therefore, the present invention has been made in view of the above-described conventional circumstances. In the marker type display form, the display target data is acquired based on the marker, and the display target data is displayed quickly and easily. It aims at providing the communication terminal displayed on a screen, the communication method, a marker apparatus, and a communication system.

本発明は、上述した通信端末であって、光源としてのマーカ装置と光通信する通信端末であって、情報若しくはデータを表示する表示部と、前記マーカ装置から発光された光信号を受光する受光部と、前記受光部により受光された前記光信号を、前記マーカ装置に対応するデータが変調された変調信号に変換する受光制御部と、前記通信端末の周囲の映像を取得する撮像部と、前記撮像部により取得された前記映像を前記表示部に表示させる表示制御部と、前記受光制御部により変換された前記変調信号を復調して前記マーカ装置に対応するデータを取得する制御部と、を備え、前記制御部は、前記表示制御部により前記表示部に表示された前記映像の表示画面の所定位置に、前記マーカ装置に対応するデータを表示するように前記表示制御部に指示する。 The present invention is the communication terminal described above, which is a communication terminal that optically communicates with a marker device as a light source, a display unit that displays information or data, and a light receiving unit that receives an optical signal emitted from the marker device. A light receiving control unit that converts the optical signal received by the light receiving unit into a modulation signal obtained by modulating data corresponding to the marker device, and an imaging unit that acquires an image around the communication terminal, A display control unit that displays the video acquired by the imaging unit on the display unit, a control unit that demodulates the modulation signal converted by the light reception control unit and acquires data corresponding to the marker device; And the control unit displays the data corresponding to the marker device at a predetermined position on a display screen of the video displayed on the display unit by the display control unit. To tell.

本発明は、上述した通信方法であって、光源としてのマーカ装置と光通信する通信端末における通信方法であって、前記マーカ装置から発光された光信号を受光するステップと、前記受光された前記光信号を、前記マーカ装置に対応するデータが変調された変調信号に変換するステップと、前記通信端末の周囲の映像を取得するステップと、前記取得された前記映像を表示部に表示させるステップと、前記変換された前記変調信号を復調して前記マーカ装置に対応するデータを取得するステップと、前記表示部に表示された前記映像の表示画面の所定位置に、前記取得された前記マーカ装置に対応するデータを表示するように指示するステップと、を備える。 The present invention is the communication method described above, which is a communication method in a communication terminal that optically communicates with a marker device as a light source, the step of receiving an optical signal emitted from the marker device, and the received light Converting an optical signal into a modulated signal in which data corresponding to the marker device is modulated; acquiring an image around the communication terminal; and displaying the acquired image on a display unit; Demodulating the converted modulation signal to obtain data corresponding to the marker device; and at a predetermined position on the display screen of the video displayed on the display unit, the acquired marker device Instructing to display corresponding data.

本発明は、上述したマーカ装置であって、通信端末と光通信する光源としてのマーカ装置であって、前記マーカ装置に対応するデータを保存するメモリ部と、前記メモリ部に保存されている前記マーカ装置に対応するデータを変調する制御部と、前記制御部により変調された前記マーカ装置に対応するデータを前記光通信における光信号に変換する発光制御部と、前記発光制御部により変換された光信号を用いて発光する発光部と、を備える。 The present invention is the marker device described above, which is a marker device as a light source that optically communicates with a communication terminal, the memory unit storing data corresponding to the marker device, and the memory unit storing the data A control unit that modulates data corresponding to the marker device, a light emission control unit that converts data corresponding to the marker device modulated by the control unit into an optical signal in the optical communication, and the light emission control unit A light emitting unit that emits light using an optical signal.

本発明は、上述した通信システムであって、光源としてのマーカ装置と前記マーカ装置と光通信する通信端末とを含む通信システムであって、前記マーカ装置は、前記マーカ装置に対応するデータを保存するメモリ部と、前記メモリ部に保存されている前記マーカ装置に対応するデータを変調する制御部と、前記制御部により変調された前記マーカ装置に対応するデータを前記光通信における光信号に変換する発光制御部と、前記発光制御部により変換された光信号を用いて発光する発光部と、を備え、前記通信端末は、情報若しくはデータを表示する表示部と、前記マーカ装置から発光された光信号を受光する受光部と、前記受光部により受光された前記光信号を、前記マーカ装置に対応するデータが変調された変調信号に変換する受光制御部と、前記通信端末の周囲の映像を取得する撮像部と、前記撮像部により取得された前記映像を前記表示部に表示させる表示制御部と、前記受光制御部により変換された前記変調信号を復調して前記マーカ装置に対応するデータを取得する制御部と、を備え、前記制御部は、前記表示制御部により前記表示部に表示された前記映像の表示画面の所定位置に、前記マーカ装置に対応するデータを表示するように前記表示制御部に指示する。 The present invention is the communication system described above, and includes a marker device as a light source and a communication terminal that performs optical communication with the marker device, and the marker device stores data corresponding to the marker device. And a control unit that modulates data corresponding to the marker device stored in the memory unit, and data corresponding to the marker device modulated by the control unit is converted into an optical signal in the optical communication. A light emission control unit, and a light emission unit that emits light using an optical signal converted by the light emission control unit, wherein the communication terminal emits light from the marker device and a display unit that displays information or data A light receiving unit that receives an optical signal, and a light receiving control that converts the optical signal received by the light receiving unit into a modulation signal in which data corresponding to the marker device is modulated. An imaging unit that acquires a video around the communication terminal, a display control unit that displays the video acquired by the imaging unit on the display unit, and the modulation signal converted by the light reception control unit. A control unit that demodulates and acquires data corresponding to the marker device, wherein the control unit is located at a predetermined position on the display screen of the video displayed on the display unit by the display control unit. The display control unit is instructed to display data corresponding to.

上述した構成によれば、マーカ型の表示形態において、マーカを基に表示対象のデータを取得して、表示対象のデータを高速且つ簡易に表示画面に表示することができる。 According to the configuration described above, in the marker-type display mode, it is possible to acquire display target data based on the marker and display the display target data on the display screen at high speed.

本発明によれば、マーカ型の表示形態において、マーカを基に表示対象のデータを取得して、表示対象のデータを高速且つ簡易に表示画面に表示することができる。 According to the present invention, in a marker type display form, data to be displayed can be acquired based on a marker, and the data to be displayed can be displayed on the display screen at high speed.

本実施形態の通信システムを構成するＡＲマーカ及び携帯端末の各ハードウェア構成を示すブロック図The block diagram which shows each hardware constitutions of AR marker which comprises the communication system of this embodiment, and a portable terminal （ａ）携帯端末からのＡＲマーカへの方向を説明する説明図、（ｂ）ＡＲマーカに対応する画像データの表示画面における表示の様子を説明する説明図(A) Explanatory drawing explaining the direction to AR marker from a portable terminal, (b) Explanatory drawing explaining the mode of a display on the display screen of the image data corresponding to AR marker （ａ）携帯端末からの複数のＡＲマーカへの各方向を説明する説明図、（ｂ）複数のＡＲマーカに対応する各画像データの表示画面における表示の様子を説明する説明図(A) Explanatory drawing explaining each direction to a plurality of AR markers from a portable terminal, (b) Explanatory drawing explaining the mode of display on the display screen of each image data corresponding to a plurality of AR markers 本実施形態のＡＲマーカの動作を説明するフローチャートA flowchart for explaining the operation of the AR marker of the present embodiment ＡＲマーカから発光された可視光信号を受光する前の携帯端末の表示画面の表示例を示す説明図Explanatory drawing which shows the example of a display of the display screen of a portable terminal before receiving the visible light signal light-emitted from AR marker. ＡＲマーカから発光された可視光信号を受光した後の携帯端末の表示画面の表示例を示す説明図Explanatory drawing which shows the example of a display of the display screen of a portable terminal after receiving the visible light signal light-emitted from AR marker. 本実施形態の携帯端末の動作を説明するフローチャートFlowchart for explaining the operation of the mobile terminal of the present embodiment ＡＲマーカに対応する画像データを更新する場合におけるＡＲマーカ及び携帯端末の各動作を説明するシーケンス図Sequence diagram explaining each operation | movement of AR marker and portable terminal in the case of updating the image data corresponding to AR marker （ａ）冷蔵庫の冷蔵室、野菜室及び冷凍室の前にそれぞれ配置された３つのＡＲマーカに対応する各画像データを画面に表示している様子を示す図、（ｂ）冷蔵庫の冷蔵室、野菜室及び冷凍室にそれぞれ光源としての３つのＡＲマーカが配置された様子を示す図(A) The figure which shows a mode that each image data corresponding to three AR markers arrange | positioned in front of the refrigerator compartment, vegetable compartment, and freezer compartment of a refrigerator respectively is displayed on a screen, (b) The refrigerator compartment of a refrigerator, The figure which shows a mode that three AR markers as a light source are each arrange | positioned in the vegetable compartment and the freezer compartment.

以下、本発明に係る通信端末、通信方法、マーカ装置及び通信システムの実施形態について、図面を参照して説明する。本発明に係る通信端末は、例えば携帯電話機、スマートフォン、デジタルスチルカメラ又はＰＤＡ（Personal Digital Assistant）などの携帯端末に適用可能であるが、これらの携帯端末に限定されない。以下、本発明に係る通信端末を、上述した携帯端末として説明する。 Hereinafter, embodiments of a communication terminal, a communication method, a marker device, and a communication system according to the present invention will be described with reference to the drawings. The communication terminal according to the present invention can be applied to a mobile terminal such as a mobile phone, a smartphone, a digital still camera, or a PDA (Personal Digital Assistant), but is not limited to these mobile terminals. Hereinafter, the communication terminal according to the present invention will be described as the portable terminal described above.

なお、本発明は、通信端末の様な装置、又は通信端末をコンピュータとして動作させるためのプログラムとして表現することも可能である。更に、本発明は、通信端末により実行される処理（ステップ）を含む通信方法として表現することも可能である。即ち、本発明は、装置、方法、プログラム及び当該装置を含むシステムのうちいずれのカテゴリでも表現可能である。 Note that the present invention can also be expressed as a program for operating a device such as a communication terminal or a communication terminal as a computer. Furthermore, the present invention can also be expressed as a communication method including processing (steps) executed by the communication terminal. That is, the present invention can be expressed in any category of an apparatus, a method, a program, and a system including the apparatus.

（通信システム１の構成）
図１は、本実施形態の通信システム１を構成するＡＲマーカ１０及び携帯端末２０の各ハードウェア構成を示すブロック図である。通信システム１は、図１に示す様に、マーカ装置としてのＡＲマーカ１０、及び携帯端末２０を含む構成である。通信システム１においては、ＡＲマーカ１０と携帯端末２０との間で光通信が行われる。以下の実施形態において、光通信として直進性及び独立性の観点で可視光通信を例示して説明するが、他には赤外線通信を用いても良い。 (Configuration of communication system 1)
FIG. 1 is a block diagram illustrating hardware configurations of the AR marker 10 and the mobile terminal 20 that configure the communication system 1 of the present embodiment. As illustrated in FIG. 1, the communication system 1 includes an AR marker 10 as a marker device and a mobile terminal 20. In the communication system 1, optical communication is performed between the AR marker 10 and the mobile terminal 20. In the following embodiments, visible light communication will be described as an example of optical communication from the viewpoints of straightness and independence, but infrared communication may be used instead.

先ず、ＡＲマーカ１０の構成について説明する。 First, the configuration of the AR marker 10 will be described.

ＡＲマーカ１０は、図１に示す様に、電源ＰＷ１０、制御部１１、メモリ部１２、可視光データ発光制御部１３、発光部１４、及びアンテナ１５が接続されているデータ受信部１６を含む構成である。ＡＲマーカ１０は、通信システム１における可視光通信の光源として機能する。ＡＲマーカ１０の各部は、電源ＰＷ１０により動作に必要な駆動電力が供給されている。 As shown in FIG. 1, the AR marker 10 includes a power supply PW10, a control unit 11, a memory unit 12, a visible light data emission control unit 13, a light emission unit 14, and a data reception unit 16 to which an antenna 15 is connected. It is. The AR marker 10 functions as a light source for visible light communication in the communication system 1. Each part of the AR marker 10 is supplied with driving power necessary for operation by a power source PW10.

制御部１１は、ＡＲマーカ１０に内蔵されるＣＰＵ（Central Processing Unit）等のプロセッサを用いて構成され、ＡＲマーカ１０の各部の動作を制御する。制御部１１の動作の詳細は、図４又は図８を参照して後述する。 The control unit 11 is configured using a processor such as a CPU (Central Processing Unit) built in the AR marker 10 and controls the operation of each unit of the AR marker 10. Details of the operation of the control unit 11 will be described later with reference to FIG. 4 or FIG.

メモリ部１２は、ＡＲマーカ１０に内蔵されるフラッシュメモリ若しくはハードディスクを用いて構成され、ＡＲマーカ１０に対応するデータとして、例えばテレビジョン装置などの画像データ、又はチラシ等の広告内容、植木鉢に植えられている花の情報若しくは冷蔵庫に貯蔵されているもの（図９参照）の各内容を示す画像データを記憶している。 The memory unit 12 is configured by using a flash memory or a hard disk built in the AR marker 10, and as data corresponding to the AR marker 10, for example, image data such as a television device, advertisement content such as a flyer, and planting in a flower pot The image data which shows the content of each flower information currently stored or what is stored in the refrigerator (refer FIG. 9) is memorize | stored.

発光制御部としての可視光データ発光制御部１３は、発光部１４の発光を制御可能な制御回路を用いて構成される。可視光データ発光制御部１３は、制御部１１から出力された変調後の画像データ（以下、「変調データ」という）の各情報ビットを基に、各情報ビットに対応する電気信号（電圧信号）を可視光信号ＶＳに光電変換して発光部１４を発光させる。 The visible light data light emission control unit 13 as the light emission control unit is configured using a control circuit capable of controlling the light emission of the light emitting unit 14. The visible light data light emission control unit 13 is based on each information bit of the modulated image data (hereinafter referred to as “modulation data”) output from the control unit 11 and an electric signal (voltage signal) corresponding to each information bit. Is converted into a visible light signal VS to cause the light emitting unit 14 to emit light.

発光部１４は、可視光信号ＶＳを出力（発光）可能な発光素子（例：発光ダイオード、ＬＥＤ）を用いて構成され、可視光データ発光制御部１３の制御の下で、可視光信号ＶＳを送信（発光）する。 The light emitting unit 14 is configured using a light emitting element (eg, light emitting diode, LED) that can output (emit) the visible light signal VS, and the visible light signal VS is output under the control of the visible light data light emission control unit 13. Send (flash).

データ受信部１６は、情報若しくはデータを送受信可能な無線通信回路を用いて構成され、アンテナ１５を介して、携帯端末２０から送信された情報若しくはデータが無線通信用に変調された無線信号ＷＳを受信する。 The data receiving unit 16 is configured using a wireless communication circuit capable of transmitting and receiving information or data, and receives a wireless signal WS obtained by modulating information or data transmitted from the mobile terminal 20 via the antenna 15 for wireless communication. Receive.

次に、携帯端末２０の構成について説明する。 Next, the configuration of the mobile terminal 20 will be described.

携帯端末２０は、図１に示す様に、電源ＰＷ２０、制御部２１、操作部２２、可視光データ受光制御部２３、受光部２４、撮像部２５、映像処理部２６、表示制御部２７、表示部２８、アンテナ２９が接続されているデータ送信部３０、ＲＡＭ（Random Access Memory）３１及びＲＯＭ（Read Only Memory）３２を含む構成である。携帯端末２０の各部は、電源ＰＷ２０により動作に必要な駆動電力が供給されている。 As shown in FIG. 1, the portable terminal 20 includes a power source PW20, a control unit 21, an operation unit 22, a visible light data reception control unit 23, a light reception unit 24, an imaging unit 25, a video processing unit 26, a display control unit 27, a display. The configuration includes a data transmission unit 30, a random access memory (RAM) 31, and a read only memory (ROM) 32. Each part of the portable terminal 20 is supplied with driving power required for operation by a power source PW20.

制御部２１は、携帯端末２０に内蔵されるＣＰＵを用いて構成され、携帯端末２０の各部の動作を制御する。制御部２１の動作の詳細は図７又は図８を参照して後述する。 The control unit 21 is configured using a CPU built in the mobile terminal 20 and controls the operation of each unit of the mobile terminal 20. Details of the operation of the control unit 21 will be described later with reference to FIG.

操作部２２は、携帯端末２０のユーザからの携帯端末２０に対する入力操作を受け付けるユーザインタフェースであり、ユーザの操作内容に応じた操作信号を制御部２１に出力する。例えば、操作部２２は、ユーザの操作内容、例えばＡＲマーカ１０に対応する画像データを更新するための更新指示の操作に応じた操作信号を制御部２１に出力する。 The operation unit 22 is a user interface that receives an input operation on the mobile terminal 20 from the user of the mobile terminal 20, and outputs an operation signal corresponding to the operation content of the user to the control unit 21. For example, the operation unit 22 outputs, to the control unit 21, an operation signal corresponding to the operation content of the user, for example, an update instruction operation for updating image data corresponding to the AR marker 10.

また、操作部２２は、電話番号等を入力するテンキー、オンフック又はオフフックを行う通話器キー及びファンクションキー等の各種キーで構成可能である。更に、操作部２２は、表示部２８の上に配置され、ユーザの指又はスタイラスペンなどによる入力操作を受け付け可能なタッチパネルを用いて構成されても良い。 The operation unit 22 can be composed of various keys such as a numeric keypad for inputting a telephone number, a telephone key for on-hook or off-hook, and a function key. Furthermore, the operation unit 22 may be configured using a touch panel that is disposed on the display unit 28 and can accept an input operation using a user's finger or a stylus pen.

受光制御部としての可視光データ受光制御部２３は、受光部２４の受光を制御可能な制御回路を用いて構成される。可視光データ受光制御部２３は、可視光信号ＶＳの受光部２４における受光量に応じた電流量を基に、可視光信号ＶＳを変調データの電気信号（電圧信号）に光電変換する。 The visible light data reception control unit 23 as a light reception control unit is configured using a control circuit capable of controlling the light reception of the light reception unit 24. The visible light data reception control unit 23 photoelectrically converts the visible light signal VS into an electric signal (voltage signal) of modulation data based on the amount of current corresponding to the amount of light received by the light receiving unit 24 of the visible light signal VS.

受光部２４は、可視光信号ＶＳの受光量に応じた電流量を出力可能な受光素子（例：フォトダイオード、ＰＤ）を用いて構成され、可視光データ受光制御部２３の制御の下で、可視光信号ＶＳの受光量に応じた電流量を可視光データ受光制御部２４に出力する。 The light receiving unit 24 is configured using a light receiving element (eg, photodiode, PD) that can output a current amount corresponding to the amount of received light of the visible light signal VS, and under the control of the visible light data light receiving control unit 23, An amount of current corresponding to the amount of received light of the visible light signal VS is output to the visible light data reception control unit 24.

撮像部２５は、ユーザにより把持される携帯端末１０の所定方向における周囲の映像の画像データを撮像可能なＣＣＤ（Charged Coupled Devices）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いて構成され、ユーザの撮像指示に応じて操作部２２により出力された操作信号を基に、被写体又は景色の映像データを撮像する。なお、図１においては、操作部２２から撮像部２５への矢印は省略している。 The imaging unit 25 is configured using a CCD (Charged Coupled Devices) or a CMOS (Complementary Metal Oxide Semiconductor) that can capture image data of surrounding video in a predetermined direction of the mobile terminal 10 held by the user. Based on the operation signal output from the operation unit 22 in response to the instruction, image data of a subject or a landscape is captured. In FIG. 1, the arrow from the operation unit 22 to the imaging unit 25 is omitted.

映像処理部２６は、携帯端末２０に内蔵されるＣＰＵ等のプロセッサを用いて構成され、撮像部２５により撮像された被写体又は景色の映像データ（画像データ）を、ユーザの画像処理指示に応じて操作部２２により出力された操作信号を基にして画像処理する。なお、図１においては、操作部２２から映像処理部２６への矢印は省略している。 The video processing unit 26 is configured by using a processor such as a CPU built in the mobile terminal 20, and subjects or scene video data (image data) captured by the imaging unit 25 according to a user's image processing instruction. Image processing is performed based on the operation signal output from the operation unit 22. In FIG. 1, an arrow from the operation unit 22 to the video processing unit 26 is omitted.

なお、図１の携帯端末２０においては、撮像部２５と映像処理部２６とは、別々の構成としているが、撮像部２５と映像処理部２６とが一体として構成されても良い。この場合には、映像処理部２６の構成は図１から省略される。 In the mobile terminal 20 of FIG. 1, the imaging unit 25 and the video processing unit 26 are configured separately, but the imaging unit 25 and the video processing unit 26 may be configured integrally. In this case, the configuration of the video processing unit 26 is omitted from FIG.

表示制御部２７は、携帯端末２０に内蔵されるＣＰＵを用いて構成され、制御部２１から出力された表示指示及び情報若しくはデータを取得し、表示指示に基づいて情報若しくはデータを表示部２８に表示する。 The display control unit 27 is configured using a CPU built in the mobile terminal 20, acquires a display instruction and information or data output from the control unit 21, and sends information or data to the display unit 28 based on the display instruction. indicate.

表示部２８は、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electro Luminescence）ディスプレイを用いて構成され、表示制御部２７の制御の下で、ユーザ操作に応じて操作部２２から出力された操作信号に応じて、情報若しくはデータを表示する。 The display unit 28 is configured by using an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display, and receives an operation signal output from the operation unit 22 in response to a user operation under the control of the display control unit 27. In response, information or data is displayed.

データ送信部３０は、情報若しくはデータを送受信可能な無線通信回路を用いて構成され、アンテナ２９を介して、ユーザ操作によって操作部２２から出力されたデータ（例：画像データ）をＡＲマーカ１０に送信する。なお、データ送信部３０から送信されるデータは、後述する様に、メモリ部１２に記憶されているＡＲマーカ１０に対応する画像データを更新するために、携帯端末２０のユーザにより選択された画像データである。例えば、データ送信部３０から送信されるデータは、チラシ等の広告内容、植木鉢に植えられている花の情報若しくは冷蔵庫に貯蔵されているもの（図９参照）の各内容を示す画像、映像又はテキスト等のデータである。 The data transmission unit 30 is configured using a wireless communication circuit capable of transmitting and receiving information or data, and data (eg, image data) output from the operation unit 22 by a user operation via the antenna 29 is input to the AR marker 10. Send. The data transmitted from the data transmission unit 30 is an image selected by the user of the mobile terminal 20 in order to update the image data corresponding to the AR marker 10 stored in the memory unit 12 as will be described later. It is data. For example, the data transmitted from the data transmission unit 30 is an image, video, or the like indicating each content of advertisement contents such as leaflets, information on flowers planted in flowerpots, or stored in a refrigerator (see FIG. 9) Data such as text.

ＲＡＭ３１は、制御部２１、操作部２２、映像処理部２６、表示制御部２７又はデータ送信部３０の各動作におけるワークメモリとして動作する。なお、図１においては、制御部２１、操作部２２、映像処理部２６、表示制御部２７又はデータ送信部３０からＲＡＭ３１への矢印の図示を省略している。 The RAM 31 operates as a work memory in each operation of the control unit 21, the operation unit 22, the video processing unit 26, the display control unit 27, or the data transmission unit 30. In FIG. 1, an arrow from the control unit 21, the operation unit 22, the video processing unit 26, the display control unit 27, or the data transmission unit 30 to the RAM 31 is omitted.

ＲＯＭ３２は、携帯端末２０における制御部２１、映像処理部２６及び表示制御部２７の各動作が予め規定されたプログラムを記憶している。なお、制御部２１は、ハードウェア又はソフトウェアで構成することが可能である。特に、制御部２１がソフトウェアにより構成される際には、携帯端末２０に内蔵されているＣＰＵが制御部２１の各動作が予め規定されたプログラムをＲＯＭ３２から読み出すことにより、制御部２１が動作可能となる。なお、図１においては、ＲＯＭ３２への矢印の図示を省略している。 The ROM 32 stores a program in which each operation of the control unit 21, the video processing unit 26, and the display control unit 27 in the portable terminal 20 is defined in advance. The control unit 21 can be configured by hardware or software. In particular, when the control unit 21 is configured by software, the CPU built in the portable terminal 20 reads the program in which each operation of the control unit 21 is defined in advance from the ROM 32, so that the control unit 21 can operate. It becomes. In FIG. 1, an arrow to the ROM 32 is not shown.

（ＡＲマーカ１０に対応する画像データの表示位置の説明）
次に、本実施形態の携帯端末２０において、ＡＲマーカ１０に対応する画像データ１０−Ｃの表示位置を、図２及び図３を参照して説明する。図２（ａ）は、携帯端末２０からのＡＲマーカ１０への方向を説明する説明図である。図２（ｂ）は、ＡＲマーカ１０に対応する画像データ１０−Ｃの表示画面における表示の様子を説明する説明図である。図３（ａ）は、携帯端末２０からの複数のＡＲマーカ１０ａ，１０ｂへの各方向を説明する説明図である。図３（ｂ）は、複数のＡＲマーカ１０ａ，１０ｂに対応する各画像データ１０−Ｃａ，１０−Ｃｂの表示画面における表示の様子を説明する説明図である。なお、図２及び図３において、携帯端末２０は例えば折り畳み形式であるとして説明するが、特に折り畳み形式の携帯端末２０に限定されず、携帯端末２０の代わりにスマートフォンにおいても同様に説明可能である。 (Description of display position of image data corresponding to AR marker 10)
Next, the display position of the image data 10-C corresponding to the AR marker 10 in the mobile terminal 20 of the present embodiment will be described with reference to FIGS. FIG. 2A is an explanatory diagram for explaining the direction from the mobile terminal 20 to the AR marker 10. FIG. 2B is an explanatory diagram for explaining a display state of the image data 10 -C corresponding to the AR marker 10 on the display screen. FIG. 3A is an explanatory diagram illustrating each direction from the mobile terminal 20 to the plurality of AR markers 10a and 10b. FIG. 3B is an explanatory diagram for explaining how the image data 10-Ca and 10-Cb corresponding to the plurality of AR markers 10a and 10b are displayed on the display screen. 2 and 3, the portable terminal 20 is described as being in a foldable format, for example. However, the portable terminal 20 is not particularly limited to the foldable format portable terminal 20, and can be similarly described in a smartphone instead of the portable terminal 20. .

図２（ａ）に示す様に、受光部２４は、例えば携帯端末２０の折り畳みのためのヒンジの略中央部（原点Ｏ）に設けられているとする。図２（ａ）の原点Ｏを中心としたｘ−ｙ−ｚ軸のうちのｘ−ｙ平面において、原点Ｏから所定角θの方向から、所定の閾値ＴＨ１（図７のステップＳ２２参照）を超える受光量の可視光信号ＶＳが受光部２４において受光されたとする。なお、ＡＲマーカ１０は、原点ＯからベクトルＯＰ１の大きさに応じた距離ほど離れた点Ｐ１に位置しているとする。 As shown in FIG. 2A, it is assumed that the light receiving unit 24 is provided, for example, at a substantially central part (origin O) of a hinge for folding the mobile terminal 20. A predetermined threshold value TH1 (see step S22 in FIG. 7) from the direction of the predetermined angle θ from the origin O on the xy plane of the xyz axes centered on the origin O in FIG. It is assumed that a visible light signal VS having an amount of received light is received by the light receiving unit 24. It is assumed that the AR marker 10 is located at a point P1 that is separated from the origin O by a distance corresponding to the magnitude of the vector OP1.

この所定角θ（受光方向）は、例えば次の様にして求められる。具体的には、携帯端末２０において受光部２４の近傍又は受光部２４に隣接する位置に輝度センサ（不図示）が設けられている場合に、輝度センサが受光部２４の位置（原点Ｏ、図２（ａ）参照）を起点に、所定の閾値以上の輝度レベルを有する可視光信号ＶＳの到来方向として求めた角度である。なお、図３（ａ）の所定角θ１及びθ２の求め方についても同様である。 The predetermined angle θ (light receiving direction) is obtained as follows, for example. Specifically, when a luminance sensor (not shown) is provided in the vicinity of the light receiving unit 24 or in a position adjacent to the light receiving unit 24 in the portable terminal 20, the luminance sensor is positioned at the light receiving unit 24 (the origin O, FIG. 2 (a)) is an angle obtained as the arrival direction of the visible light signal VS having a luminance level equal to or higher than a predetermined threshold. The same applies to the method of obtaining the predetermined angles θ1 and θ2 in FIG.

また、携帯端末２０が輝度センサを有さない場合には、映像処理部２６が、撮像部２５において撮像された画像データに輝点を検出した場合に、原点Ｏと検出された輝点とを結ぶベクトルのｘ軸に対する角度を所定角θと判定しても良い。この場合、映像処理部２６の動作において、撮像部２５により撮像された画像上において輝点を検出するためのアルゴリズムが予め規定されていることが好ましい。 When the mobile terminal 20 does not have a luminance sensor, when the video processing unit 26 detects a bright spot in the image data captured by the imaging unit 25, the origin O and the detected bright spot are displayed. The angle of the connecting vector with respect to the x-axis may be determined as the predetermined angle θ. In this case, in the operation of the video processing unit 26, it is preferable that an algorithm for detecting a bright spot on the image captured by the imaging unit 25 is defined in advance.

この場合、図２（ｂ）に示す様に、携帯端末２０は、表示部２８の点Ｏｆを図２（ａ）の原点Ｏに対応する表示画面の原点とした場合に、原点Ｏｆから求められた所定角θの方向に、ＡＲマーカ１０に対応する画像データ１０−Ｃを表示する。なお、ＡＲマーカ１０に対応する画像データ１０−Ｃの表示画面における表示位置である点Ｐ１ｆと原点Ｏｆとの距離は、図２（ａ）の原点ＯからベクトルＯＰ１の大きさに応じた距離に所定の割合（例：０．５など）を乗じたものとしても良い。 In this case, as shown in FIG. 2B, the portable terminal 20 is obtained from the origin Of when the point Of of the display unit 28 is set as the origin of the display screen corresponding to the origin O of FIG. The image data 10-C corresponding to the AR marker 10 is displayed in the direction of the predetermined angle θ. It should be noted that the distance between the point P1f, which is the display position on the display screen of the image data 10-C corresponding to the AR marker 10, and the origin Of is a distance corresponding to the magnitude of the vector OP1 from the origin O in FIG. It is good also as what multiplied a predetermined ratio (example: 0.5 etc.).

同様に、図３（ａ）に示す様に、受光部２４は、例えば携帯端末２０の折り畳みのためのヒンジの略中央部（原点Ｏ）に設けられているとする。図３（ａ）の原点Ｏを中心としたｘ−ｙ−ｚ軸のうちのｘ−ｙ軸平面において、原点Ｏから所定角θ１の方向から、所定の閾値ＴＨ１（図７のステップＳ２２参照）を超える受光量の可視光信号ＶＳが受光部２４において受光されたとする。更に、原点Ｏから所定角θ２の方向から、所定の閾値ＴＨ１（図７のステップＳ２２参照）を超える受光量の可視光信号ＶＳが受光部２４において受光されたとする。なお、ＡＲマーカ１０ａは原点ＯからベクトルＯＰ１の大きさに応じた距離ほど離れた点Ｐ１に位置し、ＡＲマーカ１０ｂは原点ＯからベクトルＯＰ２の大きさに応じた距離ほど離れた点Ｐ２に位置しているとする。 Similarly, as shown in FIG. 3A, it is assumed that the light receiving unit 24 is provided at a substantially central portion (origin O) of a hinge for folding the mobile terminal 20, for example. A predetermined threshold TH1 from the direction of the predetermined angle θ1 from the origin O (see step S22 in FIG. 7) on the xy-axis plane of the xyz axes centering on the origin O in FIG. It is assumed that a visible light signal VS having a received light amount exceeding 1 is received by the light receiving unit 24. Further, it is assumed that a visible light signal VS having a received light amount exceeding a predetermined threshold value TH1 (see step S22 in FIG. 7) is received by the light receiving unit 24 from the origin O in the direction of the predetermined angle θ2. The AR marker 10a is located at a point P1 that is separated from the origin O by a distance corresponding to the magnitude of the vector OP1, and the AR marker 10b is located at a point P2 that is separated from the origin O by a distance corresponding to the magnitude of the vector OP2. Suppose you are.

この場合、図３（ｂ）に示す様に、携帯端末２０は、表示部２８の点Ｏｆを図３（ａ）の原点Ｏに対応する表示画面の原点とした場合に、原点Ｏｆから同じ所定角θ１の方向に、ＡＲマーカ１０ａに対応する画像データ１０−Ｃａを表示する。更に、携帯端末２０は、原点Ｏｆから同じ所定角θ２の方向に、ＡＲマーカ１０ｂに対応する画像データ１０−Ｃｂを表示する。なお、ＡＲマーカ１０ａに対応する画像データ１０−Ｃａの表示画面における表示位置である点Ｐ１ｆと原点Ｏｆとの距離は、図３（ａ）の原点ＯからベクトルＯＰ１の大きさに応じた距離に所定の割合（例：０．５など）を乗じたものとしても良い。同様に、ＡＲマーカ１０ｂに対応する画像データ１０−Ｃｂの表示画面における表示位置である点Ｐ２ｆと原点Ｏｆとの距離は、図３（ａ）の原点ＯからベクトルＯＰ２の大きさに応じた距離に所定の割合（例：０．５など）を乗じたものとしても良い。 In this case, as shown in FIG. 3B, the mobile terminal 20 uses the same predetermined value from the origin Of when the point Of of the display unit 28 is set as the origin of the display screen corresponding to the origin O of FIG. The image data 10-Ca corresponding to the AR marker 10a is displayed in the direction of the angle θ1. Furthermore, the portable terminal 20 displays the image data 10-Cb corresponding to the AR marker 10b in the direction of the same predetermined angle θ2 from the origin Of. Note that the distance between the point P1f, which is the display position on the display screen of the image data 10-Ca corresponding to the AR marker 10a, and the origin Of is a distance corresponding to the size of the vector OP1 from the origin O in FIG. It is good also as what multiplied a predetermined ratio (example: 0.5 etc.). Similarly, the distance between the point P2f, which is the display position on the display screen of the image data 10-Cb corresponding to the AR marker 10b, and the origin Of is a distance corresponding to the magnitude of the vector OP2 from the origin O in FIG. May be multiplied by a predetermined ratio (eg 0.5).

以上により、複数のＡＲマーカ１０ａ，１０ｂからそれぞれ可視光信号ＶＳ１，ＶＳ２が発光されている場合においても、各ＡＲマーカ１０ａ，１０ｂからの可視光信号ＶＳ１，ＶＳ２が空間的に直進性及び独立性が非常に高い。これにより、携帯端末２０は、各可視光信号ＶＳ１，ＶＳ２の相互の干渉を回避することができ、確実に各可視光信号を分離して受光することができる。 As described above, even when the visible light signals VS1 and VS2 are emitted from the plurality of AR markers 10a and 10b, the visible light signals VS1 and VS2 from the AR markers 10a and 10b are spatially straight and independent. Is very expensive. Thereby, the portable terminal 20 can avoid mutual interference of the visible light signals VS1 and VS2, and can reliably separate and receive the visible light signals.

また、ＡＲマーカ１０に対応する画像データの表示位置は、上述した角度θ（図２参照）、角度θ１及びθ２（図３参照）の演算を行わなくても、次の様に特定しても良い。具体的には、携帯端末２０は、受光部２４における可視光信号ＶＳの受光時の画角（角度）と撮像部２５における撮影時の画角（角度）とが同じである、即ち撮像部２５においてＡＲマーカ１０からの可視光信号ＶＳを撮像している場合には、撮像部２５により撮像された画像のうちの可視光信号ＶＳを受光した位置を、ＡＲマーカ１０に対応する画像データの表示位置として良い。 Further, the display position of the image data corresponding to the AR marker 10 may be specified as follows without performing the calculation of the angle θ (see FIG. 2) and the angles θ1 and θ2 (see FIG. 3). good. Specifically, in the mobile terminal 20, the angle of view (angle) when the visible light signal VS is received by the light receiving unit 24 and the angle of view (angle) at the time of shooting by the imaging unit 25 are the same, that is, the imaging unit 25. When the visible light signal VS from the AR marker 10 is imaged, the position where the visible light signal VS is received in the image captured by the imaging unit 25 is displayed as image data corresponding to the AR marker 10. Good location.

特に、撮像部２５における撮像範囲を所定の範囲（例えば撮像部２５を起点に±１０°の中心方向だけ）に限定することにより、携帯端末２０は、撮像部２５における撮像範囲においてＡＲマーカ１０からの可視光信号ＶＳを受光した場合には、ＡＲマーカ１０に対応する画像データを簡易且つ高速に表示可能である。なお、上述した撮像範囲を、撮像部２５を起点に±１０°としたのはあくまでも一例であって、携帯端末２０において予め設定され若しくは携帯端末２０のユーザにおいて任意に設定されても良い。 In particular, by limiting the imaging range in the imaging unit 25 to a predetermined range (for example, only the center direction of ± 10 ° starting from the imaging unit 25), the mobile terminal 20 can move from the AR marker 10 in the imaging range in the imaging unit 25. When the visible light signal VS is received, the image data corresponding to the AR marker 10 can be displayed easily and at high speed. Note that the above-described imaging range is set to ± 10 ° from the imaging unit 25 as an origin, and may be set in advance in the mobile terminal 20 or arbitrarily set by the user of the mobile terminal 20.

（ＡＲマーカ１０の動作）
次に、本実施形態のＡＲマーカ１０の動作について、図４を参照して説明する。図４は、本実施形態のＡＲマーカ１０の動作を説明するフローチャートである。上述した様に、ＡＲマーカ１０のメモリ部１２には、ＡＲマーカ１０に対応するデータとして例えばテレビジョン装置などの画像データが記憶されているとする。 (Operation of AR marker 10)
Next, the operation of the AR marker 10 of the present embodiment will be described with reference to FIG. FIG. 4 is a flowchart for explaining the operation of the AR marker 10 of the present embodiment. As described above, it is assumed that the memory unit 12 of the AR marker 10 stores image data such as a television device as data corresponding to the AR marker 10.

図４において、制御部１１は、メモリ部１２から画像データを読み出す（Ｓ１１）。制御部１１は、ステップＳ１１において読み出された画像データを所定の変調方式に従って変調し、変調データを生成する（Ｓ１２）。制御部１１は、生成された変調データを可視光データ発光制御部１３に出力する。 In FIG. 4, the control unit 11 reads image data from the memory unit 12 (S11). The control unit 11 modulates the image data read in step S11 according to a predetermined modulation method, and generates modulation data (S12). The control unit 11 outputs the generated modulation data to the visible light data light emission control unit 13.

可視光データ発光制御部１３は、制御部１１から出力された変調データを取得し、この変調データの各情報ビット（ビット「１」，ビット「０」）を基に、各情報ビットに対応する電気信号（電圧信号）を可視光信号ＶＳに光電変換する（Ｓ１３）。 The visible light data emission control unit 13 acquires the modulation data output from the control unit 11 and corresponds to each information bit based on each information bit (bit “1”, bit “0”) of the modulation data. The electrical signal (voltage signal) is photoelectrically converted into a visible light signal VS (S13).

発光部１４は、ステップＳ１３の光電変換によって生成された可視光信号ＶＳを送信（発光）する（Ｓ１４）。以上により、ＡＲマーカ１０の動作は終了する。上述したステップＳ１１〜ステップＳ１４がＡＲマーカ１０において常時繰り返される。但し、ＡＲマーカ１０が図４の各処理（ステップ）を繰り返すのは常時ではなく、例えば所定の周期（例：１秒）毎にしても良い。この場合には、ＡＲマーカ１０には上述した所定の周期をカウントするためにタイマが内蔵されることが好ましい。 The light emitting unit 14 transmits (emits light) the visible light signal VS generated by the photoelectric conversion in step S13 (S14). Thus, the operation of the AR marker 10 ends. Steps S11 to S14 described above are always repeated in the AR marker 10. However, the AR marker 10 may repeat each process (step) in FIG. 4 not always, but may be performed at a predetermined cycle (eg, 1 second), for example. In this case, it is preferable that a timer is built in the AR marker 10 in order to count the predetermined period.

（携帯端末２０の動作）
次に、本実施形態の携帯端末２０の動作について、図５〜図７を参照して説明する。図５は、ＡＲマーカ１０から発光された可視光信号ＶＳを受光する前の携帯端末２０の表示画面の表示例を示す説明図である。図６は、ＡＲマーカ１０から発光された可視光信号ＶＳを受光した後の携帯端末２０の表示画面の表示例を示す説明図である。図７は、本実施形態の携帯端末２０の動作を説明するフローチャートである。 (Operation of mobile terminal 20)
Next, operation | movement of the portable terminal 20 of this embodiment is demonstrated with reference to FIGS. FIG. 5 is an explanatory diagram illustrating a display example of the display screen of the mobile terminal 20 before receiving the visible light signal VS emitted from the AR marker 10. FIG. 6 is an explanatory diagram illustrating a display example of the display screen of the mobile terminal 20 after receiving the visible light signal VS emitted from the AR marker 10. FIG. 7 is a flowchart for explaining the operation of the mobile terminal 20 of the present embodiment.

図７において、撮像部２５は、携帯端末２０のユーザの撮像指示に応じて操作部２２により出力された操作信号を基に、携帯端末２０の周囲の被写体又は景色の映像データ（画像データ）を撮像する（Ｓ２１）。図７の説明においては、撮像対象は部屋の様子の一部を模った縮小されたモデルルームのテレビ台であり、携帯端末２０の撮像部２５は光源としてのＡＲマーカ１０の方向に向けられているとする（図５及び図６参照）。 In FIG. 7, the imaging unit 25 generates video data (image data) of a subject around the portable terminal 20 or a scene based on the operation signal output by the operation unit 22 in response to an imaging instruction from the user of the portable terminal 20. An image is taken (S21). In the description of FIG. 7, the imaging target is a reduced scale model room television set that imitates a part of the room, and the imaging unit 25 of the portable terminal 20 is directed toward the AR marker 10 as a light source. (See FIGS. 5 and 6).

制御部２１は、撮像部２５により撮像された又は映像処理部２６により更に画像処理された映像データを表示部２８に表示する様に表示制御部２７に指示する。表示制御部２７は、制御部２１からの表示指示を基に、撮像部２５により撮像された又は映像処理部２６により更に画像処理された映像データを表示部２８に表示する（Ｓ２１）。 The control unit 21 instructs the display control unit 27 to display the video data imaged by the imaging unit 25 or further processed by the video processing unit 26 on the display unit 28. Based on the display instruction from the control unit 21, the display control unit 27 displays the video data captured by the imaging unit 25 or further processed by the video processing unit 26 on the display unit 28 (S21).

可視光データ受光制御部２３は、受光部２４における可視光信号ＶＳの受光量が所定の閾値ＴＨ１以上の受光量であるか否かを判定する（Ｓ２２）。この閾値ＴＨ１は、ＡＲマーカ１０からの可視光信号ＶＳが携帯端末２０において受光されたか否かを判別する値である。可視光データ受光制御部２３は、受光部２４における可視光信号ＶＳの受光量が所定の閾値ＴＨ１以上の受光量であると判定した場合に（Ｓ２２、ＹＥＳ）、受光部２４における可視光信号ＶＳの受光量が所定の閾値ＴＨ１以上の受光量である旨を制御部２１に出力する。 The visible light data light reception control unit 23 determines whether or not the light reception amount of the visible light signal VS in the light reception unit 24 is a light reception amount equal to or greater than a predetermined threshold value TH1 (S22). This threshold value TH1 is a value for determining whether or not the visible light signal VS from the AR marker 10 is received by the mobile terminal 20. When the visible light data reception control unit 23 determines that the received light amount of the visible light signal VS in the light receiving unit 24 is a received light amount equal to or greater than the predetermined threshold TH1 (S22, YES), the visible light signal VS in the light receiving unit 24. To the control unit 21 that the received light amount is equal to or greater than a predetermined threshold value TH1.

制御部２１は、受光部２４における可視光信号ＶＳの受光方向を判定する（Ｓ２３）。この受光方向の算出は、上述した様に、携帯端末２０において受光部２４の近傍又は受光部２４に隣接する位置に輝度センサ（不図示）が設けられている場合に、輝度センサが受光部２４の位置（原点Ｏ、図２（ａ）参照）を起点に、所定の閾値ＴＨ２以上の輝度レベルを有する可視光信号ＶＳの到来方向として求めた角度となる。この閾値ＴＨ２は、ＡＲマーカ１０からの可視光信号ＶＳの受光方向を求めるか否かを判別するものとする。なお、輝度センサにより求められた受光方向は、制御部２１に出力される。 The control unit 21 determines the light receiving direction of the visible light signal VS in the light receiving unit 24 (S23). As described above, the light receiving direction is calculated when the luminance sensor (not shown) is provided in the vicinity of the light receiving unit 24 or a position adjacent to the light receiving unit 24 in the mobile terminal 20. Is the angle determined as the arrival direction of the visible light signal VS having a luminance level equal to or higher than a predetermined threshold value TH2 from the position (origin O, see FIG. 2A). This threshold value TH2 determines whether or not the light reception direction of the visible light signal VS from the AR marker 10 is to be obtained. The light receiving direction obtained by the luminance sensor is output to the control unit 21.

なお、携帯端末２０において受光部２４の近傍又は受光部２４に隣接する位置に輝度センサ（不図示）が設けられていない場合には、映像処理部２６が、撮像部２５において撮像された画像データに輝点を検出した場合に、撮像部２５により撮像された画像のうちの可視光信号ＶＳを受光した方向を図７のステップＳ２３における受光方向とし、また撮像部２５又は受光部２４において可視光信号ＶＳを受光した位置を、ＡＲマーカ１０に対応する画像データの表示位置として良い。 In the case where a luminance sensor (not shown) is not provided in the vicinity of the light receiving unit 24 or in a position adjacent to the light receiving unit 24 in the mobile terminal 20, the image processing unit 26 uses the image data captured by the imaging unit 25. When the bright spot is detected, the direction in which the visible light signal VS is received in the image picked up by the image pickup unit 25 is set as the light receiving direction in step S23 in FIG. The position where the signal VS is received may be used as the display position of the image data corresponding to the AR marker 10.

可視光データ受光制御部２３は、可視光信号ＶＳの受光部２４における受光量に応じた電流量を基に、可視光信号ＶＳを変調データの電気信号（電圧信号）に光電変換する（Ｓ２４）。可視光データ受光制御部２３は、光電変換によって生成された変調データの電気信号を制御部２１に出力する。 The visible light data reception control unit 23 photoelectrically converts the visible light signal VS into an electrical signal (voltage signal) of modulation data based on the amount of current corresponding to the amount of light received by the light receiving unit 24 of the visible light signal VS (S24). . The visible light data reception control unit 23 outputs an electrical signal of modulation data generated by photoelectric conversion to the control unit 21.

制御部２１は、可視光データ受光制御部２３から出力された変調データの電気信号を基に、所定の復調方式に従って変調データを復調して、ＡＲマーカ１０に対応する画像データ１０−Ｃを取得する（Ｓ２５）。なお、ＡＲマーカ１０と携帯端末２０との間において行われる変調方式及び復調方式は、ＡＲマーカ１０と携帯端末２０との間で既知であるとする。 The control unit 21 demodulates the modulation data according to a predetermined demodulation method based on the electrical signal of the modulation data output from the visible light data reception control unit 23, and obtains image data 10-C corresponding to the AR marker 10. (S25). It is assumed that the modulation method and demodulation method performed between the AR marker 10 and the mobile terminal 20 are known between the AR marker 10 and the mobile terminal 20.

制御部２１は、ステップＳ２５において取得されたＡＲマーカ１０に対応する画像データ１０−Ｃを、表示部２８の点Ｏｆを表示画面の原点とした場合に（図２（ｂ）参照）、原点Ｏｆから求められた所定角θの方向に、原点Ｏｆから所定の距離離れた位置に表示する様に表示制御部２７に指示する。表示制御部２７は、制御部２１からの表示指示を基に、ＡＲマーカ１０に対応する画像データ１０−Ｃを、表示部２８の表示画面の原点Ｏｆから所定角θの方向であって、原点Ｏｆから所定の距離ほど離れた位置に表示する（Ｓ２６）。 When the control unit 21 sets the image data 10-C corresponding to the AR marker 10 acquired in step S25 as the origin of the display screen at the point Of of the display unit 28 (see FIG. 2B), the origin Of. The display control unit 27 is instructed to display in the direction of the predetermined angle θ obtained from the above at a position away from the origin Of by a predetermined distance. Based on the display instruction from the control unit 21, the display control unit 27 displays the image data 10 -C corresponding to the AR marker 10 in the direction of the predetermined angle θ from the origin of the display screen of the display unit 28. It is displayed at a position away from Of by a predetermined distance (S26).

図５のＡＲマーカ１０に対応する画像データ１０−Ｃがテレビジョン装置である場合、携帯端末２０の受光部２４を光源としてのＡＲマーカ１０に向けた場合に、携帯端末２０は、図６に示す様に、ＡＲマーカ１０に対応する画像データ１０−Ｃを、表示部２８の表示画面に表示する。なお、携帯端末２０においては光源としてのＡＲマーカ１０からの可視光信号ＶＳの受光方向が求められるため、ＡＲマーカ１０に対応する画像データ１０−Ｃ（テレビジョン装置の画像データ）は、図６のテレビ台の上に位置する様に表示される。 When the image data 10-C corresponding to the AR marker 10 in FIG. 5 is a television device, when the light receiving unit 24 of the mobile terminal 20 is directed to the AR marker 10 as a light source, the mobile terminal 20 is shown in FIG. As shown, the image data 10 -C corresponding to the AR marker 10 is displayed on the display screen of the display unit 28. In the portable terminal 20, since the light receiving direction of the visible light signal VS from the AR marker 10 as a light source is obtained, the image data 10-C (image data of the television device) corresponding to the AR marker 10 is as shown in FIG. It is displayed so that it is located on the TV stand.

また、上述した様に、ＡＲマーカ１０に対応する画像データ１０−Ｃの表示画面における表示位置である点Ｐ１ｆと原点Ｏｆとの距離は、図２（ａ）の原点ＯからベクトルＯＰ１の大きさに応じた距離に所定の割合を乗じたものとしても良い。以上により、携帯端末２０の動作は終了する。 Further, as described above, the distance between the point P1f, which is the display position on the display screen of the image data 10-C corresponding to the AR marker 10, and the origin Of is the magnitude of the vector OP1 from the origin O in FIG. It is good also as what multiplied the predetermined ratio to the distance according to. Thus, the operation of the mobile terminal 20 ends.

以上により、本実施形態の通信システムによれば、マーカ型の表示形態において、ＡＲマーカ１０からの可視光信号ＶＳを受光した場合に、可視光信号ＶＳを復調して得られた表示対象の画像データを取得して、表示対象のデータを、撮像部２５により撮像された映像データの該当位置及び方向に高速且つ簡易に表示することができる。 As described above, according to the communication system of the present embodiment, when the visible light signal VS from the AR marker 10 is received in the marker type display form, the display target image obtained by demodulating the visible light signal VS is obtained. Data can be acquired, and display target data can be displayed at high speed and easily at the corresponding position and direction of the video data imaged by the imaging unit 25.

また、上述した実施形態では、ＡＲマーカ１０に対応する画像データ１０−Ｃは、予めＡＲマーカ１０のメモリ部１２に固定的に記憶されていたが、携帯端末２０から新たな例えば画像データを送信することによって更新されても良い。この内容について図８及び図９を参照して説明する。図８は、ＡＲマーカ１０に対応する画像データ１０−Ｃを更新する場合におけるＡＲマーカ１０及び携帯端末２０の各動作を説明するシーケンス図である。図９（ａ）は、冷蔵庫１００の冷蔵室ＲＦＧ、野菜室ＶＧＴ及び冷凍室ＦＲＣの前にそれぞれ配置された３つのＡＲマーカ１０に対応する各画像データを画面に表示している様子を示す図である。図９（ｂ）は、冷蔵庫１００の冷蔵室ＲＦＧ、野菜室ＶＧＴ及び冷凍室ＦＲＣにそれぞれ光源としての３つのＡＲマーカ１０が配置された様子を示す図である。なお、図９（ａ）の携帯端末２０は、折り畳み形式（図５、図６参照）ではなく、スマートフォンの様に非折り畳み形式のものとして図示している。 In the above-described embodiment, the image data 10 -C corresponding to the AR marker 10 is fixedly stored in advance in the memory unit 12 of the AR marker 10. However, new image data, for example, is transmitted from the mobile terminal 20. It may be updated by doing. The contents will be described with reference to FIGS. FIG. 8 is a sequence diagram illustrating operations of the AR marker 10 and the mobile terminal 20 when the image data 10-C corresponding to the AR marker 10 is updated. FIG. 9A is a diagram showing a state in which image data corresponding to the three AR markers 10 respectively arranged in front of the refrigerator compartment RFG, the vegetable compartment VGT, and the freezer compartment FRC of the refrigerator 100 are displayed on the screen. It is. FIG. 9B is a diagram illustrating a state in which three AR markers 10 as light sources are arranged in the refrigerator compartment RFG, the vegetable compartment VGT, and the freezer compartment FRC of the refrigerator 100, respectively. Note that the mobile terminal 20 in FIG. 9A is illustrated not in a folded form (see FIGS. 5 and 6) but in a non-folded form like a smartphone.

図８において、ユーザの新たな画像データの撮像指示に応じて操作部２２から出力された操作信号を基に（Ｓ３１）、撮像部２５は、被写体又は景色の映像データを撮像する（Ｓ３２）。ステップＳ３２において撮像された画像データは、例えばＡＲマーカ１０に対応する画像データ１０−Ｃを更新する現在日付が２０１１年８月１５日である場合に、２０１１年８月１５日の冷凍室ＦＲＣにアイスが置かれ、同日には牛肉とアイスが少なくとも冷凍庫ＦＲＣに存在していることを示す内容とする。 In FIG. 8, based on an operation signal output from the operation unit 22 in response to a user's instruction to capture new image data (S31), the imaging unit 25 captures image data of a subject or a landscape (S32). For example, when the current date for updating the image data 10-C corresponding to the AR marker 10 is August 15, 2011, the image data captured in step S32 is stored in the freezer compartment FRC on August 15, 2011. Ice is placed, and the contents indicate that beef and ice are present at least in the freezer FRC on the same day.

撮像部２５により撮像された映像データ（画像データ）は映像処理部２６に出力され（Ｓ３３）、ユーザの画像処理指示操作に応じて操作部２２から出力された操作信号を基に（Ｓ３４）、映像処理部２６において画像データに対して画像処理が行われる（Ｓ３５）。 Video data (image data) captured by the imaging unit 25 is output to the video processing unit 26 (S33), and based on an operation signal output from the operation unit 22 in response to a user's image processing instruction operation (S34), Image processing is performed on the image data in the video processing unit 26 (S35).

映像処理部２６は、ステップＳ３５において画像処理された画像データを制御部２１に出力する（Ｓ３６）。制御部２１は、映像処理部２６から出力された画像データを、所定の変調方式に従って変調する（Ｓ３７）。図８の説明において、変調された画像データを「変調画像データ」と記載する。 The video processing unit 26 outputs the image data processed in step S35 to the control unit 21 (S36). The control unit 21 modulates the image data output from the video processing unit 26 according to a predetermined modulation method (S37). In the description of FIG. 8, the modulated image data is referred to as “modulated image data”.

制御部２１は、ステップＳ３７において変調された変調画像データをデータ送信部３０に出力する（Ｓ３８）。データ送信部３０は、アンテナ２９を介して、変調画像データをＡＲマーカ１０に送信する（Ｓ３９）。データ受信部１６は、ステップＳ３９において送信された変調画像データを受信する（Ｓ４０）。データ受信部１６は、受信された変調画像データを制御部１１に出力する（Ｓ４１）。 The control unit 21 outputs the modulated image data modulated in step S37 to the data transmission unit 30 (S38). The data transmitter 30 transmits the modulated image data to the AR marker 10 via the antenna 29 (S39). The data receiving unit 16 receives the modulated image data transmitted in step S39 (S40). The data receiving unit 16 outputs the received modulated image data to the control unit 11 (S41).

制御部１１は、データ受信部１６から出力された変調画像データを、所定の復調方式に従って復調し（Ｓ４２）、新たな画像データを取得する。制御部１１は、ステップＳ４２において復調された新たな画像データをメモリ部１２に記憶し、ＡＲマーカ１０に対応する画像データ１０−Ｃを更新する（Ｓ４３）。制御部１１は、ＡＲマーカ１０に対応する画像データ１０−Ｃを更新した旨の更新完了通知をデータ受信部１６に出力する（Ｓ４４）。 The control unit 11 demodulates the modulated image data output from the data receiving unit 16 according to a predetermined demodulation method (S42), and acquires new image data. The control unit 11 stores the new image data demodulated in step S42 in the memory unit 12, and updates the image data 10-C corresponding to the AR marker 10 (S43). The control unit 11 outputs an update completion notification indicating that the image data 10-C corresponding to the AR marker 10 has been updated to the data receiving unit 16 (S44).

データ受信部１６は、制御部１１から出力された更新完了通知を携帯端末２０に送信する（Ｓ４５）。データ送信部３０は、ステップＳ４５において送信された更新完了通知を制御部２１に出力する（Ｓ４６）。以上により、図８のＡＲマーカ１０と携帯端末２０との間で行われるＡＲマーカ１０に対応する画像データ１０−Ｃの更新の動作が終了する。 The data receiving unit 16 transmits the update completion notification output from the control unit 11 to the mobile terminal 20 (S45). The data transmission unit 30 outputs the update completion notification transmitted in step S45 to the control unit 21 (S46). The operation of updating the image data 10-C corresponding to the AR marker 10 performed between the AR marker 10 and the mobile terminal 20 in FIG.

従って、携帯端末２０は、ＡＲマーカ１０に対応する画像データ１０−Ｃを更新できる。これにより、図９に示す様に、ユーザは、携帯端末２０を用いて冷蔵庫１００の冷蔵室ＲＦＧ，野菜室ＶＧＴ，冷凍室ＦＲＣに配置された各ＡＲマーカ１０からの可視光信号ＶＳを受光すると、携帯端末２０の画面にて、例えば冷蔵室ＲＦＧには２０１１年７月３１日に牛乳が存在し２０１１年８月１０日に卵が存在することを、冷蔵室ＲＦＧを開けることなく認識可能となる。更に、携帯端末２０の画面にて、例えば野菜室には２０１１年８月１０日にはほうれん草が存在し２０１１年７月２０日にじゃがいもが存在することを、野菜室ＶＧＴを開けることなく認識可能となる。更に、携帯端末２０の画面にて、例えば冷凍室ＦＲＣには２０１１年８月５日には牛肉が存在し２０１１年８月１５日にはアイスが存在することを、冷凍室ＦＲＣを開けることなく認識可能となる。 Therefore, the mobile terminal 20 can update the image data 10-C corresponding to the AR marker 10. Accordingly, as shown in FIG. 9, when the user receives the visible light signal VS from each AR marker 10 arranged in the refrigerator room RFG, the vegetable room VGT, and the freezer room FRC of the refrigerator 100 using the mobile terminal 20. On the screen of the portable terminal 20, for example, it can be recognized without opening the refrigerator room RFG that the refrigerator room RFG has milk on July 31, 2011 and has eggs on August 10, 2011. Become. Furthermore, on the screen of the mobile terminal 20, for example, it is possible to recognize that spinach exists on August 10, 2011 and potatoes exist on July 20, 2011 without opening the vegetable room VGT. It becomes. Furthermore, on the screen of the portable terminal 20, for example, in the freezer compartment FRC, beef is present on August 5, 2011, and ice is present on August 15, 2011, without opening the freezer compartment FRC. It becomes possible to recognize.

以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種実施の形態の変更例または修正例、更に各種実施の形態の組み合わせ例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 While various embodiments have been described above with reference to the drawings, it goes without saying that the present invention is not limited to such examples. It is obvious for those skilled in the art that variations and modifications of various embodiments, and combinations of various embodiments can be conceived within the scope of the claims. Of course, it is understood that it belongs to the technical scope of the present invention.

上述した実施形態においては、携帯端末２０において受光部２４と撮像部２５とを別々の構成として説明したが、受光部２４と撮像部２５とは共用して構成しても良い。 In the above-described embodiment, the light receiving unit 24 and the imaging unit 25 are described as separate configurations in the mobile terminal 20, but the light receiving unit 24 and the imaging unit 25 may be configured to be shared.

また、上述した実施形態においては、本発明に係る通信端末の一例として携帯端末２０を例示して説明したが、他にＨＭＤ（Head Mounted Display）の様に、ユーザに簡易に装着可能な透過型ディスプレイに適用しても良い。この場合には、受光部２４が設けられたＨＭＤは、撮像部２５及び映像処理部２６を共用することが可能であると共に、ユーザの視界範囲と受光部２４の受光範囲とを共用することができる。これにより、上述した実施形態の様に、携帯端末２０において受光部２４及び輝度センサを用いた可視光光線ＶＳの到来角度（所定角θ）の判定処理に必要な処理を低減することができる。 In the above-described embodiment, the portable terminal 20 is illustrated and described as an example of the communication terminal according to the present invention. However, a transmission type that can be easily attached to the user like an HMD (Head Mounted Display). You may apply to a display. In this case, the HMD provided with the light receiving unit 24 can share the imaging unit 25 and the video processing unit 26 and can share the user's field of view range and the light receiving range of the light receiving unit 24. it can. As a result, as in the above-described embodiment, it is possible to reduce processing necessary for the determination process of the arrival angle (predetermined angle θ) of the visible light beam VS using the light receiving unit 24 and the luminance sensor in the mobile terminal 20.

本発明は、マーカ型の表示形態において、マーカを基に表示対象のデータを取得して、表示対象のデータを高速且つ簡易に表示画面に表示する通信端末、通信方法、マーカ装置及び通信システムとして有用である。 The present invention provides a communication terminal, a communication method, a marker device, and a communication system that acquire display target data based on a marker and display the display target data on a display screen at high speed and in a marker type display form. Useful.

１通信システム
１０ＡＲマーカ
１１、２１制御部
１２メモリ部
１３可視光データ発光制御部
１４発光部
１５、２９アンテナ
１６データ受信部
２０携帯端末
２２操作部
２３可視光データ受光制御部
２４受光部
２５撮像部
２６映像処理部
２７表示制御部
２８表示部
３０データ送信部
３１ＲＡＭ
３２ＲＯＭ
ＰＷ１０、ＰＷ２０電源
ＶＳ可視光信号
ＷＳ無線信号 DESCRIPTION OF SYMBOLS 1 Communication system 10 AR marker 11, 21 Control part 12 Memory part 13 Visible light data light emission control part 14 Light emission part 15, 29 Antenna 16 Data receiving part 20 Portable terminal 22 Operation part 23 Visible light data light reception control part 24 Light receiving part 25 Imaging Unit 26 Video processing unit 27 Display control unit 28 Display unit 30 Data transmission unit 31 RAM
32 ROM
PW10, PW20 Power supply VS Visible light signal WS Radio signal

Claims

A communication terminal that optically communicates with a marker device as a light source,
A display for displaying information or data;
A light receiving unit for receiving an optical signal emitted from the marker device;
A light receiving control unit that converts the optical signal received by the light receiving unit into a modulation signal obtained by modulating data corresponding to the marker device;
An imaging unit for obtaining a video around the communication terminal;
A display control unit that causes the display unit to display the video acquired by the imaging unit;
A controller that demodulates the modulation signal converted by the light reception controller and acquires data corresponding to the marker device;
The said control part is a communication terminal which instruct | indicates the said display control part to display the data corresponding to the said marker apparatus in the predetermined position of the display screen of the said image | video displayed on the said display part by the said display control part.

The communication terminal according to claim 1,
The optical communication is visible light communication,
The light receiving unit is a communication terminal that receives a visible light signal emitted from the marker device.

The communication terminal according to claim 1 or 2,
An operation unit for accepting an update instruction to new data corresponding to the marker device;
A communication terminal further comprising: a data transmission unit that transmits new data corresponding to the marker device to be updated to the marker device based on the update instruction received by the operation unit.

A communication method in a communication terminal that optically communicates with a marker device as a light source,
Receiving an optical signal emitted from the marker device;
Converting the received optical signal into a modulated signal obtained by modulating data corresponding to the marker device;
Obtaining a video around the communication terminal;
Displaying the acquired video on a display unit;
Demodulating the converted modulated signal to obtain data corresponding to the marker device;
Instructing to display the data corresponding to the acquired marker device at a predetermined position on the display screen of the video displayed on the display unit.

A marker device as a light source for optical communication with a communication terminal,
A memory unit for storing data corresponding to the marker device;
A control unit that modulates data corresponding to the marker device stored in the memory unit;
A light emission control unit that converts data corresponding to the marker device modulated by the control unit into an optical signal in the optical communication;
And a light emitting unit that emits light using the optical signal converted by the light emission control unit.

A communication system including a marker device as a light source and a communication terminal in optical communication with the marker device,
The marker device is
A memory unit for storing data corresponding to the marker device;
A control unit that modulates data corresponding to the marker device stored in the memory unit;
A light emission control unit that converts data corresponding to the marker device modulated by the control unit into an optical signal in the optical communication;
A light emitting unit that emits light using the optical signal converted by the light emission control unit,
The communication terminal is
A display for displaying information or data;
A light receiving unit for receiving an optical signal emitted from the marker device;
A light receiving control unit that converts the optical signal received by the light receiving unit into a modulation signal obtained by modulating data corresponding to the marker device;
An imaging unit for obtaining a video around the communication terminal;
A display control unit that causes the display unit to display the video acquired by the imaging unit;
A controller that demodulates the modulation signal converted by the light reception controller and acquires data corresponding to the marker device;
The communication unit instructing the display control unit to display data corresponding to the marker device at a predetermined position on a display screen of the video displayed on the display unit by the display control unit.