JP2012155318A - Electronic equipment and drawing method - Google Patents

Electronic equipment and drawing method Download PDF

Info

Publication number
JP2012155318A
JP2012155318A JP2011287171A JP2011287171A JP2012155318A JP 2012155318 A JP2012155318 A JP 2012155318A JP 2011287171 A JP2011287171 A JP 2011287171A JP 2011287171 A JP2011287171 A JP 2011287171A JP 2012155318 A JP2012155318 A JP 2012155318A
Authority
JP
Japan
Prior art keywords
display
image
unit
electronic device
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011287171A
Other languages
Japanese (ja)
Inventor
Takeshi Yagi
健 八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011287171A priority Critical patent/JP2012155318A/en
Priority to PCT/JP2012/050019 priority patent/WO2012093669A1/en
Publication of JP2012155318A publication Critical patent/JP2012155318A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • G09G3/2018Display of intermediate tones by time modulation using two or more time intervals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/04Structural and physical details of display devices
    • G09G2300/0439Pixel structures
    • G09G2300/0452Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00Arrangements for display data security
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/06Remotely controlled electronic signs other than labels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a technique that can draw more pleasantly on displays of other display devices.SOLUTION: Electronic equipment 5 comprises an acceleration sensor 120, a communication part 150 communicating with a display device with a display and a drawing control part 140 controlling a drawing on the display through the communication part 150 depending on an acceleration detected by the acceleration sensor 120. When the acceleration sensor 120 detects the acceleration of the approach direction to the display, the drawing control part 140 controls the drawing of a splash image which expresses splash of water.

Description

本発明は、電子機器及び描画方法に関するものである。   The present invention relates to an electronic device and a drawing method.

従来、街頭に設置され、提供者(例えば、広告代理業者)によって提供される情報(例えば、広告用の動画)を表示する表示装置が知られている(例えば、特許文献1参照)。   2. Description of the Related Art Conventionally, a display device that is installed on a street and displays information (for example, a moving image for advertisement) provided by a provider (for example, an advertising agent) is known (for example, see Patent Document 1).

特開2010−185962号公報JP 2010-185962 A

しかしながら、上述のような表示装置の場合、通行人は、常に、他者が用意した画像を視る側の立場で該表示装置と関わるのであって、自身が所望の画像を該表示装置に表示する立場で該表示装置を活用することができない。また、一般に、本体を振るなど移動させて他の装置の表示部に所望の絵を描く場合、本体の移動の軌跡に従った描画しかできないため、十分に楽しめないという問題がある。
本発明は、上記問題に鑑みてなされたものであり、より楽しく、他の表示装置の表示部に描画する電子機器及び描画方法を提供する。
However, in the case of the display device as described above, a passerby is always involved with the display device from the standpoint of viewing an image prepared by another person, and displays a desired image on the display device. The display device cannot be used from the standpoint of In general, when a desired picture is drawn on the display unit of another apparatus by moving the main body, for example, there is a problem that the drawing can only be performed according to the movement trajectory of the main body, so that it cannot be fully enjoyed.
The present invention has been made in view of the above problems, and provides an electronic device and a drawing method for drawing on a display unit of another display device more happily.

上記問題を解決するために、本発明の一態様である電子機器は、加速度センサを備える電子機器であって、表示部を備える表示装置と通信する通信部と、前記加速度センサによって検出された加速度に応じて、前記通信部を介して前記表示部への描画を制御する描画制御部とを備え、前記描画制御部は、前記加速度センサが前記表示部への接近方向の加速度を検出した場合には、飛沫を表現した飛沫画像の描画を制御することを特徴とする。   In order to solve the above problem, an electronic device according to one embodiment of the present invention is an electronic device including an acceleration sensor, the communication unit communicating with a display device including a display unit, and the acceleration detected by the acceleration sensor. And a drawing control unit that controls drawing on the display unit via the communication unit, wherein the drawing control unit detects when the acceleration sensor detects an acceleration in the approaching direction to the display unit. Is characterized by controlling the drawing of a splash image representing the splash.

上記電子機器において、前記描画制御部は、前記接近方向の加速度に応じて前記飛沫画像の描画サイズを制御してもよい。   The said electronic device WHEREIN: The said drawing control part may control the drawing size of the said splash image according to the acceleration of the said approach direction.

上記表示装置において、前記描画制御部は、前記表示部との距離に応じて前記飛沫画像の描画サイズを制御してもよい。   The said display apparatus WHEREIN: The said drawing control part may control the drawing size of the said splash image according to the distance with the said display part.

上記表示装置は、撮像部を更に備え、前記通信部は、前記撮像部が前記表示装置の前記表示部を撮像した画像から得られる前記表示装置への接続情報と接続し、通信するようにしてもよい。   The display device further includes an imaging unit, and the communication unit is connected to and communicates with connection information to the display device obtained from an image obtained by imaging the display unit of the display device. Also good.

上記問題を解決するために、本発明の一態様である描画方法は、表示装置に接続して前記表示装置の表示部に描画する電子機器における描画方法であって、前記電子機器の加速度検出手段が、前記表示部への接近方向の加速度を検出し、前記電子機器の描画制御手段が、前記接近方向の加速度が検出された場合に、飛沫を表現した飛沫画像の前記表示部への描画を制御することを特徴とする。   In order to solve the above problem, a drawing method according to an aspect of the present invention is a drawing method in an electronic device that is connected to a display device and draws on a display unit of the display device, the acceleration detecting unit of the electronic device Detects the acceleration in the approaching direction to the display unit, and when the drawing control means of the electronic device detects the acceleration in the approaching direction, draws the splash image representing the splashing on the display unit. It is characterized by controlling.

上記問題を解決するために、本発明の一態様である表示装置は、表示部と、前記表示部に、人間に視認させる視認用画像と、人間に視認させない画像である非視認用画像とを表示させる制御部とを備える表示装置において、前記非視認用画像は、所定接続先への接続情報を示す接続画像であることを特徴とする。   In order to solve the above problems, a display device according to one embodiment of the present invention includes a display portion, a visual image that is visually recognized by a human on the display portion, and a non-visual image that is an image that is not visually recognized by a human. In the display device including the control unit to be displayed, the non-viewing image is a connection image indicating connection information to a predetermined connection destination.

上記表示装置において、前記表示部には、前記非視認用画像として、前記表示装置への接続情報を示す接続画像が表示され、前記表示装置への接続が開始されると、前記非視認用画像として、前記表示装置以外の接続先への接続情報を示す接続画像が表示されるようにしてもよい。   In the display device, a connection image indicating connection information to the display device is displayed on the display unit as the non-visual image, and when the connection to the display device is started, the non-visual image is displayed. As an example, a connection image indicating connection information to a connection destination other than the display device may be displayed.

上記表示装置において、前記接続先又は前記表示装置以外の接続先は、前記表示装置によって宣伝を行う団体のサーバであってもよい。   In the display device described above, the connection destination or the connection destination other than the display device may be a server of a group that advertises with the display device.

上記表示装置において、前記団体のサーバは、前記視認用画像と前記非視認用画像とを区別して、前記表示装置へ送信するようにしてもよい。   In the display device, the server of the group may distinguish the viewing image and the non-viewing image and transmit them to the display device.

上記問題を解決するために、本発明の他の態様である表示装置は、表示部と、前記表示部に、人間の視覚が応答可能な長さを有しないタイミングで、人間に視認させない画像である非視認用画像を表示させる制御部とを備える表示装置において、前記非視認用画像は、前記表示装置への接続情報を示す接続画像であることを特徴とする。   In order to solve the above-described problem, a display device according to another aspect of the present invention includes a display unit and an image that is not visible to humans at a timing at which the display unit does not have a length capable of responding to human vision. A display device including a control unit that displays a certain non-viewing image, wherein the non-viewing image is a connection image indicating connection information to the display device.

上記表示装置において、前記制御部は、前記表示部に、人間の視覚が応答可能な長さを有する第1表示期間の間、人間に視認させる画像である視認用画像を表示させるとともに、前記第1表示期間に続く期間のうち人間の視覚が応答可能な長さを有しない第2表示期間の間、前記非視認用画像を表示させるようにしてもよい。   In the display device, the control unit causes the display unit to display an image for visual recognition that is an image to be visually recognized by a human during a first display period having a length in which human vision can respond. You may make it display the said image for non-visual recognition during the 2nd display period which does not have the length which human vision can respond in the period following 1 display period.

上記表示装置において、前記接続画像は、二次元バーコードであってもよい。   In the display device, the connection image may be a two-dimensional barcode.

上記表示装置において、前記接続画像を撮像した撮像装置からの接続要求に応じて、前記撮像装置と通信する通信部を更に備えるようにしてもよい。   The display device may further include a communication unit that communicates with the imaging device in response to a connection request from the imaging device that has captured the connection image.

上記問題を解決するために、本発明の他の態様である表示方法は、表示部を備える表示装置における表示方法であって、前記表示装置の制御手段が、前記表示部に、人間の視覚が応答可能な長さを有しないタイミングで、人間に視認させない画像である非視認用画像を表示させ、前記非視認用画像は、前記表示装置への接続情報を示す接続画像であることを特徴とする。   In order to solve the above-described problem, a display method according to another aspect of the present invention is a display method in a display device including a display unit, and the control unit of the display device displays human vision on the display unit. A non-viewing image that is an image that is not visible to humans is displayed at a timing that does not have a responsive length, and the non-viewing image is a connection image that indicates connection information to the display device. To do.

上記問題を解決するために、本発明の他の態様である接続方法は、表示装置と電子機器とを接続する接続方法であって、前記表示装置の表示手段が、人間の視覚が応答可能な長さを有しない表示期間の間、前記表示装置への接続情報を示す接続画像を表示し、前記電子機器の撮像手段が、前記表示手段によって表示された前記接続画像を撮像し、前記電子機器の通信手段が、前記撮像手段によって撮像された前記接続画像によって示される前記接続情報を用いて、前記表示装置に接続要求を送信することを特徴とする。   In order to solve the above problem, a connection method according to another aspect of the present invention is a connection method for connecting a display device and an electronic device, and the display means of the display device can respond to human vision. During a display period having no length, a connection image indicating connection information to the display device is displayed, and an imaging unit of the electronic device captures the connection image displayed by the display unit, and the electronic device The communication unit transmits a connection request to the display device using the connection information indicated by the connection image captured by the imaging unit.

上記問題を解決するために、本発明の他の態様である表示装置は、不可視光を照射する発光部を有する表示部と、前記表示部を制御する制御部とを備える表示装置において、前記制御部は、人間に視認させない画像である非視認用画像を、前記不可視光を照射する前記発光部を用いて表示させ、前記非視認用画像は、前記表示装置への接続情報を示す接続画像であることを特徴とする。   In order to solve the above problem, a display device according to another aspect of the present invention is a display device including a display unit having a light emitting unit that emits invisible light and a control unit that controls the display unit. The display unit displays a non-viewing image, which is an image that is not visible to humans, using the light-emitting unit that emits the invisible light, and the non-viewing image is a connection image indicating connection information to the display device. It is characterized by being.

上記表示装置において、前記表示部は、可視光を照射する発光部を更に有し、前記制御部は、人間に視認させる画像である視認用画像を、前記可視光を照射する発光部を用いて表示させるようにしてもよい。   In the above display device, the display unit further includes a light emitting unit that emits visible light, and the control unit uses a light emitting unit that emits visible light, which is an image to be visually recognized by a human. You may make it display.

上記表示装置において、前記接続画像は、二次元バーコードであってもよい。   In the display device, the connection image may be a two-dimensional barcode.

上記表示装置において、前記非視認用画像は、前記不可視光に感度を有する撮像装置によって撮像される画像であってもよい。   In the display device, the invisible image may be an image captured by an imaging device having sensitivity to the invisible light.

上記表示装置において、前記接続画像を撮像した撮像装置からの接続要求に応じて、前記撮像装置と通信する通信部を更に備えるようにしてもよい。   The display device may further include a communication unit that communicates with the imaging device in response to a connection request from the imaging device that has captured the connection image.

上記表示装置において、前記接続画像を撮像した前記撮像装置からの接続要求に応じて、前記撮像装置と通信する通信部を更に備えるようにしてもよい。   The display device may further include a communication unit that communicates with the imaging device in response to a connection request from the imaging device that has captured the connection image.

本発明によれば、より楽しく、他の表示装置の表示部に描画することができるようになる。   According to the present invention, drawing on a display unit of another display device can be performed more happily.

第1の実施形態による画像表示システム1、及び、第2の実施形態による画像表示システム2の概略構成図である。It is a schematic block diagram of the image display system 1 by 1st Embodiment, and the image display system 2 by 2nd Embodiment. 表示装置3の機能ブロック図の一例である。3 is an example of a functional block diagram of a display device 3. FIG. 表示装置3が生成する表示信号の一例である。It is an example of the display signal which the display apparatus 3 produces | generates. 視認用画像及び非視認用画像の一例である。It is an example of the image for visual recognition, and the image for non-visual recognition. 電子機器5の機能ブロック図の一例である。3 is an example of a functional block diagram of the electronic device 5. FIG. 電子機器5による表示部30の撮像に関する説明図である。FIG. 11 is an explanatory diagram regarding imaging of the display unit 30 by the electronic device 5. 画像表示システム1の動作の一例を示すフローチャートである。4 is a flowchart illustrating an example of the operation of the image display system 1. 画像表示システム1の動作の一例を説明するための説明図である。6 is an explanatory diagram for explaining an example of an operation of the image display system 1. FIG. 画像表示システム1の動作の一例を説明するための説明図である。6 is an explanatory diagram for explaining an example of an operation of the image display system 1. FIG. 飛沫画像の表示態様を説明するための説明図である。It is explanatory drawing for demonstrating the display aspect of a splash image. 表示装置4の機能ブロック図の一例である。3 is an example of a functional block diagram of a display device 4. FIG. 表示装置4の表示部60を構成する画素61の模式図である。4 is a schematic diagram of a pixel 61 that constitutes a display unit 60 of the display device 4. FIG. 表示装置4が生成する表示信号の一例である。It is an example of the display signal which the display apparatus 4 produces | generates. 電子機器5による表示部60の撮像に関する説明図である。It is explanatory drawing regarding the imaging of the display part 60 by the electronic device 5. FIG. 表示装置4が生成する表示信号の他の例である。It is another example of the display signal which the display apparatus 4 produces | generates. 電子機器5による表示部60の撮像に関する説明図である。It is explanatory drawing regarding the imaging of the display part 60 by the electronic device 5. FIG.

(第1の実施形態)
以下、図面を参照しながら第1の実施形態について説明する。図1(a)は、第1の実施形態による画像表示システム1の概略構成図である。
(First embodiment)
The first embodiment will be described below with reference to the drawings. FIG. 1A is a schematic configuration diagram of an image display system 1 according to the first embodiment.

画像表示システム1は、図1(a)に示すように、ネットワーク9を介して接続する、表示装置3、電子機器(撮像装置)5、及び、サーバ8から構成されている。ネットワーク9は、例えば、無線LAN、携帯電話網、インターネットなどによって構成されている通信インフラである。   As shown in FIG. 1A, the image display system 1 includes a display device 3, an electronic device (imaging device) 5, and a server 8 that are connected via a network 9. The network 9 is a communication infrastructure configured by, for example, a wireless LAN, a mobile phone network, the Internet, or the like.

サーバ8は、表示装置3に種々の情報を送信する。例えば、サーバ8は、報知画像、表示装置3に接続するための接続情報を示す接続画像を表示装置3に送信する。報知画像とは、不特定多数の者に報知する情報を示す画像であって、例えば、広告画像、ニュース画像、天気予報画像などである。表示装置3に接続するための接続情報とは、表示装置3に接続するために必要となる、表示装置3のURI(Uniform Resource Identifier)、通信プロトコルなどを示す情報である。接続画像の一例は、接続情報を表現するバーコード(例えば、二次元バーコード)、接続情報を記述した文字、記号の画像である。
なお、報知画像は、人間に視認させる画像である視認用画像(詳細は後述)の一例である。また、接続画像は、人間に視認させない画像である非視認用画像(詳細は後述)の一例である。
The server 8 transmits various information to the display device 3. For example, the server 8 transmits a notification image and a connection image indicating connection information for connecting to the display device 3 to the display device 3. The notification image is an image indicating information notified to an unspecified number of people, and is, for example, an advertisement image, a news image, a weather forecast image, or the like. The connection information for connecting to the display device 3 is information indicating a URI (Uniform Resource Identifier), a communication protocol, and the like of the display device 3 necessary for connecting to the display device 3. An example of a connection image is an image of a bar code (for example, a two-dimensional bar code) that expresses connection information, characters and symbols describing the connection information.
The notification image is an example of a visual image (details will be described later) that is an image that is visually recognized by a human. The connection image is an example of a non-viewing image (details will be described later) that are images that are not visible to humans.

表示装置3は、例えば、街頭(屋内又は屋外)に設置されるLEDディスプレイである。表示装置3は、サーバ8から視認用画像及び非視認用画像を受信して表示する。また、表示装置3は、電子機器5から視認用画像を受信して表示する。なお、表示装置3が電子機器5から受信して表示する視認用画像は、例えば、電子機器5のユーザの操作に応じた画像である。電子機器5のユーザの操作に応じた画像とは、電子機器5の本体(筐体)の移動の軌跡に従った(沿った)画像(詳細は後述)、又は、電子機器5の本体の移動の軌跡に従わない(沿わない)画像である。電子機器5の本体の移動の軌跡に従わない画像の一例は、飛沫画像(詳細は後述)である。なお、表示装置3に関する詳細は後述する。   The display device 3 is, for example, an LED display installed on the street (indoor or outdoor). The display device 3 receives and displays the viewing image and the non-viewing image from the server 8. Further, the display device 3 receives and displays a visual image from the electronic device 5. In addition, the image for visual recognition which the display apparatus 3 receives and displays from the electronic device 5 is an image according to operation of the user of the electronic device 5, for example. The image according to the operation of the user of the electronic device 5 is an image (details will be described later) according to the movement path of the main body (housing) of the electronic device 5 or the movement of the main body of the electronic device 5. It is an image that does not follow (does not follow). An example of an image that does not follow the locus of movement of the main body of the electronic device 5 is a splash image (details will be described later). Details regarding the display device 3 will be described later.

電子機器5は、通信機能を備える携帯型の機器(図1は携帯電話を示しているが通話機能は必須ではない)である。電子機器5は、表示装置3に種々の情報を送信する。例えば、電子機器5は未接続の表示装置3に対し接続要求を送信し、接続中の表示装置3に対し切断要求を送信する。また例えば、電子機器5は、接続中の表示装置3に、ユーザの操作に応じた画像を描画するための描画情報を送信する。即ち、電子機器5は、電子機器5の本体の移動の軌跡に従った画像(詳細は後述)を描画するための描画情報、又は、飛沫画像(詳細は後述)を描画するための描画情報を送信する。なお、電子機器5に関する詳細は後述する。   The electronic device 5 is a portable device having a communication function (FIG. 1 shows a mobile phone, but a call function is not essential). The electronic device 5 transmits various information to the display device 3. For example, the electronic device 5 transmits a connection request to the unconnected display device 3 and transmits a disconnection request to the connected display device 3. Further, for example, the electronic device 5 transmits drawing information for drawing an image corresponding to a user operation to the connected display device 3. That is, the electronic device 5 provides drawing information for drawing an image (details will be described later) according to the movement path of the main body of the electronic device 5 or drawing information for drawing a splash image (details will be described later). Send. Details regarding the electronic device 5 will be described later.

図2は、表示装置3の機能ブロック図の一例である。図3は、表示装置3が生成する表示信号の一例である。図4は、視認用画像及び非視認用画像の一例である。   FIG. 2 is an example of a functional block diagram of the display device 3. FIG. 3 is an example of a display signal generated by the display device 3. FIG. 4 is an example of a visual image and a non-visual image.

表示装置3は、図2に示すように、通信部10、制御部20、及び、表示部30を備える。制御部20は、変換部22、タイミング制御部24、振分部26、及び、複数の駆動部28(28−1、…、28−n)を備える。   As illustrated in FIG. 2, the display device 3 includes a communication unit 10, a control unit 20, and a display unit 30. The control unit 20 includes a conversion unit 22, a timing control unit 24, a distribution unit 26, and a plurality of drive units 28 (28-1, ..., 28-n).

まず、表示部30の構造を説明する。表示部30は、図2に示すように、複数の画素31(31−1−1、…、31−n−m)を備える。各画素31は、複数の発光部から構成されている。具体的には、各画素31は、赤色の発光ダイオード(赤色に発光する発光ダイオード、以下、同様)、緑色の発光ダイオード(緑色に発光する発光ダイオード、以下、同様)、青色の発光ダイオード(青色に発光する発光ダイオード、以下、同様)から構成されている。例えば、図2に示すように、画素31−n−mは、赤色の発光ダイオードであるLEDn−m−R、緑色の発光ダイオードであるLEDn−m−G、青色の発光ダイオードであるLEDn−m−Bから構成されている。なお、表示部30の機能、動作などは後述する。 First, the structure of the display unit 30 will be described. As illustrated in FIG. 2, the display unit 30 includes a plurality of pixels 31 (31-1-1,..., 31-nm). Each pixel 31 includes a plurality of light emitting units. Specifically, each pixel 31 includes a red light emitting diode (light emitting diode that emits red light, hereinafter the same), a green light emitting diode (light emitting diode that emits green light, hereinafter the same), and a blue light emitting diode (blue). A light emitting diode (hereinafter, the same applies). For example, as shown in FIG. 2, the pixel 31-n-m is a red LED n-m-R is a light emitting diode, LED n-m-G is a green light-emitting diodes, blue light-emitting diode LED It is composed of nm-B . The function and operation of the display unit 30 will be described later.

通信部10は、サーバ8又は電子機器5から種々の情報を受信する。例えば、通信部10は、サーバ8から、視認用画像として報知画像、非視認用画像として自表示装置3に接続するための接続情報を示す接続画像を受信する。また例えば、通信部10は、電子機器5から接続要求、切断要求を受信する。また例えば、通信部10は、電子機器5から、視認用画像として、電子機器5の本体の移動の軌跡に従った画像(詳細は後述)を描画するための描画情報、及び、飛沫画像(詳細は後述)を描画するための描画情報を受信する。   The communication unit 10 receives various information from the server 8 or the electronic device 5. For example, the communication unit 10 receives from the server 8 a connection image indicating connection information for connecting to the display device 3 as a notification image and a non-viewing image as a viewing image. For example, the communication unit 10 receives a connection request and a disconnection request from the electronic device 5. Further, for example, the communication unit 10 draws, from the electronic device 5, drawing information for drawing an image (details will be described later) according to the movement path of the main body of the electronic device 5 as a visual image, and a splash image (details). Receives drawing information for drawing.

通信部10は、サーバ8から視認用画像又は非視認用画像を受信した場合、当該視認用画像又は非視認用画像を変換部22に出力する。また、通信部10は、電子機器5から視認用画像を受信した場合、当該視認用画像を変換部22に出力する。また、通信部10は、電子機器5から接続要求を受信した場合、接続を許可するときは接続応答を電子機器5に送信する。また、通信部10は、電子機器5から切断要求を受信した場合、切断応答を電子機器5に送信する。   When the communication unit 10 receives the visual image or the non-visual image from the server 8, the communication unit 10 outputs the visual image or the non-visual image to the conversion unit 22. Further, when the communication unit 10 receives a visual image from the electronic device 5, the communication unit 10 outputs the visual image to the conversion unit 22. Further, when receiving a connection request from the electronic device 5, the communication unit 10 transmits a connection response to the electronic device 5 when permitting the connection. When the communication unit 10 receives a disconnection request from the electronic device 5, the communication unit 10 transmits a disconnection response to the electronic device 5.

変換部22は、通信部10から視認用画像及び非視認用画像を取得する。視認用画像及び非視認用画像を取得した変換部22は、人間の視覚が応答可能な長さを有する時間(第1表示期間とも称する)、視認用画像を表示部30に表示させ、人間の視覚が応答可能な長さを有しない時間(第2表示期間とも称する)、非視認用画像を表示部30に表示させる表示信号(表示部30への出力信号)を生成する。具体的には、変換部22は、タイミング制御部24の制御に従って、第1表示期間の表示信号を、視認用画像を表現した表示信号とし、第2表示期間の表示信号を、非視認用画像を表現する表示信号とする、表示信号を生成する。   The conversion unit 22 acquires a visual image and a non-visual image from the communication unit 10. The converting unit 22 that has acquired the visual image and the non-visual image causes the visual image to be displayed on the display unit 30 for a time (also referred to as a first display period) in which the human visual response is possible. A display signal (an output signal to the display unit 30) that causes the display unit 30 to display an image for non-viewing is generated during a time when the visual response is not long (also referred to as a second display period). Specifically, according to the control of the timing control unit 24, the conversion unit 22 uses the display signal for the first display period as a display signal representing a visual image, and the display signal for the second display period as a non-visual image. A display signal is generated as a display signal that expresses.

例えば、変換部22は、図3に示すように、30分の1秒毎の60分の1秒間の表示信号(A:N=1、…K)を、視認用画像を表現した表示信号とし、30分の1秒毎の240分の1秒間の表示信号(B:N=1、…K)を、非視認用画像を表現する表示信号とする、表示信号を生成する。図3において、30分の1秒は、1フレームの時間の一例である。A、…、Aの夫々は、視認用画像の1コマ分の表示信号である。B、…、Bの夫々は、非視認用画像の1コマ分の表示信号である。30分の1秒毎の60分の1秒間は、第1表示期間の一例である。30分の1秒毎の240分の1秒間は、第2表示期間の一例である。図3の例では、1フレームの時間のうちの第1表示期間以外の期間(ブランク期間)の一部の時間を第2表示期間としている。変換部22は、生成した表示信号を振分部26に出力する。 For example, as illustrated in FIG. 3, the conversion unit 22 displays a display signal (A N : N = 1,... K) for 1/60 seconds every 1/30 second as a display signal representing a visual image. A display signal is generated in which a display signal (B N : N = 1,... K) for 1/240 seconds every 1/30 second is used as a display signal representing an image for non-viewing. In FIG. 3, 1/30 second is an example of the time of one frame. A 1, ..., Each of the A k, which is a display signal of one frame of the viewing image. Each of B 1 ,..., B k is a display signal for one frame of the non-viewing image. 1 / 60th of every 1 / 30th of a second is an example of the first display period. One second of 240th of every 1/30 second is an example of the second display period. In the example of FIG. 3, a part of the time (blank period) other than the first display period in the time of one frame is set as the second display period. The conversion unit 22 outputs the generated display signal to the distribution unit 26.

なお、図3に示す例は、変換部22が視認用画像と非視認用画像の両方を通信部10から取得した場合に生成する表示信号を示しているが、変換部22は、視認用画像のみを取得した場合には、視認用画像を表現した表示信号(第1表示期間の表示信号)のみを生成し、非視認用画像のみを取得した場合には、非視認用画像を表現した表示信号(第2表示期間の表示信号)のみを生成する。   The example shown in FIG. 3 shows a display signal that is generated when the conversion unit 22 acquires both the visual image and the non-visual image from the communication unit 10, but the conversion unit 22 When only the non-viewing image is generated, only the display signal (display signal for the first display period) representing the visual image is generated, and when only the non-visual image is acquired, the display representing the non-visual image Only the signal (display signal in the second display period) is generated.

なお、上述の如く、変換部22は、第1表示期間の表示信号を、視認用画像を表現した表示信号とし、第2表示期間の表示信号を、非視認用画像を表現した表示信号とするが、第1表示期間の表示信号に視認用画像を表現した表示信号を割り振り、第2表示期間の表示信号に非視認用画像を表現した表示信号を割り振る制御には、種々の方法が考えられる。一例は、非視認用画像に非視認用画像である旨の識別情報を付加しておけば、変換部22は、通信部10から取得した画像が非視認用画像であるか否かを判別できるため、タイミング制御部24の制御(非視認用画像用のタイミング)に従って、第1表示期間の表示信号を、視認用画像を表現した表示信号とし、第2表示期間の表示信号を、非視認用画像を表現した表示信号とすることができる。   As described above, the conversion unit 22 uses the display signal for the first display period as a display signal that represents the image for visual recognition, and the display signal for the second display period as a display signal that represents the non-visual image. However, various methods are conceivable for allocating a display signal representing a visual image to the display signal in the first display period and allocating a display signal representing a non-visual image to the display signal in the second display period. . For example, if identification information indicating that the image is a non-visual image is added to the non-visual image, the conversion unit 22 can determine whether the image acquired from the communication unit 10 is a non-visual image. Therefore, according to the control of the timing control unit 24 (timing for non-viewing image), the display signal for the first display period is set as a display signal representing the image for viewing, and the display signal for the second display period is set for non-viewing. A display signal representing an image can be obtained.

タイミング制御部24は、変換部22による視認用画像を表現する表示信号及び非視認用画像を表現する表示信号の生成タイミングを制御する。具体的には、タイミング制御部24は、第1表示期間の表示信号を、視認用画像を表現した表示信号とし、第2表示期間の表示信号を、非視認用画像を表現する表示信号とするためのタイミング情報を変換部22に出力し、上記生成タイミングを制御する。例えば、タイミング制御部24が、30分の1秒毎の先頭から開始する60分の1秒間の表示信号を、視認用画像を表現する表示信号とし、30分の1秒毎の240分の5.5秒(60分の1秒+240分の1.5秒)から開始する240分の1秒間の表示信号を、非視認用画像を表現する表示信号とするためのタイミング情報を変換部22に出力した場合、変換部22は、図3に示す表示信号を生成する。   The timing control unit 24 controls the generation timing of the display signal that represents the visual image and the display signal that represents the non-visual image by the conversion unit 22. Specifically, the timing control unit 24 uses the display signal for the first display period as a display signal representing a visual image, and the display signal for the second display period as a display signal representing a non-visual image. Timing information is output to the converter 22 to control the generation timing. For example, the timing control unit 24 uses a display signal for 1/60 second starting from the head every 1/30 second as a display signal representing a visual image, and 5/240 for every 1/30 second. Timing information for converting the display signal for 1/240 seconds starting from 5 seconds (1/60 seconds + 1.5 seconds / 240 seconds) into a display signal that represents a non-viewing image is input to the converter 22. When output, the converter 22 generates the display signal shown in FIG.

振分部26は、シフトレジスタであって、変換部22から表示信号を取得し、変換部22から取得した表示信号を各駆動部28に振り分けて出力する。つまり、振分部26は、各画素31に出力すべき表示信号を、各画素31を駆動させる各駆動部28に振り分けて出力する。図2に示す例では、振分部26は、画素31−1−1〜画素31−1−mに出力すべき表示信号を駆動部28−1に出力し、…、画素31−n−1〜画素31−n−mに出力すべき表示信号を駆動部28−nに出力する。   The distribution unit 26 is a shift register, acquires a display signal from the conversion unit 22, distributes the display signal acquired from the conversion unit 22 to each drive unit 28, and outputs it. That is, the distribution unit 26 distributes and outputs a display signal to be output to each pixel 31 to each drive unit 28 that drives each pixel 31. In the example illustrated in FIG. 2, the distribution unit 26 outputs display signals to be output to the pixels 31-1-1 to 31-1-m to the drive unit 28-1,. A display signal to be output to the pixel 31-nm is output to the drive unit 28-n.

各駆動部28は、表示部30を制御するドライバICであって、表示部30が備える各画素31を駆動する。具体的には、各駆動部28は、振分部26から取得した表示信号を各画素31に出力する。図2に示す例では、駆動部28−1は、振分部26から取得した表示信号を画素31−1−1〜画素31−1−mに出力し、…、駆動部28−nは、振分部26から取得した表示信号を画素31−n−1〜画素31−n−mに出力する。   Each drive unit 28 is a driver IC that controls the display unit 30 and drives each pixel 31 included in the display unit 30. Specifically, each drive unit 28 outputs the display signal acquired from the distribution unit 26 to each pixel 31. In the example illustrated in FIG. 2, the drive unit 28-1 outputs the display signal acquired from the distribution unit 26 to the pixels 31-1-1 to 31-1 -m,... The display signals acquired from the distribution unit 26 are output to the pixels 31-n-1 to 31-nm.

表示部30は、複数の画素31を用いて、サーバ8又は電子機器5から送信された視認用画像又は非視認用画像を表示する。つまり、表示部30が備える各画素31は、各駆動部28から、視認用画像を表現する表示信号、又は、非視認用画像を表現する表示信号を取得し、表示信号に応じて発光する。   The display unit 30 displays a visual image or a non-visual image transmitted from the server 8 or the electronic device 5 using the plurality of pixels 31. That is, each pixel 31 included in the display unit 30 acquires a display signal representing a visual image or a display signal representing a non-visual image from each driving unit 28, and emits light according to the display signal.

例えば、表示部30は、図4(a)に示すように、サーバ8から送信された天気予報画像を視認用画像として表示する。また例えば、表示部30は、図4(b)〜(e)に示すように、サーバ8から送信された接続画像である二次元バーコードを非視認用画像として表示する。図4(b)は表示部30の表示面の略全域に二次元バーコードを表示する表示例、図4(c)は表示部30の表示面の中心領域に小さな二次元バーコードを表示する表示例、図4(d)は表示部30の表示面の中心領域以外に二次元バーコードを表示する表示例、図4(e)は表示部30の表示面に同一の二次元バーコードを複数表示する表示例である。但し、上述したように、非視認用画像の表示時間は、人間の視覚が応答可能な長さを有しない時間(第2表示期間)であるため、目視では非視認用画像である二次元バーコードを認識することができない。   For example, as shown in FIG. 4A, the display unit 30 displays the weather forecast image transmitted from the server 8 as a visual image. For example, as shown in FIGS. 4B to 4E, the display unit 30 displays a two-dimensional barcode that is a connection image transmitted from the server 8 as a non-viewing image. FIG. 4B shows a display example in which a two-dimensional barcode is displayed over substantially the entire display surface of the display unit 30, and FIG. 4C shows a small two-dimensional barcode in the central region of the display surface of the display unit 30. 4D is a display example in which a two-dimensional barcode is displayed in a region other than the central area of the display surface of the display unit 30, and FIG. 4E is a display example in which the same two-dimensional barcode is displayed on the display surface of the display unit 30. It is the example of a display displayed in multiple numbers. However, as described above, the display time of the non-visual image is a time (second display period) that does not have a length that allows human vision to respond. The code cannot be recognized.

また例えば、表示部30は、図4(f)に示すように、電子機器5から送信された電子機器5の本体の移動の軌跡に従った画像(詳細は後述)を視認用画像として表示する。また例えば、表示部30は、図4(g)(h)に示すように、電子機器5から送信された飛沫画像(詳細は後述)を視認用画像として表示する。なお、図4(g)は飛沫画像単独の表示例、図4(h)は図4(f)の画像に重畳した表示例である。なお、飛沫画像(詳細は後述)には種々の表示態様があるが、詳細は後述する。   For example, as shown in FIG. 4F, the display unit 30 displays an image (details will be described later) according to the movement trajectory of the main body of the electronic device 5 transmitted from the electronic device 5 as a visual image. . For example, as shown in FIGS. 4G and 4H, the display unit 30 displays a splash image (details will be described later) transmitted from the electronic device 5 as a visual image. FIG. 4G is a display example of a splash image alone, and FIG. 4H is a display example superimposed on the image of FIG. There are various display modes for the splash image (details will be described later), but details will be described later.

図5は、電子機器5の機能ブロック図の一例である。図6は、電子機器5による表示部30の撮像に関する説明図である。電子機器5は、図5に示すように、表示・操作受付部100、撮像部110、加速度センサ120、描画制御部140、及び、通信部150を備える。また、電子機器5は、撮像画像に二次元バーコードが撮像されているか否かを判断し、二次元バーコードによって示される情報を解読(復号)する解読部(非図示)を備える。なお、図5において破線にて示す距離測定部130については後述する。   FIG. 5 is an example of a functional block diagram of the electronic device 5. FIG. 6 is an explanatory diagram relating to imaging of the display unit 30 by the electronic device 5. As shown in FIG. 5, the electronic device 5 includes a display / operation receiving unit 100, an imaging unit 110, an acceleration sensor 120, a drawing control unit 140, and a communication unit 150. The electronic device 5 includes a decoding unit (not shown) that determines whether or not a two-dimensional barcode is captured in the captured image and decodes (decodes) information indicated by the two-dimensional barcode. Note that the distance measuring unit 130 indicated by a broken line in FIG. 5 will be described later.

描画制御部140は、移動量算出部142、描画情報生成部144、現在位置記憶部146、及び、飛沫画像情報記憶部148を備え、通信部150を介して接続中の表示装置3の表示部30に対する描画を制御する。例えば、描画制御部140は、加速度センサ120が表示部30への接近方向以外の加速度を検出した場合、当該加速度に基づいて算出した電子機器5の本体の軌跡に従った画像(詳細は後述)を描画するための描画情報を生成し、当該描画情報を表示装置3に通信部150を介して送信することによって、表示部30への描画を制御する。また例えば、描画制御部140は、加速度センサ120が表示部30への接近方向の加速度を検出した場合には、飛沫画像(詳細は後述)を描画するための描画情報を生成し、当該描画情報を表示装置3に通信部150を介して送信することによって、表示部30への描画を制御する。なお、移動量算出部142、描画情報生成部144、現在位置記憶部146、及び、飛沫画像情報記憶部148の詳細は後述する。   The drawing control unit 140 includes a movement amount calculation unit 142, a drawing information generation unit 144, a current position storage unit 146, and a splash image information storage unit 148, and the display unit of the display device 3 that is connected via the communication unit 150. Controls drawing for 30. For example, when the acceleration sensor 120 detects an acceleration other than the approaching direction to the display unit 30, the drawing control unit 140 is an image according to the locus of the main body of the electronic device 5 calculated based on the acceleration (details will be described later). The drawing information for drawing is generated, and the drawing information is transmitted to the display device 3 via the communication unit 150, thereby controlling the drawing on the display unit 30. For example, when the acceleration sensor 120 detects acceleration in the approaching direction to the display unit 30, the drawing control unit 140 generates drawing information for drawing a splash image (details will be described later), and the drawing information Is transmitted to the display device 3 via the communication unit 150 to control drawing on the display unit 30. Details of the movement amount calculation unit 142, the drawing information generation unit 144, the current position storage unit 146, and the splash image information storage unit 148 will be described later.

表示・操作受付部100は、液晶タッチディスプレイであって、ユーザインターフェースを提供する。表示・操作受付部100は、撮像部110によって撮像された撮像画像をユーザに表示する。また、表示・操作受付部100は、表示装置3に接続するための接続操作をユーザから受け付ける。表示・操作受付部100は、上記接続操作をユーザから受け付けた場合には、表示装置3に接続要求を送信すべき旨を通信部150に通知する。
例えば、表示・操作受付部100は、撮像部110によって撮像された撮像画像が表示装置3に接続するための接続情報を示す二次元バーコードであったときは、当該二次元バーコードを表示し、更に、ユーザからの上記接続操作を受け付けた場合に、表示装置3に接続要求を送信すべき旨を、解読部(非図示)によって解読された接続情報とともに通信部150に通知する。なお、表示・操作受付部100は、二次元バーコードを表示するときに、解読部(非図示)によって解読された接続情報を表示してもよい。
The display / operation receiving unit 100 is a liquid crystal touch display and provides a user interface. The display / operation receiving unit 100 displays the captured image captured by the imaging unit 110 to the user. In addition, the display / operation receiving unit 100 receives a connection operation for connecting to the display device 3 from the user. When receiving the connection operation from the user, the display / operation receiving unit 100 notifies the communication unit 150 that a connection request should be transmitted to the display device 3.
For example, when the captured image captured by the imaging unit 110 is a two-dimensional barcode indicating connection information for connecting to the display device 3, the display / operation receiving unit 100 displays the two-dimensional barcode. Furthermore, when the connection operation from the user is accepted, the communication unit 150 is notified that the connection request should be transmitted to the display device 3 together with the connection information decoded by the decoding unit (not shown). The display / operation receiving unit 100 may display the connection information decoded by the decoding unit (not shown) when displaying the two-dimensional barcode.

また、表示・操作受付部100は、表示装置3との接続を切断するための切断操作をユーザから受け付ける。表示・操作受付部100は、上記切断操作をユーザからの受け付けた場合には、表示装置3に切断要求を送信すべき旨を通信部150に通知する。   In addition, the display / operation receiving unit 100 receives a disconnection operation for disconnecting the connection with the display device 3 from the user. The display / operation receiving unit 100 notifies the communication unit 150 that the disconnection request should be transmitted to the display device 3 when the disconnection operation is received from the user.

また、表示・操作受付部100は、表示装置3に接続要求を送信すべき旨を通信部150に通知した後に、通信部15から接続応答を取得した場合、描画モードに設定された旨を表示するとともに、加速度センサ120に描画モードに設定された旨を通知する。同様に、表示・操作受付部100は、表示装置3に切断要求を送信すべき旨を通信部150に通知した後に、通信部15から切断応答を取得した場合、描画モードでないモード(以下、通常モードという)に設定された旨を表示するとともに、加速度センサ120に通常モードに設定された旨を通知する。   Further, when the display / operation receiving unit 100 notifies the communication unit 150 that a connection request should be transmitted to the display device 3 and then obtains a connection response from the communication unit 15, the display / operation receiving unit 100 displays that the drawing mode has been set. In addition, the acceleration sensor 120 is notified that the drawing mode is set. Similarly, when the display / operation receiving unit 100 notifies the communication unit 150 that a disconnection request should be transmitted to the display device 3 and then obtains a disconnection response from the communication unit 15, the display / operation receiving unit 100 is not in a drawing mode (hereinafter referred to as normal mode). Mode), and the acceleration sensor 120 is notified that the normal mode has been set.

撮像部110は、被写体を撮像するカメラユニットであって連写(連続撮像)機能を備える。なお、連写機能は、例えば、表示・操作受付部100を介したユーザの明示の操作によって発動し、本実施形態では、連写枚数4枚(露光時間は各120分の1秒)であるものとする。   The imaging unit 110 is a camera unit that images a subject and has a continuous shooting (continuous imaging) function. Note that the continuous shooting function is activated by, for example, a user's explicit operation via the display / operation receiving unit 100, and in the present embodiment, the number of continuous shooting is 4 (exposure time is 1/120 second each). Shall.

撮像部110は、ユーザの指示に応じて被写体を撮像(1枚又は4枚連写)したときは、撮像画像を表示・操作受付部100に出力する。例えば、撮像部110は、図6(a)に示すような表示信号に基づく画像(視認用画像である天気予報画像、及び、非視認用画像である二次元バーコード)を表示中の表示装置3の表示部30を連写したときは、図6(b)又は図6(c)に示すような4枚の撮像画像を表示・操作受付部100に出力する。即ち、表示部30における天気予報画像及び二次元バーコードの表示タイミング、並びに、撮像部110における露光タイミングから、例えば、連写Pでは、図6(b)に示すように、天気予報画像が1枚目の撮像画像P、2枚目の撮像画像P、及び、4枚目の撮像画像Pにおいて撮像され、二次元バーコードが3枚目の撮像画像Pにおいて撮像される。また、連写Qでは、図6(c)に示すように、二次元バーコードが1枚目の撮像画像Qにおいて撮像され、天気予報画像が2枚目の撮像画像Q、3枚目の撮像画像Q、及び、4枚目の撮像画像Qにおいて撮像される。 The imaging unit 110 outputs a captured image to the display / operation receiving unit 100 when imaging a subject (one or four continuous shooting) according to a user instruction. For example, the imaging unit 110 is displaying a display device that is displaying an image (a weather forecast image that is a visual image and a two-dimensional barcode that is a non-visual image) based on the display signal as illustrated in FIG. When the three display units 30 are continuously shot, four captured images as shown in FIG. 6B or 6C are output to the display / operation receiving unit 100. That is, from the display timing of the weather forecast image and the two-dimensional barcode on the display unit 30 and the exposure timing of the imaging unit 110, for example, in continuous shooting P, the weather forecast image is 1 as shown in FIG. The second captured image P 1 , the second captured image P 2 , and the fourth captured image P 4 are captured, and the two-dimensional barcode is captured in the third captured image P 3 . Further, the continuous shooting Q, as shown in FIG. 6 (c), two-dimensional bar code is captured at first captured image Q 1, captured images Q 2 of the weather forecast image 2nd, 3rd The captured image Q 3 and the fourth captured image Q 4 are captured.

つまり、電子機器5を用いて表示部30を連写することによって、目視では認識不要な非視認用画像を認識することができるようになる。より詳細には、表示部30における視認用画像及び非視認用画像の表示タイミング、並びに、撮像部110における露光タイミングを適切に設定すれば、連写された複数枚の撮像画像のうちの少なくも1枚は、非視認用画像のみを撮像した撮像画像(上述の撮像画像P、撮像画像Q)になるため、非視認用画像を確実に(即ち、視認用画像と重畳することなく)認識することができるようになる。つまり、電子機器5は、表示装置3への接続情報を得ることができるようになる。 That is, by continuously shooting the display unit 30 using the electronic device 5, it is possible to recognize a non-visual image that does not need to be recognized visually. More specifically, if the display timing of the viewing image and the non-viewing image on the display unit 30 and the exposure timing of the imaging unit 110 are appropriately set, at least of the plurality of continuously captured images. Since one sheet is a captured image obtained by capturing only the non-viewing image (the above-described captured image P 3 , captured image Q 1 ), the non-viewing image is reliably (ie, not superimposed on the viewing image). Be able to recognize. That is, the electronic device 5 can obtain connection information to the display device 3.

連写された複数枚の撮像画像のうちの少なくも1枚が、非視認用画像のみを撮像した撮像画像となるような設定について説明する。例えば、表示装置3において、ブランク期間の真中を中心とする時間に第2表示期間を設定した場合、電子機器5において、ブランク期間の半分以下の時間となるように各露光時間を設定し、各露光時間の合計が1フレームの時間以上となるように連写枚数を設定すればよい。例えば、図6(a)に示す例では、表示装置3において、60分の1秒間であるブランク期間の真中であるブランク期間の開始から120分の1秒後を中心とする時間(ブランク期間の開始タイミングから240分の1.5秒後〜同240分の2.5秒後の間の240分の1秒間)に第2表示期間を設定しているため、電子機器5において、各露光時間を120分の1秒に設定し、連写枚数4枚を設定している。   A setting will be described in which at least one of a plurality of continuously captured images is a captured image obtained by capturing only a non-viewing image. For example, in the display device 3, when the second display period is set at a time centered on the middle of the blank period, in the electronic device 5, each exposure time is set so as to be less than half the blank period, The number of continuous shots may be set so that the total exposure time is equal to or longer than the time of one frame. For example, in the example illustrated in FIG. 6A, in the display device 3, a time centering around 1/120 second from the start of the blank period in the middle of the blank period that is 1/60 second (the blank period). Since the second display period is set from 1.5 seconds after 240 seconds to 1/240 seconds after 2.5 seconds after 240 seconds) from the start timing, each exposure time is set in the electronic device 5. Is set to 1 / 120th of a second, and four continuous shots are set.

図5に戻り、加速度センサ120は、電子機器5の本体に加えられた加速度を検出する。例えば、加速度センサ120は、描画モードに設定されている間(表示・操作受付部100から描画モードに設定された旨が通知された後、通常モードに設定された旨が通知される迄の間)、電子機器5の本体に加えられた加速度を検出する。加速度センサ120は、電子機器5の本体に加えられた加速度を検出した場合、検出した加速度を示す加速度情報を移動量算出部142に出力する。   Returning to FIG. 5, the acceleration sensor 120 detects the acceleration applied to the main body of the electronic device 5. For example, while the acceleration sensor 120 is set in the drawing mode (from the time when the display / operation receiving unit 100 is notified that the drawing mode is set to the time when it is notified that the normal mode is set) ), The acceleration applied to the main body of the electronic device 5 is detected. When the acceleration sensor 120 detects acceleration applied to the main body of the electronic device 5, the acceleration sensor 120 outputs acceleration information indicating the detected acceleration to the movement amount calculation unit 142.

移動量算出部142は、加速度センサ120から加速度情報を取得する。移動量算出部142は、加速度センサ120から加速度情報を取得した場合、当該加速度情報に基づいて、電子機器5の本体の移動量(方向、大きさ)を算出する。移動量算出部142は、電子機器5の本体の移動量を算出した場合、算出した移動量を示す移動量情報を描画情報生成部144に出力する。   The movement amount calculation unit 142 acquires acceleration information from the acceleration sensor 120. When the acceleration information is acquired from the acceleration sensor 120, the movement amount calculation unit 142 calculates the movement amount (direction and size) of the main body of the electronic device 5 based on the acceleration information. When calculating the movement amount of the main body of the electronic device 5, the movement amount calculation unit 142 outputs movement amount information indicating the calculated movement amount to the drawing information generation unit 144.

描画情報生成部144は、移動量算出部142から移動量情報を取得する。描画情報生成部144は、移動量算出部142から移動量情報を取得した場合、接続中の表示装置3の表示部30に表示させる描画情報を生成する。   The drawing information generation unit 144 acquires movement amount information from the movement amount calculation unit 142. When the movement amount information is acquired from the movement amount calculation unit 142, the drawing information generation unit 144 generates drawing information to be displayed on the display unit 30 of the connected display device 3.

具体的には、描画情報生成部144は、移動量算出部142から表示部30への接近方向以外の移動量情報を取得した場合、移動量情報から得られる電子機器5の本体の移動の軌跡に従った画像を描画するための描画情報(例えば、曲線、直線、塗潰し領域、色などを規定する情報)を生成する。より詳細には、描画情報生成部144は、移動量情報から得られる電子機器5の本体の移動の軌跡に従った画像を描画するための描画情報であって、接続中の表示装置3の表示部30における現在の指示位置(カーソル位置)を起点とする描画情報を生成する。
なお、接続中の表示装置3の表示部30における現在の指示位置は、現在位置記憶部146に記憶されている(詳細は後述)。
Specifically, when the drawing information generation unit 144 acquires movement amount information other than the approaching direction to the display unit 30 from the movement amount calculation unit 142, the movement trajectory of the main body of the electronic device 5 obtained from the movement amount information. Drawing information (for example, information defining a curve, a straight line, a filled region, a color, etc.) for drawing an image according to the above is generated. More specifically, the drawing information generation unit 144 is drawing information for drawing an image according to the movement trajectory of the main body of the electronic device 5 obtained from the movement amount information, and is displayed on the display device 3 being connected. Drawing information starting from the current designated position (cursor position) in the unit 30 is generated.
Note that the current indicated position on the display unit 30 of the connected display device 3 is stored in the current position storage unit 146 (details will be described later).

また、描画情報生成部144は、移動量算出部142から表示部30への接近方向の移動量情報を取得した場合、飛沫を表現した飛沫画像を描画するための描画情報(例えば、曲線、直線、塗潰し領域、色などを規定する情報)を生成する。具体的には、描画情報生成部144は、飛沫画像情報記憶部148に記憶されている、飛沫画像を描画するための描画情報の雛形を加工(例えば、平行移動、回転)し、接続中の表示装置3の表示部30における現在の指示位置を中心とする飛沫画像を描画する描画情報を生成する。なお、表示部30への接近方向の一例は、表示部30に向けて電子機器5の本体を振り下ろす方向、表示部30に向けて電子機器5の本体を突き出す方向などである。   In addition, when the drawing information generation unit 144 acquires the movement amount information in the approaching direction from the movement amount calculation unit 142 to the display unit 30, the drawing information for drawing a splash image representing the splash (for example, a curve, a straight line) , Information that defines the painted area, color, etc.). Specifically, the drawing information generation unit 144 processes (for example, translates and rotates) a drawing information template for drawing a splash image, which is stored in the splash image information storage unit 148, and is connected. Drawing information for drawing a splash image centered on the current designated position on the display unit 30 of the display device 3 is generated. Examples of the approaching direction to the display unit 30 include a direction in which the main body of the electronic device 5 is swung down toward the display unit 30 and a direction in which the main body of the electronic device 5 is projected toward the display unit 30.

なお、描画情報生成部144は、上記接近方向の移動量(加速度)を考慮して、飛沫画像を描画する描画情報を生成してもよい。つまり、描画情報生成部144は、移動量が大きれれば大きいほど大きいサイズの飛沫画像を描画する描画情報を生成する。具体的には、描画情報生成部144は、飛沫画像情報記憶部148に記憶されている、飛沫画像を描画するための描画情報の雛形を加工(例えば、平行移動、回転、拡大、縮小)し、接続中の表示装置3の表示部30における現在の指示位置を中心とし上記接近方向の移動量に応じた大きさの飛沫画像を描画する描画情報を生成する。   Note that the drawing information generation unit 144 may generate drawing information for drawing a splash image in consideration of the movement amount (acceleration) in the approach direction. That is, the drawing information generation unit 144 generates drawing information for drawing a splash image having a larger size as the movement amount increases. Specifically, the drawing information generation unit 144 processes (for example, translates, rotates, enlarges, reduces) a drawing information template for drawing a splash image, which is stored in the splash image information storage unit 148. Then, drawing information for drawing a splash image having a size corresponding to the amount of movement in the approaching direction centered on the current indicated position on the display unit 30 of the connected display device 3 is generated.

描画情報生成部144は、接続中の表示装置3の表示部30に表示させる描画情報(電子機器5の本体の移動の軌跡に従った画像を描画するための描画情報、又は、飛沫画像を描画するための描画情報)を生成した場合、生成した描画情報を通信部150に出力する。   The drawing information generation unit 144 draws drawing information to be displayed on the display unit 30 of the connected display device 3 (drawing information for drawing an image according to the movement path of the main body of the electronic device 5 or a splash image). Generated drawing information) is generated, the generated drawing information is output to the communication unit 150.

現在位置記憶部146は、接続中の表示装置3の表示部30における現在の指示位置を記憶する。なお、現在位置記憶部146が記憶する現在の指示位置は、表示装置3に接続したときに初期位置(例えば、表示面の中央)が設定され、描画情報生成部144が、移動量算出部142から移動量情報を取得する都度、描画情報生成部144によって更新される。   The current position storage unit 146 stores the current designated position on the display unit 30 of the connected display device 3. Note that the current indication position stored in the current position storage unit 146 is set to an initial position (for example, the center of the display surface) when connected to the display device 3, and the drawing information generation unit 144 sets the movement amount calculation unit 142. Is updated by the drawing information generation unit 144 every time the movement amount information is acquired from.

飛沫画像情報記憶部148は、飛沫画像を描画するための描画情報の雛形(例えば、曲線、直線、塗潰し領域、色などを規定する情報)を記憶する。   The splash image information storage unit 148 stores a drawing information template for drawing a splash image (for example, information defining a curve, a straight line, a filled region, a color, and the like).

通信部150は、表示・操作受付部100から、表示装置3に接続要求を送信すべき旨の通知を取得する。例えば、通信部150は、表示・操作受付部100から、撮像部110によって撮像された二次元バーコードによって示されていた接続情報とともに、表示装置3に接続要求を送信すべき旨の通知を取得する。通信部150は、表示・操作受付部100から表示装置3に接続要求を送信すべき旨の通知を取得した場合、表示装置3に接続要求を送信する。例えば、通信部150は、表示・操作受付部100から取得した接続情報に従って、表示装置3に接続要求を送信する。   The communication unit 150 acquires a notification from the display / operation receiving unit 100 that a connection request should be transmitted to the display device 3. For example, the communication unit 150 obtains a notification from the display / operation receiving unit 100 that the connection request should be transmitted to the display device 3 together with the connection information indicated by the two-dimensional barcode imaged by the imaging unit 110. To do. The communication unit 150 transmits a connection request to the display device 3 when receiving a notification that the connection request should be transmitted from the display / operation receiving unit 100 to the display device 3. For example, the communication unit 150 transmits a connection request to the display device 3 in accordance with the connection information acquired from the display / operation receiving unit 100.

また、通信部150は、接続要求を送信した表示装置3から接続応答を受信する。通信部150は、表示装置3から接続応答を受信した場合、当該接続応答を表示・操作受付部100に出力する。   Further, the communication unit 150 receives a connection response from the display device 3 that has transmitted the connection request. When receiving a connection response from the display device 3, the communication unit 150 outputs the connection response to the display / operation receiving unit 100.

また、通信部150は、表示・操作受付部100から、表示装置3に切断要求を送信すべき旨の通知を取得する。通信部150は、表示・操作受付部100から表示装置3に切断要求を送信すべき旨の通知を取得した場合、表示装置3に切断要求を送信する。   In addition, the communication unit 150 acquires a notification from the display / operation receiving unit 100 that a disconnect request should be transmitted to the display device 3. The communication unit 150 transmits a disconnection request to the display device 3 when receiving a notification that the disconnection request should be transmitted to the display device 3 from the display / operation receiving unit 100.

また、通信部150は、切断要求を送信した表示装置3から切断応答を受信する。通信部150は、表示装置3から切断応答を受信した場合、当該切断応答を表示・操作受付部100に出力する。   In addition, the communication unit 150 receives a disconnection response from the display device 3 that has transmitted the disconnection request. When the communication unit 150 receives a disconnection response from the display device 3, the communication unit 150 outputs the disconnection response to the display / operation receiving unit 100.

また、通信部150は、描画情報生成部144から接続中の表示装置3の表示部30に表示させる描画情報(電子機器5の本体の移動の軌跡に従った画像を描画するための描画情報、又は、飛沫画像を描画するための描画情報)を取得する。描画情報を取得した通信部150は、当該描画情報を表示装置3に送信する。   The communication unit 150 also displays drawing information (drawing information for drawing an image in accordance with the movement path of the main body of the electronic device 5, to be displayed on the display unit 30 of the connected display device 3 from the drawing information generation unit 144. Or, drawing information for drawing a splash image) is acquired. The communication unit 150 that has acquired the drawing information transmits the drawing information to the display device 3.

なお、通信部150が、電子機器5の本体の移動の軌跡に従った画像を描画するための描画情報を描画情報生成部144から取得し、表示装置3に送信した場合、表示装置3の表示部30には、例えば、図4(f)に示すような画像が視認用画像として表示される。
また、通信部150が、飛沫画像を描画するための描画情報を描画情報生成部144から取得し、表示装置3に送信した場合、表示装置3の表示部30には、例えば、図4(g)(f)に示すような画像が視認用画像として表示される。
Note that when the communication unit 150 acquires drawing information for drawing an image according to the movement path of the main body of the electronic device 5 from the drawing information generation unit 144 and transmits the drawing information to the display device 3, the display of the display device 3 is displayed. For example, an image as shown in FIG. 4F is displayed on the unit 30 as a visual image.
When the communication unit 150 acquires drawing information for drawing a splash image from the drawing information generation unit 144 and transmits the drawing information to the display device 3, the display unit 30 of the display device 3 displays, for example, FIG. ) An image as shown in (f) is displayed as a visual image.

以下、画像表示システム1の処理の流れを説明する。図7は、画像表示システム1の動作の一例を示すフローチャートである。図8及び図9は、画像表示システム1の動作の一例を説明するための説明図である。なお、図7の左側のフローチャートは表示装置3の動作を表し、図7の右側のフローチャートは電子機器5の動作を表している。なお、図7に示すフローチャートの開示時において、表示部30における視認用画像及び非視認用画像の表示タイミング、並びに、撮像部110の露光タイミングは適切されているものとする。また、図7において、左右のフローチャートの間の破線は、左右のフローチャートの連係を表し、右側のフローチャートの一部を囲む一点鎖線の矩形は、電子機器5が描画モードに設定されている旨を表している。   Hereinafter, the process flow of the image display system 1 will be described. FIG. 7 is a flowchart illustrating an example of the operation of the image display system 1. 8 and 9 are explanatory diagrams for explaining an example of the operation of the image display system 1. Note that the flowchart on the left side of FIG. 7 represents the operation of the display device 3, and the flowchart on the right side of FIG. Note that, at the time of disclosure of the flowchart illustrated in FIG. 7, it is assumed that the display timing of the visual image and the non-visual image on the display unit 30 and the exposure timing of the imaging unit 110 are appropriate. In FIG. 7, the broken line between the left and right flowcharts represents the linkage between the left and right flowcharts, and the dashed-dotted rectangle surrounding a part of the right flowchart indicates that the electronic device 5 is set to the drawing mode. Represents.

図7の左側のフローチャートおいて、表示装置3は、サーバ8から、視認用画像である天気予報画像、及び、非視認用画像である表示装置3に接続するための二次元バーコードを受信する(ステップS10)。表示装置3は、例えば、図8(a)に示すように、サーバ8から受信した天気予報画像を視認用画像として表示部30に表示し、サーバ8から受信した二次元バーコードを非視認用画像として表示部30に表示する(ステップS12)。但し、非視認用画像である二次元バーコードの表示時間は、人間の視覚が応答可能な長さを有しない時間である第2表示期間(図8(a)の例では30分の1秒毎の240分の1秒間)であるため、目視では認識することができない。   In the flowchart on the left side of FIG. 7, the display device 3 receives from the server 8 a weather forecast image as a visual image and a two-dimensional barcode for connecting to the display device 3 as a non-visual image. (Step S10). For example, as illustrated in FIG. 8A, the display device 3 displays the weather forecast image received from the server 8 on the display unit 30 as a visual image and displays the two-dimensional barcode received from the server 8 for non-visual recognition. The image is displayed on the display unit 30 (step S12). However, the display time of the two-dimensional barcode that is a non-visual image is a second display period that is not long enough for human vision to respond (in the example of FIG. 8A, 1/30 second). Therefore, it cannot be visually recognized.

ステップS12に続いて、表示装置3は、電子機器5から接続要求を受信したか否かを判断する(ステップS14)。ステップS14において、表示装置3は、電子機器5から接続要求を受信していないと判断した場合(ステップS14:No)、表示装置3のフローチャート(左側のフローチャート)は終了し、ステップS10から再スタートする。   Subsequent to step S12, the display device 3 determines whether a connection request is received from the electronic device 5 (step S14). In step S14, when the display device 3 determines that a connection request has not been received from the electronic device 5 (step S14: No), the flowchart of the display device 3 (the flowchart on the left side) ends and restarts from step S10. To do.

図7の右側のフローチャートおいて、電子機器5は、二次元バーコードを取得(撮像)したか否かを判断する(ステップS40)。なお、上述の如く、表示部30における視認用画像及び非視認用画像の表示タイミング、並びに、撮像部110の露光タイミングは適切されているため、ユーザが、図8(b)に示すように、視認用画像である天気予報画像と非視認用画像である二次元バーコードとを表示している表示部30を撮像(連写)した場合には、電子機器5は、例えば、図8(c)に示すように、撮像画像1〜4の4枚の撮像画像のうちの少なくとも1枚(撮像画像3)に二次元バーコードが撮像されるため、当該一枚(撮像画像3)からら二次元バーコードを取得可能である。   In the flowchart on the right side of FIG. 7, the electronic device 5 determines whether or not a two-dimensional barcode has been acquired (imaged) (step S40). As described above, since the display timing of the visual image and the non-visual image on the display unit 30 and the exposure timing of the imaging unit 110 are appropriate, as shown in FIG. When the display unit 30 displaying the weather forecast image that is a visual image and the two-dimensional barcode that is a non-visual image is captured (continuous shooting), the electronic device 5 can display, for example, FIG. ), Since the two-dimensional barcode is captured on at least one of the four captured images 1 to 4 (captured image 3), the two images are captured from the one (captured image 3). Dimension barcode can be acquired.

ステップS40において、電子機器5は、二次元バーコードを取得していないと判断した場合(ステップS40:No)、つまり、ユーザが表示部30を撮像(連写)しなかった場合、電子機器5のフローチャート(右側のフローチャート)は終了し、ステップS40から再スタートする。   In step S40, when it is determined that the electronic device 5 has not acquired a two-dimensional barcode (step S40: No), that is, when the user has not imaged (continuous shooting) the display unit 30, the electronic device 5 (The flowchart on the right side) ends and restarts from step S40.

一方、ステップS40において、電子機器5は、二次元バーコードを取得したと判断した場合(ステップS40:Yes)、つまり、ユーザが表示部30を撮像(連写)した場合、電子機器5は、当該二次元バーコードを表示・操作受付部100に表示する(ステップS42)。   On the other hand, when it is determined in step S40 that the electronic device 5 has acquired the two-dimensional barcode (step S40: Yes), that is, when the user images the display unit 30 (continuous shooting), the electronic device 5 The two-dimensional barcode is displayed on the display / operation receiving unit 100 (step S42).

ステップS42に続いて、電子機器5は、図9(a)に示すように、ユーザから接続操作を受け付けたか否かを判断する(ステップS44)。ステップS44において、電子機器5は、ユーザから接続操作を受け付けていないと判断した場合(ステップS44:No)、即ち、二次元バーコードの表示中に接続操作以外の操作(例えば、キャンセル操作)などを受け付けたと判断した場合、電子機器5のフローチャート(右側のフローチャート)は終了し、ステップS40から再スタートする。   Subsequent to step S42, the electronic device 5 determines whether or not a connection operation has been received from the user as shown in FIG. 9A (step S44). In step S44, when it is determined that the electronic device 5 has not received a connection operation from the user (step S44: No), that is, an operation other than the connection operation (for example, a cancel operation) while the two-dimensional barcode is displayed. Is determined to have been accepted, the flowchart of the electronic device 5 (the flowchart on the right side) ends and restarts from step S40.

一方、ステップS44において、電子機器5は、ユーザから接続操作を受け付けたと判断した場合(ステップS44:Yes)、電子機器5は、二次元バーコードによって示されていた接続情報に従って、表示装置3に接続要求を送信する(ステップS46)。   On the other hand, when it is determined in step S44 that the electronic device 5 has received a connection operation from the user (step S44: Yes), the electronic device 5 is connected to the display device 3 according to the connection information indicated by the two-dimensional barcode. A connection request is transmitted (step S46).

図7の左側のフローチャートのステップS14において、表示装置3は、電子機器5から接続要求を受信したと判断した場合(ステップS14:Yes)、表示装置3は、接続応答を電子機器5に送信する(ステップS16)。   When the display device 3 determines in step S14 in the flowchart on the left side of FIG. 7 that a connection request has been received from the electronic device 5 (step S14: Yes), the display device 3 transmits a connection response to the electronic device 5. (Step S16).

図7の右側のフローチャートのステップS46において、表示装置3に接続要求を送信した電子機器5は、表示装置3から接続応答を受信し、通常モードから描画モードに移行する。描画モードに移行した電子機器5は、加速度センサ120によって、電子機器5の本体に加えられた加速度であって表示部30への接近方向以外の加速度を検出したか否かを判断する(ステップS48)。なお、図9(b)に示すように、ユーザが電子機器5を上下左右に振った場合、電子機器5は、表示部30への接近方向以外の加速度を検出したと判断する。   In step S46 of the flowchart on the right side of FIG. 7, the electronic device 5 that has transmitted the connection request to the display device 3 receives the connection response from the display device 3, and shifts from the normal mode to the drawing mode. The electronic device 5 that has shifted to the drawing mode determines whether or not the acceleration sensor 120 detects an acceleration applied to the main body of the electronic device 5 other than the approaching direction to the display unit 30 (step S48). ). As illustrated in FIG. 9B, when the user swings the electronic device 5 up, down, left, and right, the electronic device 5 determines that an acceleration other than the approaching direction to the display unit 30 has been detected.

ステップS48において、電子機器5は、電子機器5の本体に加えられた加速度であって表示部30への接近方向以外の加速度を検出したと判断した場合(ステップS48:Yes)、電子機器5は、電子機器5の本体の移動の軌跡に従った画像を描画するための描画情報を視認用画像として表示装置3に送信する(ステップS50)。一方、ステップS48において、電子機器5は、電子機器5の本体に加えられた加速度であって表示部30への接近方向以外の加速度を検出していないと判断した場合(ステップS48:No)、上記ステップS50を飛ばしてステップS52に進む。   In step S48, when the electronic device 5 determines that the acceleration applied to the main body of the electronic device 5 and detected an acceleration other than the approaching direction to the display unit 30 (step S48: Yes), the electronic device 5 Then, drawing information for drawing an image according to the movement trajectory of the main body of the electronic device 5 is transmitted to the display device 3 as a visual image (step S50). On the other hand, when the electronic device 5 determines in step S48 that the acceleration applied to the main body of the electronic device 5 has not been detected other than the approaching direction to the display unit 30 (step S48: No). Step S50 is skipped and the process proceeds to step S52.

ステップS50又はステップS48(No)に続いて、電子機器5は、加速度センサ120によって、電子機器5の本体に加えられた加速度であって表示部30への接近方向の加速度を検出したか否かを判断する(ステップS52)。例えば、図9(c)に示すように、ユーザが電子機器5を表示部30側に振り下ろした場合、電子機器5は、表示部30への接近方向の加速度を検出したと判断する。   Following step S50 or step S48 (No), the electronic device 5 has detected whether the acceleration sensor 120 detects the acceleration applied to the main body of the electronic device 5 in the approaching direction to the display unit 30. Is determined (step S52). For example, as illustrated in FIG. 9C, when the user swings down the electronic device 5 toward the display unit 30, the electronic device 5 determines that the acceleration in the approaching direction to the display unit 30 has been detected.

ステップS52において、電子機器5は、電子機器5の本体に加えられた加速度であって表示部30への接近方向の加速度を検出したと判断した場合(ステップS52:Yes)、電子機器5は、飛沫画像を描画するための描画情報を視認用画像として表示装置3に送信する(ステップS54)。一方、ステップS52において、電子機器5は、電子機器5の本体に加えられた加速度であって表示部30への接近方向の加速度を検出していないと判断した場合(ステップS52:No)、上記ステップS54を飛ばしてステップS56に進む。   In step S52, when the electronic device 5 determines that the acceleration applied to the main body of the electronic device 5 and the acceleration in the approaching direction to the display unit 30 is detected (step S52: Yes), the electronic device 5 Drawing information for drawing the splash image is transmitted to the display device 3 as a visual image (step S54). On the other hand, when the electronic device 5 determines in step S52 that the acceleration applied to the main body of the electronic device 5 is not detected and the acceleration in the approaching direction to the display unit 30 is not detected (step S52: No), Step S54 is skipped and the process proceeds to step S56.

ステップS54又はステップS52(No)に続いて、電子機器5は、ユーザから切断操作を受け付けたか否かを判断する(ステップS56)。ステップS56において、電子機器5は、ユーザから切断操作を受け付けていないと判断した場合(ステップS56:No)、ステップS48に戻る。   Subsequent to step S54 or step S52 (No), the electronic device 5 determines whether or not a cutting operation has been received from the user (step S56). In step S56, when it is determined that the electronic device 5 has not received a cutting operation from the user (step S56: No), the electronic device 5 returns to step S48.

一方、ステップS56において、電子機器5は、ユーザから切断操作を受け付けたと判断した場合(ステップS56:Yes)、電子機器5は、表示装置3に切断要求を送信する(ステップS58)。切断要求を送信した電子機器5は、表示装置3から切断応答を受信し、描画モードから通常モードに移行し、電子機器5のフローチャート(右側のフローチャート)は終了し、ステップS40から再スタートする。   On the other hand, when it is determined in step S56 that the electronic device 5 has received a cutting operation from the user (step S56: Yes), the electronic device 5 transmits a cutting request to the display device 3 (step S58). The electronic device 5 that has transmitted the disconnection request receives a disconnection response from the display device 3, shifts from the drawing mode to the normal mode, ends the flowchart of the electronic device 5 (the flowchart on the right side), and restarts from step S40.

図7の左側のフローチャートのステップS16において、電子機器5に接続応答を送信した表示装置3は、電子機器5から、描画情報(電子機器5の本体の移動の軌跡に従った画像を描画するための描画情報、又は、飛沫画像を描画するための描画情報)を受信したか否かを判断する(ステップS18)。   In step S <b> 16 of the flowchart on the left side of FIG. 7, the display device 3 that has transmitted the connection response to the electronic device 5 draws drawing information (drawing an image according to the movement path of the main body of the electronic device 5) from the electronic device 5. It is determined whether or not drawing information (drawing information for drawing a splash image) has been received (step S18).

ステップS18において、表示装置3は、電子機器5から描画情報を受信したと判断した場合(ステップS18:Yes)、表示装置3は、電子機器5から受信した描画情報に基づく画像を視認用画像として表示部30に表示する。従って、例えば、図9(b)に示すようにユーザが電子機器5を上下左右に振った場合には、電子機器5の本体の上下左右の移動の軌跡に従った画像が視認用画像として表示部30に表示され、その後、図9(c)に示すようにユーザが電子機器5を表示部30側に振り下ろした場合には、飛沫画像が視認用画像として表示部30に表示される。   In step S18, when it is determined that the display device 3 has received the drawing information from the electronic device 5 (step S18: Yes), the display device 3 uses an image based on the drawing information received from the electronic device 5 as a visual image. It is displayed on the display unit 30. Therefore, for example, as shown in FIG. 9B, when the user swings the electronic device 5 up, down, left, and right, an image according to the movement path of the main body of the electronic device 5 is displayed as a visual image. When the user swings down the electronic device 5 toward the display unit 30 as shown in FIG. 9C, a splash image is displayed on the display unit 30 as a visual image.

一方、ステップS18において、表示装置3は、電子機器5から描画情報を受信していないと判断した場合(ステップS18:No)、上記ステップS20を飛ばしてステップS22に進む。   On the other hand, if the display device 3 determines in step S18 that drawing information has not been received from the electronic device 5 (step S18: No), it skips step S20 and proceeds to step S22.

ステップS20又はステップS18(No)に続いて、表示装置3は、電子機器5から切断要求を受信したか否かを判断する(ステップS22)。ステップS22において、表示装置3は、電子機器5から切断要求を受信していないと判断した場合(ステップS22:No)、ステップS18に戻る。   Subsequent to step S20 or step S18 (No), the display device 3 determines whether or not a disconnection request has been received from the electronic device 5 (step S22). In step S22, when the display device 3 determines that a disconnection request has not been received from the electronic device 5 (step S22: No), the display device 3 returns to step S18.

一方、ステップS22において、表示装置3は、電子機器5から切断要求を受信したと判断した場合(ステップS22:Yes)、表示装置3は、切断応答を電子機器5に送信し(ステップS24)、表示装置3のフローチャート(左側のフローチャート)は終了し、ステップS10から再スタートする。   On the other hand, when the display device 3 determines in step S22 that the disconnection request has been received from the electronic device 5 (step S22: Yes), the display device 3 transmits a disconnection response to the electronic device 5 (step S24). The flowchart of the display device 3 (the flowchart on the left side) ends, and restarts from step S10.

図10は、飛沫画像の表示態様の一例を説明するための説明図である。図10(a)は、電子機器5の本体の移動の軌跡に従った画像の一例である。つまり、電子機器5と接続中の表示装置3は、当該電子機器5から本体の移動の軌跡に従った画像を描画するための描画情報を取得した場合、当該描画情報に基づく画像として、図10(a)に示すような画像を表示部30に表示する。なお、図10(a)中の一点鎖線は、説明の便宜上、表示部30の左側領域、中央領域、右側領域を表したものである。   FIG. 10 is an explanatory diagram for explaining an example of a display mode of a splash image. FIG. 10A is an example of an image according to the movement trajectory of the main body of the electronic device 5. That is, when the display device 3 connected to the electronic device 5 obtains drawing information for drawing an image according to the movement trajectory of the main body from the electronic device 5, as the image based on the drawing information, FIG. An image as shown in (a) is displayed on the display unit 30. In addition, the dashed-dotted line in Fig.10 (a) represents the left side area | region of the display part 30, a center area | region, and the right side area | region for convenience of explanation.

図10(b)は、表示部30に図10(a)に示す画像が表示され、かつ、現在の指示位置(カーソル位置)が中央の領域内に存在しているときに、ユーザが、電子機器5の本体を表示部30に向かって真っ直ぐに大きく振り下ろした場合の表示部30の表示例である。つまり、現在の指示位置が中央の領域内に存在しているときに、電子機器5の本体が表示部30に向かって真っ直ぐに大きく振り下ろされた場合、電子機器5の描画情報生成部144は、中央の領域(中央の領域の中心位置)を中心とし、真っ直ぐ、かつ、大きな飛沫画像の描画情報を生成する。なお、真っ直ぐな飛沫画像とは、飛沫画像情報記憶部148に記憶されている雛形を回転させていない飛沫画像である。なお、図10(b)の矢印の大きさ、向きは、電子機器5の本体に加えられた加速度の大きさ、向きを表している(図10(c)〜図10(g)も同様)。また、図10(b)中の破線は、説明の便宜上、飛沫画像の位置、傾きを表したものである(図10(c)〜図10(g)も同様)。   FIG. 10B shows that when the image shown in FIG. 10A is displayed on the display unit 30 and the current designated position (cursor position) exists in the central area, the user It is a display example of the display unit 30 when the main body of the device 5 is greatly swung down toward the display unit 30. That is, when the current indication position is in the center area and the main body of the electronic device 5 is swung down straight toward the display unit 30, the drawing information generation unit 144 of the electronic device 5 The drawing information of a straight and large splash image is generated with the center area (the center position of the center area) as the center. Note that the straight splash image is a splash image in which the template stored in the splash image information storage unit 148 is not rotated. In addition, the magnitude | size and direction of the arrow of FIG.10 (b) represent the magnitude | size and direction of the acceleration added to the main body of the electronic device 5 (FIG.10 (c)-FIG.10 (g) is also the same). . Also, the broken lines in FIG. 10B represent the position and inclination of the splash image for convenience of explanation (the same applies to FIGS. 10C to 10G).

図10(c)は、表示部30に図10(a)に示す画像が表示され、かつ、現在の指示位置(カーソル位置)が中央の領域内に存在しているときに、ユーザが、電子機器5の本体を表示部30に向かって真っ直ぐに小さく振り下ろした場合の表示部30の表示例である。つまり、現在の指示位置が中央の領域内に存在しているときに、電子機器5の本体が表示部30に向かって真っ直ぐに小さく振り下ろされた場合、電子機器5の描画情報生成部144は、中央の領域を中心とし、真っ直ぐ、かつ、小さな飛沫画像の描画情報を生成する。   FIG. 10 (c) shows that when the image shown in FIG. 10 (a) is displayed on the display unit 30 and the current designated position (cursor position) exists in the central area, the user It is a display example of the display unit 30 when the main body of the device 5 is swung down straight toward the display unit 30. That is, when the current indication position is in the central area and the main body of the electronic device 5 is swung down straight toward the display unit 30, the drawing information generation unit 144 of the electronic device 5 The drawing information of a straight and small splash image is generated centering on the central region.

図10(d)は、表示部30に図10(a)に示す画像が表示され、かつ、現在の指示位置(カーソル位置)が左側の領域内に存在しているときに、ユーザが、電子機器5の本体を表示部30に向かって真っ直ぐに小さく振り下ろした場合の表示部30の表示例である。つまり、現在の指示位置が左側の領域内に存在しているときに、電子機器5の本体が表示部30に向かって真っ直ぐに小さく振り下ろされた場合、電子機器5の描画情報生成部144は、左側の領域(左側の領域の中心位置)を中心とし、真っ直ぐ、かつ、小さな飛沫画像の描画情報を生成する。   FIG. 10D shows that when the image shown in FIG. 10A is displayed on the display unit 30 and the current designated position (cursor position) exists in the left area, the user It is a display example of the display unit 30 when the main body of the device 5 is swung down straight toward the display unit 30. That is, when the current indication position is in the left area and the main body of the electronic device 5 is swung down straight toward the display unit 30, the drawing information generation unit 144 of the electronic device 5 The drawing information of a straight and small splash image is generated around the left area (the center position of the left area).

図10(e)は、表示部30に図10(a)に示す画像が表示され、かつ、現在の指示位置(カーソル位置)が中央の領域内に存在しているときに、ユーザが、電子機器5の本体を表示部30に向かって右斜上から左斜下に斜めに小さく振り下ろした場合の表示部30の表示例である。つまり、現在の指示位置が中央の領域内に存在しているときに、電子機器5の本体が表示部30に向かって右斜上から左斜下に斜めに小さく振り下ろした場合、電子機器5の描画情報生成部144は、中央の領域を中心とし、右斜上から左斜下への斜め方向、かつ、小さな飛沫画像の描画情報を生成する。なお、斜め方向の飛沫画像とは、飛沫画像情報記憶部148に記憶されている雛形を回転させた飛沫画像である。   FIG. 10E shows that when the image shown in FIG. 10A is displayed on the display unit 30 and the current designated position (cursor position) exists in the central area, the user This is a display example of the display unit 30 when the main body of the device 5 is slightly swung down from the upper right to the lower left toward the display unit 30. That is, when the current indication position is in the central area, the electronic device 5 is slightly swung down from the upper right to the lower left toward the display unit 30. The drawing information generation unit 144 generates drawing information of a small splash image in the diagonal direction from the upper right to the lower left with the central region as the center. The oblique splash image is a splash image obtained by rotating a template stored in the splash image information storage unit 148.

図10(f)は、表示部30に図10(a)に示す画像が表示され、かつ、現在の指示位置(カーソル位置)が左側の領域内に存在しているときに、ユーザが、電子機器5の本体を表示部30に向かって左斜上から右斜下に斜めに小さく振り下ろし、更に、現在の指示位置を右側の領域内に存在しているときに、右斜上から左斜下に斜めに小さく振り下ろした場合の表示部30の表示例である。つまり、電子機器5の描画情報生成部144は、左側の領域を中心とし、左斜上から右斜下への斜め方向、かつ、小さな飛沫画像の描画情報を生成し、その後、右側の領域(右側の領域の中心位置)を中心とし、右斜上から左斜下への斜め方向、かつ、小さな飛沫画像の描画情報を生成する。   FIG. 10F shows that when the image shown in FIG. 10A is displayed on the display unit 30 and the current designated position (cursor position) exists in the left area, the user The main body of the device 5 is slightly swung down from the upper left to the lower right toward the display unit 30. Further, when the current designated position is in the right area, the upper right to the left It is an example of a display of the display part 30 at the time of swinging down diagonally downward. That is, the drawing information generation unit 144 of the electronic device 5 generates drawing information of a small splash image in an oblique direction from the upper left to the lower right with the left region as the center, and then the right region ( The drawing information of a small splash image is generated in the diagonal direction from the upper right to the lower left with the center of the right region as the center.

図10(g)は、表示部30に図10(a)に示す画像が表示され、かつ、現在の指示位置(カーソル位置)が中央の領域内に存在しているときに、ユーザが、電子機器5の本体を表示部30に向かって真っ直ぐに大きく2回振り下ろした場合の表示部30の表示例である。この場合、電子機器5の描画情報生成部144は、図10(g)に示すように、2回目の振り下ろし時の飛沫画像が1回目の振り下ろし時の飛沫画像と重ならないように、2回目の振り下ろし時の飛沫画像の描画情報を生成してもよい。   FIG. 10G shows that when the image shown in FIG. 10A is displayed on the display unit 30 and the current designated position (cursor position) exists in the central area, the user It is a display example of the display unit 30 when the main body of the device 5 is swung down largely twice straight toward the display unit 30. In this case, as illustrated in FIG. 10G, the drawing information generation unit 144 of the electronic device 5 is configured so that the splash image when the second swing is performed does not overlap with the splash image when the first swing is performed. You may generate | occur | produce the drawing information of the splash image at the time of the downward swing.

なお、図10(a)に示す例では、横方向(左右方向)の3つの領域(左側領域、中央領域、右側領域)に表示部30を分割したが、表示部30を分割する領域はこれに限定されない。例えば、表示部30を横方向n分割、縦方向にm分割してもよい。   In the example shown in FIG. 10A, the display unit 30 is divided into three regions (left region, center region, and right region) in the horizontal direction (left and right direction). It is not limited to. For example, the display unit 30 may be divided into n in the horizontal direction and m in the vertical direction.

以上、第1の実施形態によれば、特定の者に限定して情報を提供することができるようになる。例えば、表示装置3において、図8(a)に示すように、視認用画像と非視認用画像とを表示すれば、不特定多数の者に視認用画像を見せつつ、非視認用画像を取得可能な電子機器5を所持する所持者に対してのみ、非視認用画像を提供することができるようになる。   As described above, according to the first embodiment, information can be provided limited to a specific person. For example, in the display device 3, as shown in FIG. 8A, if a visual image and a non-visual image are displayed, the non-visual image is obtained while showing the visual image to an unspecified number of people. A non-viewing image can be provided only to a holder who possesses a possible electronic device 5.

更に、第1の実施形態によれば、より楽しく、表示装置3の表示部30に描画することができるようになる。つまり、本体を振るなど移動させて絵を描く場合に、本体の移動の軌跡に従った描画に加え、移動の軌跡に従わない画像を描画することができる。例えば、電子機器5を描画対象である表示装置3に向けて振り下ろせば、振り下ろしの軌跡とは無関係な飛沫画像を描画することができる。なお、移動の軌跡に従わない画像としては、飛沫画像の他、破かれた状態を表す画像、弾丸などによって穴が空いた様子を表す画像などが考えられる。   Furthermore, according to the first embodiment, drawing on the display unit 30 of the display device 3 can be performed more happily. That is, when drawing a picture by moving the main body or the like, in addition to drawing according to the movement trajectory of the main body, an image not following the movement trajectory can be drawn. For example, if the electronic device 5 is swung down toward the display device 3 that is a drawing target, a splash image that is unrelated to the locus of the swinging down can be drawn. In addition to the splash image, the image that does not follow the trajectory of movement may include an image that represents a torn state, an image that represents a state in which a hole is formed by a bullet, and the like.

なお、電子機器5の飛沫画像情報記憶部148は、複数種類の飛沫画像を描画するための描画情報の雛形を記憶してもよい。例えば、飛沫する液体の種類(例えば、水、墨汁、絵の具、ペンキ、血液)が異なる飛沫画像を描画するための描画情報の雛形を記憶してもよい。なお、表示・操作受付部100を介してユーザが、表示装置3に描画する一の種類の飛沫画像を適宜選択してもよいが、描画アイテム(ペン、筆、ハケ)に応じて、表示装置3に描画する一の種類の飛沫画像が自動的に選択されるようにしてもよい。また、表示装置3に描画する一の種類の飛沫画像が、ランダムに選択されるようにしてもよい。   The splash image information storage unit 148 of the electronic device 5 may store a drawing information template for drawing a plurality of types of splash images. For example, you may memorize | store the model of the drawing information for drawing the splash image from which the kind (for example, water, ink, paint, paint, blood) of the splashed liquid differs. Note that the user may appropriately select one type of splash image to be drawn on the display device 3 via the display / operation receiving unit 100, but depending on the drawing item (pen, brush, brush), the display device One type of splash image to be drawn in 3 may be automatically selected. Also, one type of splash image to be drawn on the display device 3 may be selected at random.

また、電子機器5は、図5において破線にて示すように、電子機器5の本体と対象物との距離を測定する距離測定部130を更に備える構成としてもよい。距離測定部130は、表示装置3の表示部30(表示面)迄の距離を測定した場合、測定した距離を示す距離情報を描画情報生成部144に出力する。なお、距離測定部130は、加速度センサ120と同様、描画モードに設定されている間において、表示部30迄の距離を測定するようにしてもよい。   Moreover, the electronic device 5 is good also as a structure further provided with the distance measurement part 130 which measures the distance of the main body of the electronic device 5, and a target object, as shown with a broken line in FIG. When measuring the distance to the display unit 30 (display surface) of the display device 3, the distance measurement unit 130 outputs distance information indicating the measured distance to the drawing information generation unit 144. Note that the distance measurement unit 130 may measure the distance to the display unit 30 while the drawing mode is set, as with the acceleration sensor 120.

電子機器5が距離測定部130を備える場合、距離測定部130から表示装置3の表示部30迄の距離を示す距離情報を取得した描画情報生成部144は、当該距離情報を考慮して、接続中の表示装置3の表示部30に表示させる描画情報を生成する。例えば、描画情報生成部144は、表示装置3の表示部30に接近していればいるほど小さいサイズの描画情報を生成する。   When the electronic device 5 includes the distance measurement unit 130, the drawing information generation unit 144 that has acquired the distance information indicating the distance from the distance measurement unit 130 to the display unit 30 of the display device 3 considers the distance information and connects Drawing information to be displayed on the display unit 30 of the display device 3 is generated. For example, the drawing information generation unit 144 generates drawing information having a smaller size as the display unit 30 approaches the display unit 30.

具体的には、描画情報生成部144は、移動量算出部142から表示部30への接近方向以外の移動量情報を取得した場合、移動量情報から得られる電子機器5の本体の移動の軌跡に従った画像を描画するための描画情報であって、接続中の表示装置3の表示部30における現在の指示位置を起点とし、かつ、表示装置3の表示部30迄の距離に応じた大きさの描画情報を生成する。   Specifically, when the drawing information generation unit 144 acquires movement amount information other than the approaching direction to the display unit 30 from the movement amount calculation unit 142, the movement trajectory of the main body of the electronic device 5 obtained from the movement amount information. The drawing information for drawing an image according to the size of the display device 3 is connected to the display unit 30 of the connected display device 3 and the current indication position is the starting point, and the size is in accordance with the distance to the display unit 30 of the display device 3. The drawing information is generated.

また、描画情報生成部144は、移動量算出部142から表示部30への接近方向の移動量情報を取得した場合、接続中の表示装置3の表示部30における現在の指示位置を中心とし表示装置3の表示部30迄の距離に応じた大きさの飛沫画像、又は、接続中の表示装置3の表示部30における現在の指示位置を中心とし上記接近方向の移動量(加速度)及び表示装置3の表示部30迄の距離に応じた大きさの飛沫画像を描画する描画情報を生成する。   In addition, when the drawing information generation unit 144 acquires the movement amount information in the approaching direction from the movement amount calculation unit 142 to the display unit 30, the drawing information generation unit 144 displays the current indication position on the display unit 30 of the connected display device 3 as a center. A splash image having a size corresponding to the distance to the display unit 30 of the apparatus 3 or a movement amount (acceleration) in the approach direction centered on the current indicated position in the display unit 30 of the connected display apparatus 3 and the display apparatus The drawing information for drawing the splash image having a size corresponding to the distance to the display unit 30 is generated.

(第2の実施形態)
続いて、図面を参照しながら第2の実施形態について説明する。図1(b)は、第2の実施形態による画像表示システム2の概略構成図である。
(Second Embodiment)
Next, a second embodiment will be described with reference to the drawings. FIG. 1B is a schematic configuration diagram of an image display system 2 according to the second embodiment.

画像表示システム2は、図1(b)に示すように、ネットワーク9を介して接続する、表示装置4、電子機器(撮像装置)5、及び、サーバ8から構成されている。なお、画像表示システム2を構成する電子機器5及びサーバ8は、画像表示システム1における電子機器5及びサーバ8と同様である。   As shown in FIG. 1B, the image display system 2 includes a display device 4, an electronic device (imaging device) 5, and a server 8 that are connected via a network 9. The electronic device 5 and the server 8 constituting the image display system 2 are the same as the electronic device 5 and the server 8 in the image display system 1.

以下、画像表示システム1と異なる構成である表示装置4について説明する。表示装置4は、例えば、街頭(屋内又は屋外)に設置されるLEDディスプレイである。表示装置4は、サーバ8から視認用画像及び非視認用画像を受信して表示する。また、表示装置4は、電子機器5から視認用画像を受信して表示する。なお、表示装置4が電子機器5から受信して表示する視認用画像は、電子機器5のユーザの操作に応じた画像である。電子機器5のユーザの操作に応じた画像とは、電子機器5の本体の移動の軌跡に従った画像、及び、飛沫画像である。   Hereinafter, the display device 4 having a configuration different from that of the image display system 1 will be described. The display device 4 is, for example, an LED display installed on a street (indoor or outdoor). The display device 4 receives the visual image and the non-visual image from the server 8 and displays them. Further, the display device 4 receives and displays a visual image from the electronic device 5. The visual image that the display device 4 receives and displays from the electronic device 5 is an image corresponding to the operation of the user of the electronic device 5. The image according to the operation of the user of the electronic device 5 is an image according to the movement trajectory of the main body of the electronic device 5 and a splash image.

図11は、表示装置4の機能ブロック図の一例である。図12は、表示装置4の表示部60を構成する画素61の模式図である。図13は、表示装置4が生成する表示信号の一例である。   FIG. 11 is an example of a functional block diagram of the display device 4. FIG. 12 is a schematic diagram of the pixel 61 constituting the display unit 60 of the display device 4. FIG. 13 is an example of a display signal generated by the display device 4.

表示装置4は、図11に示すように、通信部40、制御部50、及び、表示部60を備える。制御部50は、変換部52、タイミング制御部54、振分部56、及び、複数の駆動部58(58−1、…、58−n)を備える。   As illustrated in FIG. 11, the display device 4 includes a communication unit 40, a control unit 50, and a display unit 60. The control unit 50 includes a conversion unit 52, a timing control unit 54, a distribution unit 56, and a plurality of drive units 58 (58-1, ..., 58-n).

まず、表示部60の構造を説明する。なお、表示部60の機能、動作などは後述する。
表示部60は、可視光を照射する発光部(第1発光部という)と、不可視光を照射する発光部(第2発光部という)とを有する。具体的には、表示部60は、図11に示すように、複数の画素61(61−1−1、…、61−n−m)から構成されている。表示部60を構成する全部又は一部の画素61は、赤色の発光ダイオード(第1発光部)と、緑色の発光ダイオード(第1発光部)と、青色の発光ダイオード(第1発光部)と、赤外線(不可視光の一例)の発光ダイオード(第2発光部)とから構成されている。例えば、図11、図12に示すように、画素61−n−mは、赤色の発光ダイオードであるLEDn−m−Rと、緑色の発光ダイオードであるLEDn−m−Gと、青色の発光ダイオードであるLEDn−m−Bと、赤外線の発光ダイオードであるLEDn−m−Irとから構成されている。なお、「表示部60を構成する各画素61は」ではなく「表示部60を構成する全部又は一部の画素61は」と説明したのは、表示部60を構成する一部の画素61が、第1発光部のみから構成されている場合、または、第2発光部のみから構成されている場合を許容する主旨である。
First, the structure of the display unit 60 will be described. The function and operation of the display unit 60 will be described later.
The display unit 60 includes a light emitting unit that emits visible light (referred to as a first light emitting unit) and a light emitting unit that emits invisible light (referred to as a second light emitting unit). Specifically, the display unit 60 includes a plurality of pixels 61 (61-1-1, ..., 61-nm) as shown in FIG. All or some of the pixels 61 constituting the display unit 60 include a red light emitting diode (first light emitting unit), a green light emitting diode (first light emitting unit), and a blue light emitting diode (first light emitting unit). And a light emitting diode (second light emitting unit) of infrared rays (an example of invisible light). For example, FIG. 11, as shown in FIG. 12, the pixel 61-n-m, the LED n-m-R is a red light emitting diode, a LED n-m-G is a green light-emitting diodes, blue It is comprised from LED nm-B which is a light emitting diode, and LED nm-Ir which is an infrared light emitting diode. It should be noted that the reason why “all or part of the pixels 61 constituting the display unit 60” is not “not each pixel 61 constituting the display unit 60” is that The main purpose is to allow the case of being composed of only the first light emitting unit or the case of being composed of only the second light emitting unit.

なお、図12に示す画素61のレイアウトは、一例であって、画素61の形状は4角形でなくてもよいし、1つの画素61内における、赤色の発光ダイオード、緑色の発光ダイオード、青色の発光ダイオード、赤外線の発光ダイオードの構成比率は、1:1:1:1でなくてもよい。   Note that the layout of the pixel 61 illustrated in FIG. 12 is an example, and the shape of the pixel 61 may not be a quadrangle, and a red light emitting diode, a green light emitting diode, and a blue light emitting diode in one pixel 61 may be used. The composition ratio of the light emitting diode and the infrared light emitting diode may not be 1: 1: 1: 1.

通信部40は、画像表示システム1の表示装置3が備える通信部10と同様、サーバ8又は電子機器5から種々の情報を受信する。即ち、例えば、通信部40は、サーバ8から、視認用画像として報知画像、非視認用画像として自表示装置4に接続するための接続情報を示す接続画像を受信する。また例えば、通信部40は、電子機器5から接続要求、切断要求を受信する。また例えば、通信部40は、電子機器5から、視認用画像として、電子機器5の本体の移動の軌跡に従った画像を描画するための描画情報、及び、飛沫画像を描画するための描画情報を受信する。   The communication unit 40 receives various types of information from the server 8 or the electronic device 5 as with the communication unit 10 included in the display device 3 of the image display system 1. That is, for example, the communication unit 40 receives from the server 8 a connection image indicating connection information for connecting to the display device 4 as a notification image and a non-viewing image as a viewing image. For example, the communication unit 40 receives a connection request and a disconnection request from the electronic device 5. Further, for example, the communication unit 40 draws from the electronic device 5 drawing information for drawing an image according to the movement trajectory of the main body of the electronic device 5 as drawing image, and drawing information for drawing a splash image. Receive.

通信部40は、サーバ8から視認用画像又は非視認用画像を受信した場合、当該視認用画像又は非視認用画像を変換部52に出力する。また、通信部40は、電子機器5から視認用画像を受信した場合、当該視認用画像を変換部52に出力する。また、通信部40は、電子機器5から接続要求を受信した場合、接続を許可するときは接続応答を電子機器5に送信する。また、通信部40は、電子機器5から切断要求を受信した場合、切断応答を電子機器5に送信する。   When the communication unit 40 receives a viewing image or a non-viewing image from the server 8, the communication unit 40 outputs the viewing image or the non-viewing image to the conversion unit 52. Further, when the communication unit 40 receives a visual image from the electronic device 5, the communication unit 40 outputs the visual image to the conversion unit 52. Further, when receiving a connection request from the electronic device 5, the communication unit 40 transmits a connection response to the electronic device 5 when permitting the connection. When the communication unit 40 receives a disconnection request from the electronic device 5, the communication unit 40 transmits a disconnection response to the electronic device 5.

変換部52は、通信部40から視認用画像及び非視認用画像を取得する。視認用画像及び非視認用画像を取得した変換部52は、第1発光部(赤色の発光ダイオード、緑色の発光ダイオード、青色の発光ダイオード)に視認用画像を表示させ、第2発光部(赤外線の発光ダイオード)に非視認用画像を表示させる表示信号(表示部60への出力信号)を生成する。具体的には、変換部52は、タイミング制御部54の制御に従って、視認用画像を表現した表示信号を、第1発光部を用いて表示させる表示信号(以下、RBG用表示信号とも称する)とし、非視認用画像を表現した表示信号を、第2発光部を用いて表示させる表示信号(以下、Ir用表示信号とも称する)とする、表示信号を生成する。   The conversion unit 52 acquires a visual image and a non-visual image from the communication unit 40. The conversion unit 52 that has acquired the image for visual recognition and the image for non-visual recognition causes the first light emitting unit (red light emitting diode, green light emitting diode, blue light emitting diode) to display the visual image, and the second light emitting unit (infrared ray). A display signal (an output signal to the display unit 60) for displaying a non-viewing image on the light emitting diode) is generated. Specifically, the conversion unit 52 is a display signal (hereinafter, also referred to as an RBG display signal) that causes a display signal representing a visual image to be displayed using the first light emitting unit in accordance with the control of the timing control unit 54. Then, a display signal that generates a display signal that represents the non-viewing image using the second light emitting unit (hereinafter also referred to as an Ir display signal) is generated.

例えば、変換部52は、図13に示すように、30分の1秒毎の60分の1秒間のRGB用表示信号(C:N=1、…K)を、視認用画像を表現した表示信号とし、30分の1秒毎の他の60分の1秒間の表示信号(D:N=1、…K)を、非視認用画像を表現する表示信号とする、表示信号を生成する。図13において、30分の1秒は、1フレームの時間の一例である。C、…、Cの夫々は、視認用画像の1コマ分の表示信号である。D、…、Dの夫々は、非視認用画像の1コマ分の表示信号である。また、B、…、Bの時間は、第1の実施形態におけるブランク期間に相当する時間である。つまり、図13の例では、ブランク期間に相当する全時間をIr用表示信号の時間としている。
但し、ブランク期間に相当する全時間をIr用表示信号の時間としなくてもよい(ブランク期間に相当する時間の一部をIr用表示信号の時間としてもよい)。変換部52は、生成した表示信号を振分部56に出力する。
For example, as shown in FIG. 13, the conversion unit 52 expresses a display image for RGB with a display signal for RGB (C N : N = 1,... K) for 1/60 seconds every 30 seconds. A display signal is generated using a display signal as a display signal that represents a non-viewing image with another 1/60 second display signal (D N : N = 1,... K) every 30 seconds. To do. In FIG. 13, 1/30 second is an example of the time of one frame. Each of C 1 ,..., C k is a display signal for one frame of the visual image. Each of D 1 ,..., D k is a display signal for one frame of the non-viewing image. Further, B 1, ..., the time B k, a time corresponding to the blank period in the first embodiment. That is, in the example of FIG. 13, the entire time corresponding to the blank period is the time of the Ir display signal.
However, the entire time corresponding to the blank period may not be the time of the Ir display signal (a part of the time corresponding to the blank period may be the time of the Ir display signal). The conversion unit 52 outputs the generated display signal to the distribution unit 56.

なお、図13に示す例は、変換部52が視認用画像と非視認用画像の両方を通信部40から取得した場合の表示信号を示しているが、変換部52は、視認用画像のみを取得した場合には、視認用画像を表現した表示信号のみを生成し、非視認用画像のみを取得した場合には、非視認用画像を表現した表示信号のみを生成する。なお、常に、非視認用画像を表現した表示信号のみを生成する場合には、画素61は、赤外線の発光ダイオード(第2発光部)のみから構成されていてもよい。   The example shown in FIG. 13 shows a display signal when the conversion unit 52 acquires both the image for viewing and the image for non-viewing from the communication unit 40, but the conversion unit 52 displays only the image for viewing. When acquired, only a display signal representing the image for visual recognition is generated, and when only an image for non-visual recognition is acquired, only a display signal representing the image for non-visual recognition is generated. In addition, when always generating only a display signal representing a non-visual image, the pixel 61 may be configured by only an infrared light emitting diode (second light emitting unit).

なお、上述の如く、変換部52は、視認用画像を表現した表示信号を、RBG用表示信号とし、非視認用画像を表現した表示信号を、Ir用表示信号とするが、RBG用表示信号に視認用画像を表現した表示信号を割り当て、Ir用表示信号に非視認用画像を表現した表示信号を割り当てる制御には、種々の方法が考えられる。一例は、非視認用画像に非視認用画像である旨の識別情報を付加しておけば、変換部52は、通信部40から取得した画像が非視認用画像であるか否かを判別できるため、タイミング制御部54の制御(Ir用表示信号のタイミング)に従って、視認用画像を表現した表示信号を、RBG用表示信号とし、非視認用画像を表現した表示信号を、Ir用表示信号とすることができる。   As described above, the conversion unit 52 uses the display signal representing the visual image as the RBG display signal and the display signal representing the non-visual image as the Ir display signal, but the RBG display signal. Various methods are conceivable for assigning the display signal representing the image for visual recognition to the image and assigning the display signal representing the non-visual image to the Ir display signal. For example, if identification information indicating that the image is a non-visual image is added to the non-visual image, the conversion unit 52 can determine whether the image acquired from the communication unit 40 is a non-visual image. Therefore, in accordance with the control of the timing control unit 54 (the timing of the Ir display signal), the display signal representing the visual image is used as the RBG display signal, and the display signal representing the non-visual image is used as the Ir display signal. can do.

タイミング制御部54は、変換部52による視認用画像を表現する表示信号及び非視認用画像を表現する表示信号の生成タイミングを制御する。具体的には、タイミング制御部54は、視認用画像を表現した表示信号をRBG用表示信号とし、非視認用画像を表現した表示信号をIr用表示信号とするためのタイミング情報を変換部52に出力し、上記生成タイミングを制御する。例えば、タイミング制御部54が、30分の1秒毎の先頭から開始する60分の1秒間の表示信号を、視認用画像を表現するRBG用表示信号とし、30分の1秒毎の60分の1秒から開始する60分の1秒間の表示信号を、非視認用画像を表現するIr用表示信号とするためのタイミング情報を変換部52に出力した場合、変換部52は、図13に示すような表示信号を生成する。   The timing control unit 54 controls the generation timing of the display signal that represents the visual image and the display signal that represents the non-visual image by the conversion unit 52. Specifically, the timing control unit 54 converts timing information for converting a display signal representing a visual image into an RBG display signal and a display signal representing a non-visual image into an Ir display signal. And the generation timing is controlled. For example, the timing control unit 54 uses a display signal for 1/60 second starting from the head every 1/30 second as a display signal for RBG expressing a visual image, and 60 minutes every 1/30 second. When the timing information for converting the display signal for 1/60 second starting from 1 second to Ir display signal representing the image for non-viewing to the conversion unit 52 is output to the conversion unit 52 in FIG. A display signal as shown is generated.

振分部56は、シフトレジスタであって、変換部52から表示信号を取得し、変換部52から取得した表示信号を各駆動部58に振り分けて出力する。つまり、振分部56は、各画素61に出力すべき表示信号を、各画素61を駆動させる各駆動部58に振り分けて出力する。図11に示す例では、振分部56は、画素61−1−1〜画素61−1−mに出力すべき表示信号を駆動部58−1に出力し、…、画素61−n−1〜画素61−n−mに出力すべき表示信号を駆動部58−nに出力する。   The distribution unit 56 is a shift register, acquires a display signal from the conversion unit 52, distributes the display signal acquired from the conversion unit 52 to each drive unit 58, and outputs it. That is, the distribution unit 56 distributes and outputs a display signal to be output to each pixel 61 to each drive unit 58 that drives each pixel 61. In the example illustrated in FIG. 11, the distribution unit 56 outputs a display signal to be output to the pixels 61-1-1 to 61-1-m to the drive unit 58-1,. A display signal to be output to the pixel 61-nm is output to the drive unit 58-n.

各駆動部58は、表示部60を制御するドライバICであって、表示部60が備える各画素61を駆動する。具体的には、各駆動部58は、夫々の出力先の各画素61を構成する第1発光部に振分部56から取得したRGB用表示信号を出力し、夫々の出力先の各画素61を構成する第2発光部に振分部56から取得したIr用表示信号を出力する。図11に示す例では、駆動部58−1は、画素61−1−1〜画素61−1−mの各画素61を構成する第1発光部にRGB用表示信号を出力し、画素61−1−1〜画素61−1−mの各画素61を構成する第2発光部にIr用表示信号を出力し、…、駆動部58−nは、画素61−n−1〜画素61−n−mの各画素61を構成する第1発光部にRGB用表示信号を出力し、画素61−n−1〜画素61−n−mの各画素61を構成する第2発光部にIr用表示信号を出力する。   Each drive unit 58 is a driver IC that controls the display unit 60 and drives each pixel 61 included in the display unit 60. Specifically, each driving unit 58 outputs the RGB display signal acquired from the allocating unit 56 to the first light emitting unit constituting each pixel 61 of each output destination, and each pixel 61 of each output destination. The Ir display signal acquired from the allocating unit 56 is output to the second light emitting unit configuring the above. In the example illustrated in FIG. 11, the drive unit 58-1 outputs RGB display signals to the first light emitting units that constitute the pixels 61-1-1-1 to 61-1-m, and the pixel 61- 1-1 to the pixel 61-1-m, the Ir display signal is output to the second light-emitting unit constituting each pixel 61, and the driving unit 58-n includes the pixel 61-n-1 to the pixel 61-n. RGB display signals are output to the first light emitting units constituting the respective pixels 61 of −m, and Ir display is performed on the second light emitting units constituting the respective pixels 61 of the pixels 61-n-1 to 61-nm. Output a signal.

なお、上述の如く、各駆動部58は、第1発光部にRGB用表示信号を出力し、第2発光部にIr用表示信号を出力するが、第1発光部にRGB用表示信号を割り振り、第2発光部にIr用表示信号を割り振る制御には、種々の方法が考えられる。一例は、同期を用いた方法である。具体的には、例えば、タイミング制御部54が、タイミング情報(例えば視認用画像用のタイミング情報)を各駆動部58に出力しておけば、各駆動部58は、当該タイミング情報に基づいて、第1発光部にRGB用表示信号を出力し、第2発光部にIr用表示信号を出力することができる。他の一例は、表示信号に制御情報を付加する方法である。具体的には、変換部52が、割振先を判断するための判断信号をRGB用表示信号に付加し、振分部56による各駆動部58への振分後の各表示信号においても当該判断信号が残るようにしておけば、各駆動部58は、当該判断信号に基づいて、第1発光部にRGB用表示信号を出力し、第2発光部にIr用表示信号を出力することができる。   As described above, each drive unit 58 outputs an RGB display signal to the first light emitting unit and outputs an Ir display signal to the second light emitting unit, but allocates an RGB display signal to the first light emitting unit. Various methods are conceivable for the control of allocating the Ir display signal to the second light emitting unit. One example is a method using synchronization. Specifically, for example, if the timing control unit 54 outputs timing information (for example, timing information for a visual image) to each driving unit 58, each driving unit 58 is based on the timing information. An RGB display signal can be output to the first light emitting unit, and an Ir display signal can be output to the second light emitting unit. Another example is a method of adding control information to a display signal. Specifically, the conversion unit 52 adds a determination signal for determining the allocation destination to the RGB display signal, and the determination is also performed in each display signal after the distribution unit 56 distributes to each drive unit 58. If the signal remains, each driving unit 58 can output an RGB display signal to the first light emitting unit and an Ir display signal to the second light emitting unit based on the determination signal. .

表示部60は、複数の画素61を用いて、サーバ8又は電子機器5から送信された視認用画像又は非視認用画像を表示する。つまり、表示部60が備える各画素61は、各駆動部58から、視認用画像を表現する表示信号(RGB用表示信号)、又は、非視認用画像を表現する表示信号(Ir用表示信号)を取得し、表示信号に応じて発光する。   The display unit 60 displays a visual image or a non-visual image transmitted from the server 8 or the electronic device 5 using the plurality of pixels 61. That is, each pixel 61 included in the display unit 60 receives, from each drive unit 58, a display signal (RGB display signal) representing a visual image or a display signal (Ir display signal) representing a non-visual image. And emits light according to the display signal.

例えば、表示部60は、図4(a)に示すように、サーバ8から送信された天気予報画像を視認用画像として表示する。また例えば、表示部60は、図4(b)〜(e)に示すように、サーバ8から送信された接続画像である二次元バーコードを非視認用画像として表示する。但し、上述したように、非視認用画像は、不可視光を照射する発光部(第2発光部)を用いて表示されるため、目視では非視認用画像である二次元バーコードを認識することができない。   For example, as shown in FIG. 4A, the display unit 60 displays the weather forecast image transmitted from the server 8 as a visual image. For example, as shown in FIGS. 4B to 4E, the display unit 60 displays a two-dimensional barcode that is a connection image transmitted from the server 8 as a non-visual image. However, as described above, since the non-viewing image is displayed using the light emitting unit (second light emitting unit) that emits invisible light, the two-dimensional barcode that is the non-viewing image is visually recognized. I can't.

また例えば、表示部60は、図4(f)に示すように、電子機器5から送信された電子機器5の本体の移動の軌跡に従った画像を視認用画像として表示する。また例えば、表示部60は、図4(g)(h)、及び、図10(c)〜図10(g)に示すように、電子機器5から送信された飛沫画像を視認用画像として表示する。   Further, for example, as shown in FIG. 4F, the display unit 60 displays an image according to the movement trajectory of the main body of the electronic device 5 transmitted from the electronic device 5 as a visual image. In addition, for example, as shown in FIGS. 4G and 4H and FIGS. 10C to 10G, the display unit 60 displays the splash image transmitted from the electronic device 5 as a visual image. To do.

図14は、電子機器5による表示部60の撮像に関する説明図である。具体的には、図14は、図13に示すように、視認用画像を表現する表示信号をRGB用表示信号とし、非視認用画像を表現する表示信号をIr用表示信号とする、表示信号を生成した場合における、電子機器5による表示部60の撮像に関する説明図である。   FIG. 14 is an explanatory diagram relating to imaging of the display unit 60 by the electronic device 5. Specifically, as shown in FIG. 13, FIG. 14 shows a display signal in which a display signal representing a visual image is an RGB display signal, and a display signal representing a non-visual image is an Ir display signal. It is explanatory drawing regarding the imaging of the display part 60 by the electronic device 5 at the time of producing | generating.

電子機器5の撮像部110は、図14(a)に示すような表示信号に基づく画像(視認用画像である天気予報画像、及び、非視認用画像である二次元バーコード)を表示中の表示装置4の表示部60を連写したときは、図14(b)又は図14(c)に示すような4枚の撮像画像を表示・操作受付部100に出力する。即ち、表示部60における天気予報画像及び二次元バーコードの表示タイミング、並びに、撮像部110における露光タイミングから、例えば、連写Rでは、図14(b)に示すように、天気予報画像が1枚目の撮像画像Rにおいて撮像され、天気予報画像及び二次元バーコードが2枚目の撮像画像R、及び、4枚目の撮像画像Rにおいて撮像され、二次元バーコードが3枚目の撮像画像Rにおいて撮像される。また、連写Sでは、図14(c)に示すように、二次元バーコードが1枚目の撮像画像S、及び、2枚目の撮像画像Sにおいて撮像され、天気予報画像が3枚目の撮像画像S、及び、4枚目の撮像画像Sにおいて撮像される。 The imaging unit 110 of the electronic device 5 is displaying images (a weather forecast image that is a visual image and a two-dimensional barcode that is a non-visual image) based on the display signal as illustrated in FIG. When the display unit 60 of the display device 4 is continuously shot, four captured images as shown in FIG. 14B or FIG. 14C are output to the display / operation receiving unit 100. That is, from the display timing of the weather forecast image and the two-dimensional barcode on the display unit 60 and the exposure timing of the imaging unit 110, for example, in continuous shooting R, as shown in FIG. The first captured image R 1 is captured, the weather forecast image and the two-dimensional barcode are captured in the second captured image R 2 , and the fourth captured image R 4 , and the two two-dimensional barcodes are captured. It is captured in the captured image R 3 eyes. Further, in the continuous shooting S, as shown in FIG. 14C, a two-dimensional barcode is captured in the first captured image S 1 and the second captured image S 2 , and the weather forecast image is 3 Images are captured in the first captured image S 3 and the fourth captured image S 4 .

つまり、電子機器5を用いて表示部60を連写することによって、目視では認識不要な非視認用画像を認識することができるようになる。より詳細には、表示部60における視認用画像及び非視認用画像の表示タイミング、並びに、撮像部110における露光タイミングを適切に設定すれば、連写された複数枚の撮像画像のうちの少なくも1枚は、非視認用画像のみを撮像した撮像画像(上述の撮像画像R、撮像画像S、撮像画像S)になるため、非視認用画像を確実に(即ち、視認用画像と重畳することなく)認識することができるようになる。つまり、電子機器5は、表示装置4への接続情報を得ることができるようになる。 That is, by continuously shooting the display unit 60 using the electronic device 5, it is possible to recognize a non-visual image that does not need to be recognized visually. More specifically, if the display timing of the viewing image and the non-viewing image on the display unit 60 and the exposure timing of the imaging unit 110 are appropriately set, at least of the plurality of continuously captured images. Since one image is a captured image obtained by capturing only the non-visual image (the captured image R 3 , the captured image S 1 , and the captured image S 2 described above), the non-visual image is reliably (that is, the visual image and (Without superimposition). That is, the electronic device 5 can obtain connection information to the display device 4.

連写された複数枚の撮像画像のうちの少なくも1枚が、非視認用画像のみを撮像した撮像画像となるような設定について説明する。例えば、表示装置4において、第1の実施形態におけるブランク期間に相当する期間の真中を中心とする時間にIr用表示信号を設定した場合、電子機器5において、上記ブランク期間に相当する期間の半分以下の時間となるように各露光時間を設定し、各露光時間の合計が1フレームの時間以上となるように連写枚数を設定すればよい。例えば、図14(a)に示す例では、表示装置4において、上記ブランク期間に相当する期間全体にIr用表示信号を設定しているため、電子機器5において、各露光時間を120分の1秒に設定し、連写枚数4枚を設定している。   A setting will be described in which at least one of a plurality of continuously captured images is a captured image obtained by capturing only a non-viewing image. For example, in the display device 4, when the Ir display signal is set at a time centered on the middle of the period corresponding to the blank period in the first embodiment, in the electronic device 5, half of the period corresponding to the blank period. Each exposure time may be set so as to be the following time, and the number of continuous shots may be set so that the total of each exposure time is equal to or more than one frame time. For example, in the example shown in FIG. 14A, since the display signal for Ir is set for the entire period corresponding to the blank period in the display device 4, each exposure time is set to 1/120 in the electronic device 5. The second is set to 4 seconds.

図15は、表示装置4が生成する表示信号の他の例である。変換部52は、図13に示すように、視認用画像を表現する表示信号をRGB用表示信号とし、非視認用画像を表現する表示信号をIr用表示信号とする、表示信号を生成することに代えて、図15に示すように、視認用画像を表現する表示信号及び非視認用画像を表現する表示信号をRGB用表示信号とし、非視認用画像を表現する表示信号をIr用表示信号とする、表示信号を生成してもよい。つまり、タイミング制御部54は、視認用画像を表現した表示信号及び非視認用画像を表現する表示信号をRBG用表示信号とし、非視認用画像を表現した表示信号をIr用表示信号とするためのタイミング情報を変換部52に出力してもよい。   FIG. 15 is another example of the display signal generated by the display device 4. As illustrated in FIG. 13, the conversion unit 52 generates a display signal in which a display signal representing a visual image is an RGB display signal, and a display signal representing a non-visual image is an Ir display signal. Instead, as shown in FIG. 15, a display signal representing a visual image and a display signal representing a non-visual image are RGB display signals, and a display signal representing a non-visual image is an Ir display signal. A display signal may be generated. That is, the timing control unit 54 uses the display signal representing the visual image and the display signal representing the non-visual image as the RBG display signal, and the display signal representing the non-visual image as the Ir display signal. The timing information may be output to the conversion unit 52.

図16は、電子機器5による表示部60の撮像に関する説明図である。具体的には、図16は、図15に示すように、視認用画像を表現する表示信号及び非視認用画像を表現する表示信号をRGB用表示信号とし、非視認用画像を表現する表示信号をIr用表示信号とする、表示信号を生成した場合における、電子機器5による表示部60の撮像に関する説明図である。   FIG. 16 is an explanatory diagram relating to imaging of the display unit 60 by the electronic device 5. Specifically, as illustrated in FIG. 15, FIG. 16 illustrates a display signal that represents a non-viewing image by using a display signal that represents a viewing image and a display signal that represents a non-viewing image as RGB display signals. It is explanatory drawing regarding the imaging of the display part 60 by the electronic device 5 at the time of producing | generating the display signal which makes Ir a display signal.

電子機器5の撮像部110は、図16(a)に示すような表示信号に基づく画像(視認用画像である天気予報画像、及び、非視認用画像である二次元バーコード)を表示中の表示装置4の表示部60を連写したときは、図16(b)又は図16(c)に示すような4枚の撮像画像を表示・操作受付部100に出力する。即ち、表示部60における天気予報画像及び二次元バーコードの表示タイミング、並びに、撮像部110における露光タイミングから、例えば、連写Tでは、図16(b)に示すように、天気予報画像及び二次元バーコードが1枚目の撮像画像T、2枚目の撮像画像T、及び、4枚目の撮像画像Tにおいて撮像され、二次元バーコードが3枚目の撮像画像Tにおいて撮像される。また、連写Uでは、図16(c)に示すように、二次元バーコードが1枚目の撮像画像U、及び、2枚目の撮像画像Uにおいて撮像され、天気予報画像及び二次元バーコードが3枚目の撮像画像U、及び、4枚目の撮像画像Uにおいて撮像される。 The imaging unit 110 of the electronic device 5 is displaying an image (a weather forecast image that is a visual image and a two-dimensional barcode that is a non-visual image) based on the display signal as illustrated in FIG. When the display unit 60 of the display device 4 is continuously shot, four captured images as shown in FIG. 16B or FIG. 16C are output to the display / operation receiving unit 100. That is, from the display timing of the weather forecast image and the two-dimensional barcode on the display unit 60 and the exposure timing of the imaging unit 110, for example, in continuous shooting T, as shown in FIG. A dimensional barcode is captured in the first captured image T 1 , the second captured image T 2 , and the fourth captured image T 4 , and the two-dimensional barcode is captured in the third captured image T 3 . Imaged. In the continuous shooting U, as shown in FIG. 16C, a two-dimensional barcode is captured in the first captured image U 1 and the second captured image U 2 , and the weather forecast image and the second captured image U 2 are captured. The dimensional barcode is captured in the third captured image U 3 and the fourth captured image U 4 .

つまり、視認用画像を表現する表示信号及び非視認用画像を表現する表示信号をRGB用表示信号とし、非視認用画像を表現する表示信号をIr用表示信号とする、表示信号を生成した場合であっても、電子機器5を用いて表示部60を連写することによって、目視では認識不要な非視認用画像を認識することができるようになる。より詳細には、表示部60における視認用画像及び非視認用画像の表示タイミング、並びに、撮像部110における露光タイミングを適切に設定すれば、連写された複数枚の撮像画像のうちの少なくも1枚は、非視認用画像のみを撮像した撮像画像(上述の撮像画像T、撮像画像U、撮像画像U)になるため、非視認用画像を確実に(即ち、視認用画像と重畳することなく)認識することができるようになる。つまり、電子機器5は、表示装置4への接続情報を得ることができるようになる。 That is, when a display signal is generated in which a display signal representing a visual image and a display signal representing a non-visual image are RGB display signals, and a display signal representing a non-visual image is an Ir display signal Even so, by continuously shooting the display unit 60 using the electronic device 5, it is possible to recognize a non-viewing image that is not visually recognized. More specifically, if the display timing of the viewing image and the non-viewing image on the display unit 60 and the exposure timing of the imaging unit 110 are appropriately set, at least of the plurality of continuously captured images. Since one image is a captured image obtained by capturing only the non-visual image (the captured image T 3 , the captured image U 1 , and the captured image U 2 described above), the non-visual image is reliably (that is, the visual image and (Without superimposition). That is, the electronic device 5 can obtain connection information to the display device 4.

なお、画像表示システム2の処理の流れは、図7〜図9を用いて説明した実施形態1の画像表示システム1の処理の流れと基本的に同一である。つまり、実施形態1の表示装置3は、人間の視覚が応答可能な長さを有しない時間(第2表示期間)に非視認用画像を表示するのに対し、実施形態2の表示装置4は、不可視光を照射する発光部(第2発光部)を用いて非視認用画像を表示するなど表示装置内の動作は異なるが、図7〜図9に示すような装置間(表示装置3と電子機器5の間)の処理の流れは、画像表示システム1と同様である。   The process flow of the image display system 2 is basically the same as the process flow of the image display system 1 of the first embodiment described with reference to FIGS. That is, the display device 3 according to the first embodiment displays a non-visual image during a time (second display period) that does not have a length that allows human vision to respond, whereas the display device 4 according to the second embodiment Although the operation in the display device is different, such as displaying an image for non-viewing using a light emitting unit (second light emitting unit) that emits invisible light, the devices between the devices as shown in FIGS. The process flow between the electronic devices 5 is the same as that of the image display system 1.

以上、第2の実施形態によれば、第1の実施形態と同様の効果を得ることができる。   As described above, according to the second embodiment, the same effects as those of the first embodiment can be obtained.

なお、第1の実施形態において、表示装置3が、図8(a)に示すように、視認用画像と非視認用画像とを表示している場合(第2の実施形態において、表示装置4が視認用画像と非視認用画像とを表示している場合も同様)、視認用画像の一部の領域に非視認用画像も表示している旨を表示してもよい。これにより、電子機器5によって実際に撮像する前に、視認用画像とともに非視認用画像も表示されることを確認することができるようになる。   In the first embodiment, as shown in FIG. 8A, the display device 3 displays a visual image and a non-visual image (in the second embodiment, the display device 4). The same applies to the case where the image for visual recognition and the image for non-visual recognition are displayed), and the fact that the image for non-visual recognition is also displayed in a partial area of the image for visual recognition may be displayed. Accordingly, it is possible to confirm that the non-viewing image is displayed together with the viewing image before the electronic device 5 actually captures the image.

また、第1の実施形態において、図1(a)に示すように、表示装置3とサーバ8とは別体として説明したが、表示装置3とサーバ8とは一体的に構成(1システムとして同一の場所に設置する構成も含む)してもよい。第2の実施形態における表示装置4とサーバ8についても同様である。   In the first embodiment, as shown in FIG. 1A, the display device 3 and the server 8 have been described as separate bodies. However, the display device 3 and the server 8 are configured integrally (as one system). (It is also possible to include a configuration of installing in the same place). The same applies to the display device 4 and the server 8 in the second embodiment.

また、第1の実施形態において、電子機器5と接続した表示装置3は、図7に示すように、当該電子機器5から描画情報を受信すると説明したが、電子機器5と接続した表示装置3が受信する情報は描画情報に限定されない。第2の実施形態の表示装置4も同様である。
同様に、第1の実施形態において、表示装置3と接続した電子機器5は、図7に示すように、当該表示装置3に描画情報を送信すると説明したが、表示装置3と接続した電子機器5が送信する情報は描画情報に限定されない。電子機器5は、描画情報を送信しないときは描画モードに移行しなくてもよい。第2の実施形態の表示装置4と接続する電子機器5も同様である。
In the first embodiment, the display device 3 connected to the electronic device 5 has been described as receiving drawing information from the electronic device 5 as shown in FIG. The information received by is not limited to drawing information. The same applies to the display device 4 of the second embodiment.
Similarly, in the first embodiment, the electronic device 5 connected to the display device 3 has been described as transmitting drawing information to the display device 3 as shown in FIG. The information transmitted by 5 is not limited to drawing information. The electronic device 5 does not need to shift to the drawing mode when the drawing information is not transmitted. The same applies to the electronic device 5 connected to the display device 4 of the second embodiment.

(応用例1)
電子機器5は、表示装置3(表示装置4も同様。以下、同様)に接続後、視認用画像として広告(動画(CM)、静止画、文字情報)を、非視認用画像として当該表示装置3以外の接続先への接続情報を示す接続画像を、直接又はサーバ(サーバ8とは異なるサーバであってもよい)を介して、表示装置3に送信する。つまり、非視認用画像に着目すれば、表示装置3には、最初、サーバ8から受信した自装置(表示装置)3への接続情報を示す接続画像(非視認用画像)が表示され、電子機器5による自装置3への接続が開始されると、自装置3以外の接続先への接続情報を示す接続画像(非視認用画像)が表示される。換言すれば、表示装置3は、電子機器5と未接続のときは自装置3に接続するための接続画像を非視認表示し、電子機器5と接続中のときは自装置3以外に接続するための接続画像を非視認表示するように、表示を切り替える。
(Application 1)
After the electronic device 5 is connected to the display device 3 (the same applies to the display device 4, the same applies hereinafter), an advertisement (moving image (CM), still image, character information) is displayed as a visual image, and the display device is displayed as a non-visual image. A connection image indicating connection information to a connection destination other than 3 is transmitted to the display device 3 directly or via a server (may be a server different from the server 8). That is, if attention is paid to the non-viewing image, a connection image (non-viewing image) indicating connection information to the own device (display device) 3 received from the server 8 is first displayed on the display device 3. When the connection to the own device 3 by the device 5 is started, a connection image (non-viewing image) indicating connection information to a connection destination other than the own device 3 is displayed. In other words, when the display device 3 is not connected to the electronic device 5, the display image for connecting to the own device 3 is displayed in a non-visible manner, and when the display device 3 is connected to the electronic device 5, the display device 3 is connected to a device other than the own device 3. The display is switched so that the connection image for non-visual display is displayed.

また、表示装置3は、誰かの電子機器5と接続した場合、自装置3以外に接続するための接続画像として、サーバ8に接続するための接続画像を非視認表示してもよいし、当該誰かによって指定された接続先(例えば、ウェブサイト)に接続するための接続画像を非視認表示してもよい。   Further, when the display device 3 is connected to someone's electronic device 5, the connection image for connecting to the server 8 may be displayed in a non-visual manner as a connection image for connection to a device other than the own device 3. A connection image for connecting to a connection destination (for example, a website) designated by someone may be displayed in a non-visual manner.

例えば、以下のように利用できる。表示装置3(例えば、屋外の大型画面)は、電子機器5と未接続のときは、自装置3に接続するための接続画像を非視認表示する。N社の営業マンAが、電子機器5(例えば、スマートフォン。以下、同様)で表示装置3を撮影すると、Aの電子機器5は、表示装置3に接続する。
続いて、Aの電子機器5は、Aの操作に応じて(又は、表示装置3との接続を条件として自動的に)、視認用画像としてN社の商品(又は役務。以下同様)の広告と、非視認用画像として当該商品に関する情報を掲載(保持、以下、同様)したウェブページ(サイト)に接続するための接続画像を、当該商品に関する情報を保持するサーバ(例えば、N社のサーバ)を介して、表示装置3に送信する。
つまり、上記場合、表示装置3以外の接続先は、当該表示装置3によって宣伝(広告)を行う団体(N社、N社の代理店等)のサーバである。また、上記団体のサーバは、視認用画像(広告)と非視認用画像(接続画像)とを区別して表示装置3へ送信している。なお、商品に関する情報とは、仕様、特徴、キャンペーン情報などである。
For example, it can be used as follows. When the display device 3 (for example, a large outdoor screen) is not connected to the electronic device 5, the display device 3 displays the connection image for connection to the device 3 in a non-visual manner. When the salesman A of N company photographs the display device 3 with the electronic device 5 (for example, a smartphone; the same applies hereinafter), the electronic device 5 of the A connects to the display device 3.
Subsequently, the electronic device 5 of A responds to the operation of A (or automatically on condition that it is connected to the display device 3), and the advertisement of the product (or service, etc.) of the N company as a visual image. And a connection image for connecting to a web page (site) on which information about the product is posted (held, the same applies hereinafter) as a non-viewing image, a server that holds information about the product (for example, a server of N company) ) To the display device 3.
That is, in the above case, the connection destination other than the display device 3 is a server of an organization (N company, agency of N company, etc.) that promotes (advertises) the display device 3. Moreover, the server of the said group distinguishes the image for visual recognition (advertisement) and the image for non-visual recognition (connection image), and transmits to the display apparatus 3. The product information includes specifications, features, campaign information, and the like.

続いて、表示装置3に表示中のN社の商品の広告を見たユーザBが、電子機器5で当該広告を撮影すると、Bの電子機器5は、当該商品に関する情報を掲載したウェブページに接続するための接続画像を取得し、当該ウェブページに接続し、当該商品に関する情報を当該ウェブページから受信して表示する。   Subsequently, when the user B who has seen the advertisement of the product of the company N displayed on the display device 3 captures the advertisement with the electronic device 5, the electronic device 5 of the B displays a web page on which information about the product is posted. A connection image for connection is acquired, connected to the web page, and information related to the product is received from the web page and displayed.

なお、表示装置3の所有者(会社)は、N社に対し、表示装置3の利用時間に応じた課金を行ってもよい。なお、表示装置3の所有者は、表示装置3が、Aの電子機器5が送信する自機器(電子機器)5の識別情報(ID、電話番号等)を受信することによって、営業マンA(N社)を特定してもよい。また、表示装置3の所有者は、例えば、Aの電子機器5に対し、表示装置3が接続応答(図7参照)を送信してから切断応答(図7参照)を送信するまでの時間を営業マンA(N社)による表示装置3の利用時間としてもよい。   The owner (company) of the display device 3 may charge N companies according to the usage time of the display device 3. The owner of the display device 3 receives the identification information (ID, telephone number, etc.) of the own device (electronic device) 5 transmitted from the electronic device 5 of the A so that the salesman A ( N companies) may be specified. Further, the owner of the display device 3, for example, determines the time from when the display device 3 transmits a connection response (see FIG. 7) to when the disconnection response (see FIG. 7) is transmitted to the electronic device 5 of A. It is good also as the utilization time of the display apparatus 3 by the salesman A (N company).

なお、表示装置3は、複数の商品の広告(例えば、商品画像)を視認用画像するとともに、各商品に関する情報を掲載した各ウェブページに接続するための夫々の接続画像を各広告の表示領域に非視認表示してもよい。表示装置3が、複数の商品の広告を視認表示し、夫々の接続画像を非視認表示する場合、ユーザは、表示中の複数の商品の広告のなかに興味を引く広告を見つけたときは、その広告を電子機器5のカメラで撮影すれば、電子機器5が、その広告の表示領域に非視認表示されている接続画像を取得するため、ユーザは、電子機器5上にて、その商品に関する情報を見ることができる。   The display device 3 displays advertisements for a plurality of products (for example, product images) for visual recognition, and displays each connection image for connecting to each web page on which information about each product is displayed. May be non-visually displayed. When the display device 3 visually displays advertisements of a plurality of products and non-visually displays the respective connection images, when the user finds an interesting advertisement among the advertisements of the plurality of products being displayed, If the advertisement is taken with the camera of the electronic device 5, the electronic device 5 acquires a connection image that is not visually recognized in the display area of the advertisement. You can see information.

また、他の商品(主に広告主が同一の他の商品)の宣伝を目的として、表示装置3に、広告の商品に関する情報を掲載したウェブページに接続するための接続画像を非視認表示させるのではなく、広告の商品とは異なる商品に関する情報を掲載したウェブページに接続するための接続画像を非視認表示させてもよい。   Further, for the purpose of promoting other products (mainly other products with the same advertiser), the display device 3 displays a connection image for connecting to a web page on which information related to the product of the advertisement is displayed invisible. Instead of this, a connection image for connecting to a web page on which information related to a product different from the product of the advertisement may be displayed in a non-visual manner.

また、表示装置3以外の接続先は、商品を宣伝するウェブページに限定しない。例えば、商品を販売するウェブページ(宣伝且つ販売するウェブページを含む)であってもよい。例えば、表示装置3をネット通販会社が使用する場合、表示装置3に、通販商品の商品画像やCMを視認表示させるとともに、購入画面に接続するための接続画像を非視認表示させてもよい。ユーザは、電子機器5のカメラで、購入したい商品画像(CM)を撮影すれば、電子機器5に購入したい商品の購入画面が表示される。   Further, the connection destination other than the display device 3 is not limited to a web page that advertises a product. For example, it may be a web page for selling a product (including a web page for advertising and selling). For example, when the online sales company uses the display device 3, the product image or CM of the mail-order product may be visually displayed on the display device 3, and the connection image for connecting to the purchase screen may be displayed invisible. If the user takes a product image (CM) to be purchased with the camera of the electronic device 5, a purchase screen for the product to be purchased is displayed on the electronic device 5.

なお、表示装置3にて広告する商品は、特に限定するものではなく、例えば、カメラ、車、洋服、食品、コンテンツ、サービス(旅行会社、スポーツジム)など広く適用される。また、表示装置3において、会社、学校、病院、機関、観光地、商店街などを宣伝してもよい(以下、同様)。   The products advertised on the display device 3 are not particularly limited, and are widely applied, for example, cameras, cars, clothes, food, contents, services (travel agencies, gyms), and the like. Further, the display device 3 may advertise a company, a school, a hospital, an organization, a sightseeing spot, a shopping street, and the like (hereinafter the same).

例えば、表示装置3に、ゲームソフトの広告(例えば、デモ画面)を視認表示させるとともに、当該ゲームソフトのダウンロードサイトに接続するための接続画像を非視認表示させてもよい。ユーザが、所望のゲームソフトの広告を電子機器5のカメラで撮影すれば、電子機器5は、当該ゲームソフトのダウンロードサイトに接続する。なお、ダウンロードサイトからゲームソフトをダウンロードした者に対し課金してもよい。
なお、表示装置3の一部(例えば、画面の下から1/5の部分)に広告主の広告を表示させておき、広告が表示されていない部分を、自由に使える表示装置としてユーザに利用させるようにしてもよい。ユーザが表示装置3を利用する方法は、上述した方法でよい。表示装置3の利用料金は、広告主が支払うようにすると、ユーザは無料で表示装置3を利用することができる。
For example, an advertisement (for example, a demo screen) of game software may be displayed on the display device 3 and a connection image for connecting to a download site for the game software may be displayed in a non-visible manner. If the user photographs an advertisement of desired game software with the camera of the electronic device 5, the electronic device 5 connects to a download site for the game software. In addition, you may charge with respect to those who downloaded game software from the download site.
The advertisement of the advertiser is displayed on a part of the display device 3 (for example, 1/5 from the bottom of the screen), and the portion where no advertisement is displayed is used by the user as a freely usable display device. You may make it make it. The method for using the display device 3 by the user may be the method described above. If the advertiser pays the usage fee for the display device 3, the user can use the display device 3 for free.

また、同様に、表示装置3に、楽曲のプロモーションビデオを視認表示させるとともに、当該楽曲の着信メロディをダウンロードサイトに接続するための接続画像を非視認表示させてもよい。ユーザが、楽曲のプロモーションビデオを電子機器5のカメラで撮影すれば、電子機器5は、当該楽曲の着信メロディのダウンロードサイトに接続する。なお、ダウンロードサイトから着信メロディをダウンロードした者に対し課金してもよい。また、楽曲の他に、予告、サンプル動画を表示装置3に表示させておき、撮影すると、映画、ドラマ、アニメのダウンロードができるようにしてもよい。   Similarly, the promotion video of the music may be displayed on the display device 3 and the connection image for connecting the incoming melody of the music to the download site may be displayed invisible. If the user shoots a promotional video of a song with the camera of the electronic device 5, the electronic device 5 connects to a download melody download site for the song. In addition, you may charge with respect to the person who downloaded the ringtone from the download site. In addition to music, a preview and a sample video may be displayed on the display device 3 and taken to be able to download movies, dramas, and anime.

なお、表示装置3は、所定位置に常に存在するものではなく、車両(例えば、宣伝トラック)に搭載され、移動するものであってもよい。   Note that the display device 3 does not always exist at a predetermined position, and may be mounted on a vehicle (for example, an advertisement truck) and moved.

また、第1の実施形態において、表示装置3は、電子機器5と接続すると説明したが、電子機器5と接続しなくてもよい。具体的には、表示装置3は、自装置3に接続するための接続画像をサーバ8から受信して非視認表示したが、自装置3以外に接続するための接続画像をサーバ8から受信して非視認表示してもよい。第2の実施形態の表示装置4も同様である。   In the first embodiment, the display device 3 has been described as being connected to the electronic device 5, but may not be connected to the electronic device 5. Specifically, the display device 3 receives the connection image for connecting to the own device 3 from the server 8 and displays it non-visually, but receives the connection image for connecting to a device other than the own device 3 from the server 8. May be displayed non-visually. The same applies to the display device 4 of the second embodiment.

(応用例2)
応用例1は、誰かの電子機器5が表示装置3に接続し、当該電子機器5の制御によって、表示装置3に広告が視認表示されるとともに接続画像が非視認表示される態様であったが、応用例2では、電子機器5を介さずに、表示装置3に広告が視認表示されるとともに接続画像が非視認表示される。換言すれば、応用例1では、表示装置3が広告を表示する迄の間に電子機器5が介在したが、応用例2では、表示装置3が広告を表示する迄の間は電子機器5が介在しない。つまり、接続画像による接続先は、当該表示装置3によって宣伝(広告)を行う団体のサーバのみである。
(Application example 2)
Application example 1 is an aspect in which someone's electronic device 5 is connected to the display device 3, and an advertisement is visually displayed on the display device 3 and a connection image is non-visually displayed by the control of the electronic device 5. In Application Example 2, the advertisement is visually displayed on the display device 3 and the connection image is not visually displayed without using the electronic device 5. In other words, in the application example 1, the electronic device 5 is interposed until the display device 3 displays the advertisement. However, in the application example 2, the electronic device 5 is displayed until the display device 3 displays the advertisement. No intervention. That is, the connection destination by the connection image is only the server of the organization that performs the advertisement (advertisement) by the display device 3.

応用例2の場合、宣伝(広告)を希望する会社(人)は、表示装置3(例えば、屋外の大型画面等)のある場所に出向く必要はなく、表示装置3のある場所から離れた場所(例えば、職場)からインターネット等で、表示装置3の所有者に表示装置3の利用を申し込めばよい。宣伝を希望する会社は、所有者の許可後、応用例1において表示装置3と接続した電子機器5が表示装置3に送信する情報(視認用画像である広告、非視認用画像である接続画像)を所有者に送信する。続いて、所有者は、サーバ8を介して、宣伝を希望する会社から受信した情報を表示装置3に送信する。以上により、表示装置3は、自装置3に電子機器5と接続することなく、広告を視認表示し、自装置3以外に接続するための接続画像を非視認表示する。表示装置3が、広告を視認表示し、自装置3以外に接続するための接続画像を非視認表示した後の動きは応用例1と同様である。
なお、宣伝を希望する会社は、例えば、所有者の許可時に、所有者からサーバ8にアクセスするための情報(ID、パスワード等)を取得し、自ら、広告と接続画像とを表示装置3に送信してもよい。
In the case of the application example 2, the company (person) who desires the advertisement (advertisement) does not need to go to a place where the display device 3 (for example, an outdoor large screen) is located, and is away from the place where the display device 3 is located. What is necessary is just to apply for the use of the display device 3 to the owner of the display device 3 from the Internet (for example, the workplace). A company that wishes to advertise, after the owner's permission, transmits information (an advertisement that is a visual image, a connection image that is a non-visual image) that the electronic device 5 connected to the display device 3 in Application Example 1 transmits to the display device 3. ) To the owner. Subsequently, the owner transmits information received from the company that wishes to advertise to the display device 3 via the server 8. As described above, the display device 3 visually displays the advertisement without connecting to the electronic device 5 on the own device 3 and non-visually displays a connection image for connecting to a device other than the own device 3. The movement after the display device 3 visually displays the advertisement and non-visually displays a connection image for connection to a device other than the own device 3 is the same as in the first application example.
For example, a company wishing to advertise obtains information (ID, password, etc.) for accessing the server 8 from the owner when the owner permits, and displays the advertisement and the connection image on the display device 3 itself. You may send it.

なお、表示装置3による広告内容(広告主、商品)は、時間毎に変わるようにしてもよい。例えば、TVのCM枠のように、各広告枠に複数の広告を設定し、表示装置3に、各広告枠内において各広告枠に設定した広告を順番に表示させてもよい。   In addition, you may make it the advertisement content (advertiser, goods) by the display apparatus 3 change for every time. For example, like a TV commercial frame, a plurality of advertisements may be set in each advertising frame, and the advertisement set in each advertising frame in each advertising frame may be displayed on the display device 3 in order.

また、駅構内や繁華街のビルの壁面等に、複数の表示装置3を並べて設置してもよい。複数の表示装置3を並べて設置する場合、夫々の表示装置3による広告内容が異なるようにしてもよい。   Also, a plurality of display devices 3 may be installed side by side on the wall of a station premises or a downtown area building. When a plurality of display devices 3 are installed side by side, the content of advertisements by the respective display devices 3 may be different.

応用例1、2によれば、表示装置3の設置場所限定のタイムセールの実施、設置場所限定(例えば、ある商店街限定)の割引クーポンの発行も可能になる。例えば、表示装置3は、商店街の入口、出口等に設置し、割引クーポンの対象商品の画像を視認表示させるとともに、割引クーポン発行サーバに接続するための接続画像を非視認表示させておく。消費者は、商品画像を電子機器5のカメラで撮影すれば、割引クーポン発行サーバから当該商品の割引クーポン画像を取得することができる。   According to the application examples 1 and 2, it is possible to perform a time sale limited to the installation location of the display device 3 and issue a discount coupon limited to the installation location (for example, limited to a certain shopping street). For example, the display device 3 is installed at an entrance, an exit, or the like of a shopping street, displays an image of a discount coupon target product visually, and displays a connection image for connecting to a discount coupon issuing server in a non-visually displayed manner. The consumer can obtain a discount coupon image of the product from the discount coupon issue server by taking a product image with the camera of the electronic device 5.

(応用例3)
応用例1、2は、営業又は広告を含むマーケティングに表示装置3を活用する態様であったが、応用例3では、地図情報の提供に表示装置3を活用する。例えば、幕張メッセのような広い会場で開催される展示会において、出展者(企業)の展示ブースの位置を来場者に教えるために表示装置3を用いる。
(Application 3)
Although the application examples 1 and 2 were the aspects which utilize the display apparatus 3 for marketing including sales or an advertisement, in the application example 3, the display apparatus 3 is utilized for provision of map information. For example, in an exhibition held at a large venue such as Makuhari Messe, the display device 3 is used to teach visitors the location of the exhibitor (company) exhibition booth.

例えば、展示会場内に設置された表示装置3は、各出展者のロゴ(又は、各出展者のロゴ+各出展者の展示ブースのおおよその位置を指す情報(例えば、矢印))を視認表示するとともに、当該表示装置3の設置位置から当該出展者の出展ブースまでを案内する地図情報を掲載したウェブページに接続するための接続画像を非視認表示する。来場者が、表示装置3に表示されている出展者のロゴを電子機器5のカメラで撮影すれば、電子機器5は、当該出展者の出展ブースまでを案内する地図情報を表示する。なお、上記案内(出展ブースまでのルート案内)は、表示装置3の設置位置が固定されているため可能になる。展示会場内の異なる複数の場所に表示装置3を設置してもよい。   For example, the display device 3 installed in the exhibition hall visually displays each exhibitor's logo (or each exhibitor's logo + information indicating the approximate location of each exhibitor's exhibition booth (for example, an arrow)). At the same time, a connection image for connecting to a web page on which map information for guiding from the installation position of the display device 3 to the exhibitor's booth is displayed in a non-visual manner. If a visitor photographs the exhibitor's logo displayed on the display device 3 with the camera of the electronic device 5, the electronic device 5 displays map information for guiding the exhibitor to the exhibition booth. The above guidance (route guidance to the exhibition booth) is possible because the installation position of the display device 3 is fixed. The display device 3 may be installed at a plurality of different locations in the exhibition hall.

同様に、地下街、デパート内、観光地などの案内にも表示装置3を活用してもよい。なお、表示装置3による上述のような案内は、地下街、デパート内のように、GPSの電波を受信できない場所(若しくは、受信しにくい場所)において特に有用である。   Similarly, the display device 3 may be used for guidance on underground malls, department stores, sightseeing spots, and the like. Note that the above-described guidance by the display device 3 is particularly useful in places where GPS radio waves cannot be received (or places where it is difficult to receive) such as in underground shopping centers and department stores.

(応用例4)
また、表示装置3を他者とのコミュニュケーションツールとして活用してもよい。例えば、個人の趣味の発表の場として、表示装置3を活用する。表示装置3は、自装置3に接続するための接続画像を非視認表示する。なお、表示装置3は、自装置3に接続するための接続画像とともに、何からの画像(例えば、自装置3への接続の仕方を説明する情報)を視認表示してもよい。
(Application 4)
Moreover, you may utilize the display apparatus 3 as a communication tool with others. For example, the display device 3 is used as a place for announcing personal hobbies. The display device 3 non-visually displays a connection image for connecting to the own device 3. Note that the display device 3 may visually display any image (for example, information explaining how to connect to the own device 3) together with a connection image for connecting to the own device 3.

個人Cが、電子機器5で表示装置3を撮影すると、Cの電子機器5は、表示装置3に接続する。続いて、Cの電子機器5は、Cの操作に応じて、Cが撮影(又は制作)したコンテンツ(例えば、静止画、動画)、Cのメールアドレスの接続画像(Cのメールアドレスに基づいて生成した二次元バーコード)を表示装置3に送信する。表示装置3は、Cのコンテンツを視認表示するとともに、Cのメールアドレスの接続画像を非視認表示する。表示装置3に表示中のCのコンテンツを見たユーザDが、電子機器5で当該コンテンツを撮影すると、Dの電子機器5は、Cへのメール送信画面を表示する。Dは、Cのコンテンツに対するコメントを電子メールにより送信する。   When the individual C photographs the display device 3 with the electronic device 5, the C electronic device 5 is connected to the display device 3. Subsequently, in response to the operation of C, the electronic device 5 of C captures (or produces) content (for example, a still image or a moving image) captured by C and a connection image of C's mail address (based on C's mail address). The generated two-dimensional barcode) is transmitted to the display device 3. The display device 3 visually displays the C content and non-visually displays the connection image of the C mail address. When the user D who has viewed the C content displayed on the display device 3 captures the content with the electronic device 5, the D electronic device 5 displays a mail transmission screen to C. D sends a comment on C's content by e-mail.

また、Cの電子機器5は、Cのメールアドレスの接続画像に代えて、Cに対するコメントを投稿するための電子掲示板のウェブページに接続するための接続画像を表示装置3に送信してもよい。当該場合、Dの電子機器5は、Cへのメール送信画面に代えて、Cに対するコメントを投稿するための電子掲示板を表示する。   Also, the C electronic device 5 may transmit a connection image for connecting to a web page of an electronic bulletin board for posting a comment for C to the display device 3 instead of the connection image of the C mail address. . In this case, the electronic device 5 of D displays an electronic bulletin board for posting a comment on C instead of a mail transmission screen to C.

なお、各応用例において説明した表示装置3以外に接続するための接続画像は、予め、元となる情報(例えば、接続先のウェブページのURL)を二次元バーコード化することによって生成し、記憶しておいてもよい。表示装置3が自装置3以外に接続するための接続画像を外部(サーバ8、電子機器5等)から受信して非視認表示する態様では、外部に当該接続画像を記憶してもよい。自装置3に接続するための接続画像についても同様である。
また、各応用例において、電子機器5から表示装置3(表示装置4)へ画像等を送信する際に、図9(c)のような身体動作によって、送信を実行するようにしてもよい。
A connection image for connecting to a device other than the display device 3 described in each application example is generated in advance by converting the original information (for example, the URL of the connection destination web page) into a two-dimensional barcode, You may remember it. In a mode in which the display device 3 receives a connection image for connecting to a device other than the own device 3 from the outside (the server 8, the electronic device 5, etc.) and performs non-visual display, the connection image may be stored outside. The same applies to the connection image for connecting to the own device 3.
In each application example, when an image or the like is transmitted from the electronic device 5 to the display device 3 (display device 4), the transmission may be executed by a physical action as illustrated in FIG. 9C.

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.

1、2…画像表示システム、3、4…表示装置、5…電子機器(撮像装置)、8…サーバ、9…ネットワーク、10、40…通信部、20、50…制御部、22、52…変換部、24、54…タイミング制御部、26、56…振分部、28、58…駆動部、30、60…表示部、31、61…画素、100…表示・操作受付部、110…撮像部、120…加速度センサ、130…距離測定部、140…描画制御部、142…移動量算出部、144…描画情報生成部、146…現在位置記憶部、148…飛沫画像情報記憶部、150…通信部 DESCRIPTION OF SYMBOLS 1, 2 ... Image display system 3, 4 ... Display apparatus, 5 ... Electronic device (imaging device), 8 ... Server, 9 ... Network, 10, 40 ... Communication part, 20, 50 ... Control part, 22, 52 ... Conversion unit, 24, 54 ... Timing control unit, 26, 56 ... Distributing unit, 28, 58 ... Drive unit, 30, 60 ... Display unit, 31, 61 ... Pixel, 100 ... Display / operation receiving unit, 110 ... Imaging , 120 ... acceleration sensor, 130 ... distance measuring unit, 140 ... drawing control unit, 142 ... movement amount calculating unit, 144 ... drawing information generating unit, 146 ... current position storage unit, 148 ... splash image information storage unit, 150 ... Communication department

Claims (5)

加速度センサを備える電子機器であって、
表示部を備える表示装置と通信する通信部と、
前記加速度センサによって検出された加速度に応じて、前記通信部を介して前記表示部への描画を制御する描画制御部と
を備え、
前記描画制御部は、
前記加速度センサが前記表示部への接近方向の加速度を検出した場合には、飛沫を表現した飛沫画像の描画を制御することを特徴とする電子機器。
An electronic device including an acceleration sensor,
A communication unit that communicates with a display device including a display unit;
A drawing control unit that controls drawing on the display unit via the communication unit according to the acceleration detected by the acceleration sensor;
The drawing control unit
When the acceleration sensor detects acceleration in the approaching direction to the display unit, the electronic apparatus controls the drawing of a splash image representing the splash.
請求項1に記載の電子機器において、
前記描画制御部は、
前記接近方向の加速度に応じて前記飛沫画像の描画サイズを制御することを特徴とする電子機器。
The electronic device according to claim 1,
The drawing control unit
An electronic apparatus that controls a drawing size of the splash image according to acceleration in the approaching direction.
請求項1又は請求項2に記載の電子機器において、
前記描画制御部は、
前記表示部との距離に応じて前記飛沫画像の描画サイズを制御することを特徴とする電子機器。
The electronic device according to claim 1 or 2,
The drawing control unit
An electronic apparatus that controls a drawing size of the splash image in accordance with a distance from the display unit.
請求項1から請求項3の何れか1項に記載の電子機器において、
撮像部を更に備え、
前記通信部は、
前記撮像部が前記表示装置の前記表示部を撮像した画像から得られる前記表示装置への接続情報を用いて前記表示装置と接続し、通信することを特徴とする電子機器。
The electronic device according to any one of claims 1 to 3,
An imaging unit;
The communication unit is
An electronic apparatus, wherein the imaging unit connects and communicates with the display device using connection information to the display device obtained from an image obtained by imaging the display unit of the display device.
表示装置に接続して前記表示装置の表示部に描画する電子機器における描画方法であって、
前記電子機器の加速度検出手段が、前記表示部への接近方向の加速度を検出し、
前記電子機器の描画制御手段が、前記接近方向の加速度が検出された場合に、飛沫を表現した飛沫画像の前記表示部への描画を制御することを特徴とする描画方法。
A drawing method in an electronic device connected to a display device and drawing on a display unit of the display device,
The acceleration detection means of the electronic device detects the acceleration in the approaching direction to the display unit,
A drawing method, wherein the drawing control means of the electronic device controls drawing of a splash image representing a splash on the display unit when acceleration in the approaching direction is detected.
JP2011287171A 2011-01-05 2011-12-28 Electronic equipment and drawing method Pending JP2012155318A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011287171A JP2012155318A (en) 2011-01-05 2011-12-28 Electronic equipment and drawing method
PCT/JP2012/050019 WO2012093669A1 (en) 2011-01-05 2012-01-04 Display device, display method, connection method, electronic apparatus, and rendering method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011000558 2011-01-05
JP2011000558 2011-01-05
JP2011287171A JP2012155318A (en) 2011-01-05 2011-12-28 Electronic equipment and drawing method

Publications (1)

Publication Number Publication Date
JP2012155318A true JP2012155318A (en) 2012-08-16

Family

ID=46457520

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011287171A Pending JP2012155318A (en) 2011-01-05 2011-12-28 Electronic equipment and drawing method

Country Status (2)

Country Link
JP (1) JP2012155318A (en)
WO (1) WO2012093669A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014021689A (en) * 2012-07-18 2014-02-03 Dainippon Printing Co Ltd Advertisement display device, advertisement display system, computer and its program
WO2014103157A1 (en) * 2012-12-27 2014-07-03 パナソニック株式会社 Video display method
KR102083980B1 (en) * 2013-06-25 2020-03-04 삼성디스플레이 주식회사 Organic light emitting device for image and security pattern output, and display panel comprising the same
JP2015158596A (en) * 2014-02-24 2015-09-03 株式会社リコー Projection device, projection system, and radio connection method
CN106778122B (en) * 2016-11-23 2020-06-02 北京小米移动软件有限公司 Display method and device and electronic equipment

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4332780B2 (en) * 2003-06-30 2009-09-16 ソニー株式会社 Display device
JP4529736B2 (en) * 2005-03-08 2010-08-25 凸版印刷株式会社 Reticle
EP2001008A4 (en) * 2006-03-27 2010-04-21 Pioneer Corp Method and device for displaying information code
JP2009253890A (en) * 2008-04-10 2009-10-29 Seiko Epson Corp Display system and image display device
JP5246267B2 (en) * 2008-11-17 2013-07-24 日本電気株式会社 Communication system and receiving apparatus
JP2010198192A (en) * 2009-02-24 2010-09-09 Fujinon Corp Material presentation system
JP5351621B2 (en) * 2009-06-09 2013-11-27 有限会社アート開発 Data broadcasting display system

Also Published As

Publication number Publication date
WO2012093669A1 (en) 2012-07-12

Similar Documents

Publication Publication Date Title
US20180047057A1 (en) Distributed advertising system and method of use
TW201702956A (en) Smart billboards
WO2012093669A1 (en) Display device, display method, connection method, electronic apparatus, and rendering method
JP2012113655A (en) Information presentation system and portable information terminal of information presentation system
WO2013134753A1 (en) System and method for providing content to vehicles
TW201702957A (en) Measuring user engagement with smart billboards
CN102438204A (en) Geo-fenced Virtual Scratchcard
US8743753B2 (en) Digital signage system
CN109048888B (en) Intelligent service method of robot
KR20120076673A (en) Method and apparatus for providing advertisement serbvice in mobile communication system
US20110218831A1 (en) Informational Kiosk System and Method of Using Same
KR20150009078A (en) TAXI advertisement System and Method for recommending a customized based on position information
KR102529920B1 (en) Apparatus and method for providing augmented reality image of sharing vehicle
JP2012155319A (en) Display device, display method and connection method
KR101615330B1 (en) Display system and method for the advertisements
KR101635639B1 (en) Image service system using functional film
JP6135224B2 (en) Display device and display system
KR20120076639A (en) Network server, custom-built advertisement system and method thereof
KR101489299B1 (en) Method, server, and computer-readable recording media for displaying information on offer and acceptance
KR20130030837A (en) Touch screen on demand equipped with advertisement and system of ordering food using the same
KR101016380B1 (en) Electric indicator system
KR20190036176A (en) System for vehicle advertisement
KR102596390B1 (en) Method for providing digital signage linkage service using short-distance communication technology and system therefor
KR20170112975A (en) Apparatus for providing path information according to event and method thereof
KR101198423B1 (en) Method for providing social network game