JP6698600B2

JP6698600B2 - Terminal device, program and system

Info

Publication number: JP6698600B2
Application number: JP2017183507A
Authority: JP
Inventors: 健治横田; 修水田; 祥一大川; 和彦増崎; 義浩伊藤; あかり山崎; 理恵荻原; 豊冨林
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2017-09-25
Filing date: 2017-09-25
Publication date: 2020-05-27
Anticipated expiration: 2037-09-25
Also published as: JP2019061341A

Description

本発明は、仮想物体を表示可能な端末装置、プログラム及びシステムに関する。 The present invention relates to a terminal device, a program and a system capable of displaying a virtual object.

特許文献１は、ディスプレイにキャラクタを表示し、当該キャラクタが、あたかもユーザと会話しているかのように、キャラクタを動作させ、かつ、音声を出力する画像表示装置を開示している。特許文献１によると、画像表示装置は、キャラクタをディスプレイに表示している召喚状態と、キャラクタをディスプレイに表示せず、省電力で待機するスリープ状態と、を有する。例えば、ユーザが外出したことにより、所定時間放置されると、画像表示装置はスリープ状態に移行する。また、家の照明が点灯されたことを検出したり、人感センサが人を検知したりすることで、ユーザの帰宅を検出すると、画像表示装置は召喚状態に移行する。さらに、画像表示装置は、ネットワークに接続しており、外出先のユーザとテキストメッセージの送受信を行う機能を有する。 Patent Document 1 discloses an image display device that displays a character on a display, operates the character as if the character is talking to a user, and outputs a voice. According to Patent Document 1, the image display device has a summon state in which the character is displayed on the display, and a sleep state in which the character is not displayed on the display and stands by in power saving. For example, when the user goes out and is left for a predetermined time, the image display device shifts to a sleep state. In addition, when the user's return home is detected by detecting that the house light is turned on or the human sensor detects a person, the image display device shifts to the summon state. Further, the image display device is connected to the network and has a function of transmitting/receiving a text message to/from a user who is away from home.

また、非特許文献１は、端末装置の撮像部、加速度センサ及びジャイロセンサにより場所記述情報を生成し、生成した場所記述情報により、現実には存在しない仮想物体があたかも存在しているかの様に、撮像部が撮像している撮像画像に仮想物体を重畳させてディスプレイに表示する技術を開示している。 Further, in Non-Patent Document 1, place description information is generated by an image pickup unit, an acceleration sensor, and a gyro sensor of a terminal device, and it is as if a virtual object that does not actually exist exists according to the generated place description information. , A technique of superimposing a virtual object on a captured image captured by an image capturing unit and displaying the superimposed image on a display.

非特許文献１に記載の場所記述情報の生成について簡単に説明する。場所記述情報とは、撮像部が撮像している画像から撮像部の３次元空間位置と撮像部による撮像方向とを判定できる情報である。端末装置のユーザは、場所記述情報の取得を開始すると、撮像部により画像を撮像しながら、撮像位置や、撮像方向を変化させる。端末装置は、場所記述情報の取得の間、その開始時の撮像部の位置を原点とし、加速度センサ及びジャイロセンサにより測定した加速度情報及び角速度情報に基づき、撮像部による撮像位置及び撮像方向を判定し続ける。また、端末装置は、撮像部が撮像している画像内の特徴点を求める。このとき、端末装置は、３次元空間における撮像位置及び撮像方向と、画像内の同じ特徴点の位置、つまり、特徴点のスクリーン座標を判定する。これにより、端末装置は、３次元空間内の各撮像位置及び各撮像方向において、撮像部が撮像している画像内のどの位置に各特徴点が見えるかを示す場所記述情報を生成する。よって、端末装置は、既に生成した場所記述情報と、撮像部が撮像している画像の特徴点とを比較することで、そのときの撮像部の撮像位置と撮像方向を判定することができる。なお、３次元空間の原点は、場所記述情報の取得を開始したときの位置である。また、端末装置は、既に保存している場所記述情報と、撮像部が撮像している画像の特徴点との比較により撮像位置及び撮像方向を判定すると同時に、撮像部が撮像している画像の特徴点に基づき当該既に保存している場所記述情報の更新も行う。 Generation of the place description information described in Non-Patent Document 1 will be briefly described. The place description information is information that enables the determination of the three-dimensional spatial position of the image capturing unit and the image capturing direction of the image capturing unit from the image captured by the image capturing unit. When the user of the terminal device starts to acquire the place description information, the image capturing unit captures an image and changes the image capturing position and the image capturing direction. While acquiring the place description information, the terminal device determines the imaging position and the imaging direction by the imaging unit based on the acceleration information and the angular velocity information measured by the acceleration sensor and the gyro sensor, with the position of the imaging unit at the start as the origin. Keep doing. In addition, the terminal device obtains a feature point in the image captured by the image capturing unit. At this time, the terminal device determines the imaging position and the imaging direction in the three-dimensional space and the position of the same feature point in the image, that is, the screen coordinates of the feature point. As a result, the terminal device generates place description information indicating at which position in the image captured by the image capturing unit each feature point is visible at each image capturing position and each image capturing direction in the three-dimensional space. Therefore, the terminal device can determine the image capturing position and the image capturing direction of the image capturing unit at that time by comparing the generated place description information with the feature points of the image captured by the image capturing unit. The origin of the three-dimensional space is the position when the acquisition of the place description information is started. In addition, the terminal device determines the image capturing position and the image capturing direction by comparing the location description information that has already been stored with the feature points of the image captured by the image capturing unit, and simultaneously determines the image capturing position and image capturing direction of the image captured by the image capturing unit. The location description information already stored is also updated based on the feature points.

なお、場所記述情報は、端末装置の位置及び撮像方向と、撮像部が撮像した画像内にある各オブジェクトの各特徴点のスクリーン座標における位置との関係を示す情報であるため、場所記述情報に基づき、各特徴点の３次元空間位置の座標を示す３次元空間情報を生成することができる。即ち、場所記述情報のうちの異なる位置及び撮像方向の組み合わせに対応する情報につき、同一の特徴点のスクリーン座標での移動を考慮することで奥行き方向の情報を得、該特徴点の３次元空間位置を導出することができる。 Since the location description information is information indicating the relationship between the position and the imaging direction of the terminal device and the position in screen coordinates of each feature point of each object in the image captured by the imaging unit, the location description information is included in the location description information. Based on this, it is possible to generate three-dimensional space information indicating the coordinates of the three-dimensional space position of each feature point. That is, regarding the information corresponding to the combination of different positions and imaging directions in the place description information, the information in the depth direction is obtained by considering the movement of the same feature point at the screen coordinates, and the three-dimensional space of the feature point is obtained. The position can be derived.

特許第６１６５３０２号公報Japanese Patent No. 6165302

Ｔａｎｇｏ、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：ｈｔｔｐｓ：／／ｇｅｔ．ｇｏｏｇｌｅ．ｃｏｍ／ｔａｎｇｏ／＞Tango, [online], [January 10, 2017 search], Internet, <URL: https://get. google. com/tango/>

特許文献１に記載の画像表示装置は、表示するキャラクタが常にユーザ宅内にいることを模擬するものである。一方、非特許文献１の技術により、ユーザが携帯する端末装置が撮像した画像に重畳させて、キャラクタがあたかもそこにいるかの様に、キャラクタをディスプレイに表示することができる。したがって、特許文献１に記載されている様な、ユーザとキャラクタ（仮想物体）とのインタラクティブな動作を、非特許文献１の技術により、外出先においても実現することができる。このとき、ユーザ宅内に設置された画像表示装置のディスプレイと、端末装置のディスプレイに同時にキャラクタが表示されない様に制御することが好ましい。 The image display device described in Patent Document 1 simulates that the character to be displayed is always in the user's house. On the other hand, according to the technique of Non-Patent Document 1, the character can be displayed on the display as if the character were there by being superimposed on the image captured by the terminal device carried by the user. Therefore, the interactive operation between the user and the character (virtual object) as described in Patent Document 1 can be realized by the technique of Non-Patent Document 1 even when out of the office. At this time, it is preferable to control so that the characters are not simultaneously displayed on the display of the image display device installed in the user's house and the display of the terminal device.

本発明は、端末装置と、他の装置のディスプレイに同時に同じ仮想物体が表示されない様にする技術を提供するものである。 The present invention provides a technique for preventing the same virtual object from being displayed on the display of a terminal device and the display of another device at the same time.

本発明の一態様によると、端末装置は、ディスプレイと、撮像手段と、仮想物体を示す仮想物体情報を保持する保持手段と、前記端末装置が前記仮想物体の表示デバイスであるか否かを示す表示制御情報を保持し、前記端末装置が前記仮想物体の表示デバイスであると前記表示制御情報が示している場合に前記仮想物体を前記撮像手段が撮像する撮像画像に重畳させて前記ディスプレイに表示する処理を行うことができ、前記端末装置が前記仮想物体の表示デバイスではないと前記表示制御情報が示している場合、前記仮想物体を前記撮像画像に重畳させて前記ディスプレイに表示する処理を行わない処理手段と、を備えており、前記処理手段は、前記仮想物体を前記撮像画像に重畳させて前記ディスプレイに表示しているときに、当該撮像画像において、前記仮想物体を表示できる表示装置を検出すると、前記仮想物体の表示デバイスを前記端末装置から前記表示装置に切り替えるための第１制御信号を、前記仮想物体の表示デバイスを管理しているサーバ装置に送信することを特徴とする。 According to one aspect of the present invention, a terminal device indicates a display, an imaging unit, a holding unit that holds virtual object information indicating a virtual object, and whether the terminal device is a display device of the virtual object. Display control information is held and displayed on the display by superimposing the virtual object on a captured image captured by the image capturing unit when the display control information indicates that the terminal device is a display device for the virtual object. If the display control information indicates that the terminal device is not a display device of the virtual object, a process of superimposing the virtual object on the captured image and displaying it on the display is performed. A processing unit that does not display the virtual object in the captured image when the virtual object is displayed on the display by superimposing the virtual object on the captured image. Upon detection, a first control signal for switching the display device of the virtual object from the terminal device to the display device is transmitted to a server device that manages the display device of the virtual object.

本発明によると、端末装置と、他の装置のディスプレイに同時に同じ仮想物体が表示されない様にすることができる。 According to the present invention, the same virtual object can be prevented from being displayed on the display of the terminal device and the display of another device at the same time.

一実施形態によるユーザ宅内のシステム構成図。The system block diagram in a user's house by one Embodiment. 一実施形態による端末装置を表示デバイスにするためのシーケンス図。FIG. 6 is a sequence diagram for making a terminal device a display device according to an embodiment. 一実施形態による端末装置を表示デバイスにするためのシーケンス図。FIG. 6 is a sequence diagram for making a terminal device a display device according to an embodiment. 一実施形態による画像表示装置を表示デバイスにするトリガの説明図。Explanatory drawing of the trigger which makes an image display apparatus into a display device by one Embodiment. 一実施形態による画像表示装置を表示デバイスにするためのシーケンス図。FIG. 6 is a sequence diagram for using the image display device as a display device according to an embodiment. 一実施形態による画像表示装置を表示デバイスにするためのシーケンス図。FIG. 6 is a sequence diagram for using the image display device as a display device according to an embodiment. 一実施形態による画像表示装置を表示デバイスにするためのシーケンス図。FIG. 6 is a sequence diagram for using the image display device as a display device according to an embodiment. 一実施形態による端末装置の構成図。The block diagram of the terminal device by one Embodiment. 一実施形態による端末装置の制御部の機能ブロック図。The functional block diagram of the control part of the terminal unit by one embodiment. 一実施形態による画像表示装置の構成図。1 is a configuration diagram of an image display device according to an embodiment. 一実施形態によるサーバ装置の構成図。The block diagram of the server apparatus by one Embodiment.

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。 Hereinafter, exemplary embodiments of the present invention will be described with reference to the drawings. The following embodiments are exemplifications, and the present invention is not limited to the contents of the embodiments. Further, in each of the following drawings, components that are not necessary for explaining the embodiment are omitted from the drawings.

図１は、本実施形態によるユーザ宅内のシステム構成図である。端末装置１０と、画像表示装置２０と、サーバ装置３０とは、ユーザ宅内のＬＡＮ４０により相互に通信可能な様に構成される。なお、ＬＡＮ４０は、無線ＬＡＮ、或いは、無線ＬＡＮ及び有線ＬＡＮにより構成される。例えば、携帯型の端末装置１０は、ＬＡＮ４０へのアクセスに少なくとも無線ＬＡＮを使用する。一方、ユーザ宅に置かれるサーバ装置３０及び画像表示装置２０は、ＬＡＮ４０へのアクセスに有線ＬＡＮと無線ＬＡＮのいずれかを使用できる。 FIG. 1 is a system configuration diagram of a user's home according to the present embodiment. The terminal device 10, the image display device 20, and the server device 30 are configured to be able to communicate with each other via the LAN 40 in the user's house. The LAN 40 includes a wireless LAN, or a wireless LAN and a wired LAN. For example, the portable terminal device 10 uses at least a wireless LAN to access the LAN 40. On the other hand, the server device 30 and the image display device 20 placed in the user's house can use either a wired LAN or a wireless LAN to access the LAN 40.

サーバ装置３０は、仮想物体であるキャラクタを表示することができる表示デバイスが、端末装置１０であるか、画像表示装置２０であるかを示す、表示デバイス情報を保持している。さらに、サーバ装置３０は、インターネットに接続している。また、サーバ装置３０は、後述する様に、端末装置１０と画像表示装置２０との間で行う、キャラクタの表示に関する制御情報の送受信の仲介を行う。 The server device 30 holds display device information indicating whether the display device capable of displaying a character that is a virtual object is the terminal device 10 or the image display device 20. Further, the server device 30 is connected to the Internet. Further, the server device 30 mediates transmission/reception of control information relating to character display, which is performed between the terminal device 10 and the image display device 20, as described later.

画像表示装置２０は、ユーザ宅内に置かれ、特許文献１に記載された画像表示装置の様に、ユーザとインタラクティブな動作を行う様に、キャラクタをディスプレイに表示することができる。なお、画像表示装置２０は、キャラクタをディスプレイに表示することが許可されているか否かを示す表示制御情報を保持している。画像表示装置２０は、キャラクタの表示が許可されていることが表示制御情報に示されている場合にのみ、キャラクタをディスプレイに表示することができる。一方、キャラクタの表示が許可されていないことが表示制御情報に示されていると、画像表示装置２０は、キャラクタをディスプレイに表示しない様に構成される。なお、画像表示装置２０は、表示制御情報が表示可であっても常にキャラクタをディスプレイに表示する必要はない。しかしながら、本実施形態において、画像表示装置２０は、表示制御情報が表示不可から表示可になった場合と、ユーザによる画像表示装置２０に対する操作等を検出した場合には、キャラクタをディスプレイに表示するものとする。 The image display device 20 is placed in the user's house and can display a character on the display so as to perform an interactive action with the user like the image display device described in Patent Document 1. The image display device 20 holds display control information indicating whether or not it is permitted to display the character on the display. The image display device 20 can display the character on the display only when the display control information indicates that the display of the character is permitted. On the other hand, when the display control information indicates that the display of the character is not permitted, the image display device 20 is configured not to display the character on the display. The image display device 20 does not always have to display the character on the display even if the display control information can be displayed. However, in the present embodiment, the image display device 20 displays the character on the display when the display control information is changed from the non-displayable state to the displayable state and when the user operates the image display device 20 or the like. I shall.

端末装置１０は、携帯型の装置であり、ＬＡＮ４０を介する通信機能に加えて、例えば、移動通信網を介して通信を行う機能も有する。また、端末装置１０は、画像表示装置２０と同様に表示制御情報を保持している。端末装置１０は、キャラクタの表示が許可されていることが表示制御情報に示されている場合にのみ、キャラクタをディスプレイに表示することができる。一方、キャラクタの表示が許可されていないことが表示制御情報に示されていると、端末装置１０は、キャラクタをディスプレイに表示しない様に構成される。端末装置１０も、表示制御情報が表示可であっても常にキャラクタをディスプレイに表示する必要はなく、表示するか否かはユーザの操作によるものとする。なお、端末装置１０と画像表示装置２０は、同じキャラクタを表示するためのキャラクタ情報を保持している。図１の構成では、画像表示装置２０とサーバ装置３０とを異なる装置としているが、画像表示装置２０とサーバ装置３０とを同じ1つの装置とすることもできる。 The terminal device 10 is a portable device and has a function of performing communication, for example, via a mobile communication network in addition to a communication function via the LAN 40. Further, the terminal device 10 holds the display control information as in the image display device 20. The terminal device 10 can display the character on the display only when the display control information indicates that the display of the character is permitted. On the other hand, when the display control information indicates that the display of the character is not permitted, the terminal device 10 is configured not to display the character on the display. Even in the case where the display control information can be displayed, the terminal device 10 does not always need to display the character on the display, and whether or not to display the character depends on a user operation. The terminal device 10 and the image display device 20 hold character information for displaying the same character. In the configuration of FIG. 1, the image display device 20 and the server device 30 are different devices, but the image display device 20 and the server device 30 may be the same device.

まず、表示デバイスの切り替えについて説明する。説明の初期状態として、ユーザが在宅しており、表示デバイスが画像表示装置２０であるものとする。したがって、サーバ装置３０が保持する表示デバイス情報は、表示デバイスが画像表示装置２０であることを示している。また、画像表示装置２０の表示制御情報は表示可を示し、端末装置１０の表示制御情報は表示不可を示している。 First, switching of display devices will be described. As an initial state of the description, it is assumed that the user is at home and the display device is the image display device 20. Therefore, the display device information held by the server device 30 indicates that the display device is the image display device 20. Further, the display control information of the image display device 20 indicates that display is possible, and the display control information of the terminal device 10 indicates that display is impossible.

本実施形態において、キャラクタの表示デバイスを、画像表示装置２０から端末装置１０に切り替える第１切替条件（以下、第１トリガ）の１つは、ユーザによる画像表示装置２０の操作である。例えば、ユーザが画像表示装置２０に対して所定の操作を行うことが第１トリガの１つとなる。また、ユーザが、例えば、画像表示装置２０に向けて外出することを示す所定の音声、例えば、「いってきます」との音声を発することも第１トリガの1つとなる。 In the present embodiment, one of the first switching conditions (hereinafter, first trigger) for switching the character display device from the image display device 20 to the terminal device 10 is an operation of the image display device 20 by the user. For example, one of the first triggers is that the user performs a predetermined operation on the image display device 20. In addition, for example, the user utters a predetermined voice indicating that the user goes out toward the image display device 20, for example, a voice saying “I'm coming” is one of the first triggers.

図２は、所定の音声を発するといったユーザ動作、又は、ユーザの画像表示装置２０に対する操作に対応する第１トリガにより開始される、キャラクタの表示デバイスを、画像表示装置２０から端末装置１０に切り替える処理のシーケンス図である。画像表示装置２０は、第１トリガを検出すると、Ｓ１で、表示デバイスを端末装置１０に切り替えることを示す制御信号をサーバ装置３０に送信する。以下のシーケンス図において、英文字"Ｄ"は、画像表示装置２０を示し、英文字"Ｔ"は端末装置１０を示し、矢印の方向は、表示デバイスの切替先を示している。サーバ装置３０は、当該制御信号を受信すると、Ｓ２で、当該制御信号を端末装置１０に送信する。制御信号を受信した端末装置１０は、Ｓ３で、確認信号をサーバ装置３０に送信し、サーバ装置３０は、Ｓ４で、この確認信号を画像表示装置２０に送信する。端末装置１０は、Ｓ３で、確認信号をサーバ装置３０に送信すると、表示制御情報を表示不可から表示可に更新する。これにより、端末装置１０は、キャラクタをディスプレイに表示することができる。また、画像表示装置２０は、Ｓ４で、確認信号を受信すると、Ｓ７で、ディスプレイにキャラクタを表示することを停止し、表示制御情報を表示可から表示不可に更新する。なお、Ｓ５の処理と、Ｓ７の処理とは、可能な限り同時に行うことが好ましく、それぞれのタイミングが調整される。また、サーバ装置３０は、Ｓ４で、確認信号を送信すると、Ｓ６で、表示デバイス情報を端末装置１０に更新する。 In FIG. 2, the character display device is switched from the image display device 20 to the terminal device 10, which is started by a user action such as a predetermined sound or a first trigger corresponding to an operation of the image display device 20 by the user. It is a sequence diagram of a process. When the image display device 20 detects the first trigger, the image display device 20 transmits a control signal indicating switching of the display device to the terminal device 10 to the server device 30 in S1. In the following sequence diagram, the letter "D" indicates the image display device 20, the letter "T" indicates the terminal device 10, and the direction of the arrow indicates the switching destination of the display device. Upon receiving the control signal, the server device 30 transmits the control signal to the terminal device 10 in S2. The terminal device 10 that has received the control signal transmits a confirmation signal to the server device 30 in S3, and the server device 30 transmits this confirmation signal to the image display device 20 in S4. When the terminal device 10 transmits a confirmation signal to the server device 30 in S3, the display control information is updated from non-displayable to displayable. As a result, the terminal device 10 can display the character on the display. Further, when the image display device 20 receives the confirmation signal in S4, it stops displaying the character on the display and updates the display control information from displayable to displayable in S7. It should be noted that the processing of S5 and the processing of S7 are preferably performed at the same time as much as possible, and their timings are adjusted. Further, when the server device 30 transmits the confirmation signal in S4, the display device information is updated to the terminal device 10 in S6.

なお、図２のシーケンスにおいて、画像表示装置２０は、制御信号の送信後、その応答として確認信号を受信すると、表示制御情報を表示不可にし、端末装置１０は、制御信号を受信後、その応答として確認信号を送信すると、表示制御情報を表示可に更新していた。しかしながら、確認信号を使用することなく、画像表示装置２０は、制御信号を送信すると、表示制御情報を表示不可にし、端末装置１０は、制御信号を受信すると、表示制御情報を表示可にする構成とすることもできる。さらに、画像表示装置２０及び端末装置１０が、それぞれ、表示制御情報の更新を行うと、サーバ装置３０に完了信号を送信する構成とすることもできる。この場合、サーバ装置３０は、画像表示装置２０及び端末装置１０それぞれから完了信号を受信すると、表示デバイス情報を更新する。一方、いずれかの装置から完了信号を受信しないと、エラーが生じたものとして、サーバ装置３０は、画像表示装置２０及び端末装置１０のいずれか一方のみがキャラクタをディスプレイに表示できる様に調整処理を行う。なお、上記図２のシーケンスの修正形態は、以下に説明する他のシーケンスについても同様に適用できる。 In the sequence of FIG. 2, when the image display device 20 receives the confirmation signal as a response after transmitting the control signal, the image display device 20 disables display of the display control information, and the terminal device 10 receives the control signal and then returns the response. When the confirmation signal was transmitted as, the display control information was updated to be displayable. However, without using the confirmation signal, the image display device 20 disables the display control information when the control signal is transmitted, and the terminal device 10 enables the display control information when the control signal is received. It can also be Further, the image display device 20 and the terminal device 10 may each be configured to transmit a completion signal to the server device 30 when updating the display control information. In this case, the server device 30 updates the display device information when the completion signal is received from each of the image display device 20 and the terminal device 10. On the other hand, if the completion signal is not received from any of the devices, it is determined that an error has occurred, and the server device 30 performs an adjustment process so that only one of the image display device 20 and the terminal device 10 can display the character on the display. I do. The modified form of the sequence in FIG. 2 can be similarly applied to other sequences described below.

表示デバイスの画像表示装置２０から端末装置１０への切り替えは、上述した様に、ユーザによる画像表示装置２０に対する動作・操作により開始されるが、ユーザが、これら動作・操作を行うことなく外出してしまうこともあり得る。このため、端末装置１０は、ＬＡＮ４０経由でサーバ装置３０と通信できることを確認する。この確認は、端末装置１０が、ＬＡＮ４０の無線アクセスポイントを認識（検出）できるか否かにより行うことができる。また、端末装置１０が、繰り返しサーバ装置３０をポーリングし、当該ポーリングの応答を受信するか否かにより行うことができる。そして、端末装置１０がＬＡＮ４０を介してサーバ装置３０と通信できない場合において、ユーザが端末装置１０に対して所定の操作又は動作を行うことも第１トリガの１つとすることができる。なお、この所定の動作は、ユーザが端末装置１０に対して所定の音声を発することとすることができる。 The switching of the display device from the image display device 20 to the terminal device 10 is started by the operation/operation of the image display device 20 by the user as described above, but the user goes out without performing these operations/operations. There is a possibility that it will end up. Therefore, the terminal device 10 confirms that it can communicate with the server device 30 via the LAN 40. This confirmation can be performed based on whether or not the terminal device 10 can recognize (detect) the wireless access point of the LAN 40. Further, the terminal device 10 can repeatedly perform the polling of the server device 30 and whether or not the response to the polling is received. When the terminal device 10 cannot communicate with the server device 30 via the LAN 40, the user may perform a predetermined operation or operation on the terminal device 10 as one of the first triggers. It should be noted that this predetermined operation can be performed by the user making a predetermined sound to the terminal device 10.

図３は、端末装置１０がサーバ装置３０とＬＡＮ４０を介する通信ができない場合において、ユーザが端末装置１０に対して所定の操作又は動作を行ったことに対応する第１トリガにより開始される、キャラクタの表示デバイスの切り替え処理のシーケンス図である。端末装置１０は、この第１トリガが満たされると、Ｓ１１で、表示デバイスを端末装置１０に切り替えることを示す制御信号をサーバ装置３０に送信する。なお、図３の処理において、端末装置１０とサーバ装置３０との間の通信は、移動通信網及びインターネット経由で行われる。サーバ装置３０は、当該制御信号を受信すると、Ｓ１２で、当該制御信号を画像表示装置２０に送信する。制御信号を受信した画像表示装置２０は、Ｓ１３で、確認信号をサーバ装置３０に送信し、サーバ装置３０は、Ｓ１４で、この確認信号を端末装置１０に送信する。端末装置１０は、Ｓ１４で、確認信号をサーバ装置３０から受信すると、表示制御情報を表示不可から表示可に更新する。また、画像表示装置２０は、Ｓ１３で、確認信号を送信すると、Ｓ１５で、表示制御情報を表示可から表示不可に更新する。また、サーバ装置３０は、Ｓ１４で、確認信号を送信すると、Ｓ１６で、表示デバイス情報を端末装置１０に更新する。なお、端末装置１０が、ＧＰＳ等により端末装置１０の位置を取得し、端末装置１０の位置が画像表示装置２０の設置位置から所定距離以上離れている場合において、ユーザが端末装置１０に対して所定の操作又は動作を行ったことも第１トリガとすることができる。 FIG. 3 is a character started by the first trigger corresponding to the user performing a predetermined operation or action on the terminal device 10 when the terminal device 10 cannot communicate with the server device 30 via the LAN 40. FIG. 7 is a sequence diagram of a display device switching process of FIG. When this first trigger is satisfied, the terminal device 10 transmits a control signal indicating switching of the display device to the terminal device 10 to the server device 30 in S11. In the process of FIG. 3, communication between the terminal device 10 and the server device 30 is performed via the mobile communication network and the Internet. Upon receiving the control signal, the server device 30 transmits the control signal to the image display device 20 in S12. The image display device 20 that has received the control signal transmits a confirmation signal to the server device 30 in S13, and the server device 30 transmits this confirmation signal to the terminal device 10 in S14. Upon receiving the confirmation signal from the server device 30 in S14, the terminal device 10 updates the display control information from non-displayable to displayable. When the image display device 20 transmits the confirmation signal in S13, the image display device 20 updates the display control information from displayable to displayable in S15. Further, when the server device 30 transmits the confirmation signal in S14, the display device information is updated to the terminal device 10 in S16. When the terminal device 10 acquires the position of the terminal device 10 by GPS or the like and the position of the terminal device 10 is away from the installation position of the image display device 20 by a predetermined distance or more, the user can Performing a predetermined operation or action can also be the first trigger.

続いて、外出していたユーザが帰宅した際の、端末装置１０から画像表示装置２０への表示デバイスの切り替えについて説明する。本実施形態において、端末装置１０は、少なくとも画像表示装置２０が置かれた部屋内について、非特許文献１に記載の場所記述情報を生成・保持している。また、場所記述情報に従い、撮像部が撮像している画像（以下、撮像画像）の特徴点から撮像部の３次元空間（実空間）における撮像位置と撮像方向を認識している。なお、以下では、撮像部の撮像位置と撮像方向を端末装置１０の位置及び方向と定義する。そして、端末装置１０は、端末装置１０の位置及び方向に対する所定の相対位置にキャラクタが存在しているかの様に、撮像画像にキャラクタを重畳してディスプレイ１０５に表示している。また、端末装置１０は、画像表示装置２０の３次元空間における設置位置を示す位置情報を保持している。図４は、端末装置１０の撮像部による撮像範囲を参照符号５１で示し、キャラクタが位置６０に存在しているかの様に、端末装置１０が、そのディスプレイ１０５にキャラクタを表示している状態を示している。 Next, switching of the display device from the terminal device 10 to the image display device 20 when the user who has gone out returns home will be described. In the present embodiment, the terminal device 10 generates and holds the place description information described in Non-Patent Document 1 at least in the room where the image display device 20 is placed. Further, according to the place description information, the image pickup position and the image pickup direction in the three-dimensional space (real space) of the image pickup unit are recognized from the feature points of the image picked up by the image pickup unit (hereinafter, picked-up image). In the following, the image pickup position and the image pickup direction of the image pickup unit are defined as the position and direction of the terminal device 10. Then, the terminal device 10 superimposes the character on the captured image and displays it on the display 105 as if the character exists at a predetermined relative position with respect to the position and direction of the terminal device 10. The terminal device 10 also holds position information indicating the installation position of the image display device 20 in the three-dimensional space. FIG. 4 shows an imaging range by the imaging unit of the terminal device 10 with a reference numeral 51, and shows a state in which the terminal device 10 displays the character on its display 105 as if the character exists at the position 60. Shows.

本実施形態において、キャラクタの表示デバイスを、端末装置１０から画像表示装置２０に切り替える第２切替条件（以下、第２トリガ）の１つを、図４に示す様に、キャラクタを撮像画像に重畳させて端末装置１０のディスプレイ１０５に表示している状態において、画像表示装置２０が撮像画像内に含まれる様にするユーザの操作とする。端末装置１０は、場所記述情報に従い、自装置の３次元空間における位置及び方向を認識している。さらに、上述した様に、端末装置１０は、画像表示装置２０の３次元空間における設置位置を示す位置情報を保持している。したがって、撮像部のカメラパラメータより、端末装置１０は、撮像画像に画像表示装置２０が含まれていることを検出することができる。なお、端末装置１０は、キャラクタを自装置の位置及び方向に対する所定の相対位置に配置するため、キャラクタの３次元空間における配置位置も認識している。 In the present embodiment, one of the second switching conditions (hereinafter, second trigger) for switching the display device of the character from the terminal device 10 to the image display device 20 is superimposed on the captured image as shown in FIG. The operation is performed by the user so that the image display device 20 is included in the captured image in the state where the image is displayed on the display 105 of the terminal device 10. The terminal device 10 recognizes the position and direction of its own device in the three-dimensional space according to the place description information. Further, as described above, the terminal device 10 holds the position information indicating the installation position of the image display device 20 in the three-dimensional space. Therefore, the terminal device 10 can detect that the image display device 20 is included in the captured image from the camera parameters of the image capturing unit. In addition, since the terminal device 10 arranges the character at a predetermined relative position with respect to the position and direction of the device itself, the terminal device 10 also recognizes the arrangement position of the character in the three-dimensional space.

図５は、ユーザが、撮像画像内に画像表示装置２０が含まれるように操作したことに対応する第２トリガにより開始される、キャラクタの表示デバイスを、端末装置１０から画像表示装置２０に切り替える処理のシーケンス図である。この第２トリガを検出すると、Ｓ２１で、端末装置１０は、キャラクタが画像表示装置２０の方向に向かって歩く様に、ディスプレイ１０５に表示する。キャラクタと画像表示装置２０との距離が所定値以内になると、端末装置１０は、Ｓ２２で、表示デバイスを画像表示装置２０に切り替えることを示す制御信号をサーバ装置３０に送信する。Ｓ２３で、サーバ装置３０は、この制御信号を画像表示装置２０に送信する。制御信号を受信した画像表示装置２０は、Ｓ２４で、確認信号をサーバ装置３０に送信し、サーバ装置３０は、Ｓ２５で、確認信号を端末装置１０に送信する。画像表示装置２０は、Ｓ２４で、確認信号をサーバ装置３０に送信すると、表示制御情報を表示可に更新し、キャラクタをディスプレイに表示する。端末装置１０は、Ｓ２５で、確認信号を受信すると、ディスプレイにキャラクタを表示することを停止し、表示制御情報を表示不可に更新する。また、サーバ装置３０は、Ｓ２５で、確認信号を送信すると、表示デバイス情報を画像表示装置２０に更新する。なお、端末装置１０と画像表示装置２０でのキャラクタの表示の連続性を高めるため、それぞれのディスプレイには、同じ大きさでキャラクタを表示することができる。或いは、ディスプレイの大きさに応じて、キャラクタの大きさを変えることもできる。 In FIG. 5, the character display device is switched from the terminal device 10 to the image display device 20, which is started by the second trigger corresponding to the user's operation to include the image display device 20 in the captured image. It is a sequence diagram of a process. When the second trigger is detected, in S21, the terminal device 10 displays the character on the display 105 as if the character was walking toward the image display device 20. When the distance between the character and the image display device 20 falls within the predetermined value, the terminal device 10 transmits a control signal indicating switching of the display device to the image display device 20 to the server device 30 in S22. In S23, the server device 30 transmits this control signal to the image display device 20. The image display device 20 that has received the control signal transmits a confirmation signal to the server device 30 in S24, and the server device 30 transmits the confirmation signal to the terminal device 10 in S25. When the image display device 20 transmits the confirmation signal to the server device 30 in S24, the display control information is updated to be displayable and the character is displayed on the display. Upon receiving the confirmation signal in S25, the terminal device 10 stops displaying the character on the display and updates the display control information so that it cannot be displayed. In addition, when the server device 30 transmits the confirmation signal in S25, the server device 30 updates the display device information to the image display device 20. In order to improve the continuity of the display of the character on the terminal device 10 and the image display device 20, the character can be displayed in the same size on each display. Alternatively, the size of the character can be changed according to the size of the display.

なお、撮像画像に画像表示装置２０が写ると、常に、キャラクタの表示デバイスを端末装置１０から画像表示装置２０に切り替えるのではなく、キャラクタの配置位置と画像表示装置２０との距離が閾値距離以内になると、第２切替条件が満たされたものとしてキャラクタの表示デバイスを端末装置１０から画像表示装置２０に切り替える構成とすることができる。上述した様に、端末装置１０は、キャラクタの３次元空間における配置位置と、画像表示装置２０の設置位置を認識しているため、端末装置１０は、その距離を求めることができる。 When the image display device 20 appears in the captured image, the display device of the character is not always switched from the terminal device 10 to the image display device 20, but the distance between the arrangement position of the character and the image display device 20 is within the threshold distance. Then, the display device of the character can be switched from the terminal device 10 to the image display device 20, assuming that the second switching condition is satisfied. As described above, since the terminal device 10 recognizes the arrangement position of the character in the three-dimensional space and the installation position of the image display device 20, the terminal device 10 can obtain the distance.

また、Ｓ２１の処理を省略し、Ｓ２２から処理を開始する構成とすることができる。この場合、キャラクタを撮像画像に重畳させて端末装置１０のディスプレイ１０５に表示している状態において撮像画像内に画像表示装置２０を検出すると、キャラクタを画像表示装置２０の方向に移動させることなく、端末装置１０は、Ｓ２２の処理を行う。なお、本実施形態では、Ｓ２１の処理を自然に行うため、端末装置１０に場所記述情報と、画像表示装置２０の３次元空間における設置位置を示す位置情報を保持させている。よって、画像表示装置２０が撮像画像に含まれているか否かの判定については、場所記述情報に基づき判定される端末装置１０の位置及び方向と撮像部のカメラパラータにより行っている。しかしながら、Ｓ２１の処理を省略する場合には、画像表示装置２０の３次元空間における設置位置ではなく、画像マッチング技術により撮像画像内の画像表示装置２０を検出する構成とできる。この場合、端末装置１０には、画像マッチング技術で使用する画像情報を保持させる必要があるが、場所記述情報や画像表示装置２０の３次元空間における設置位置を示す位置情報を端末装置１０に保持させる必要はない。 Further, the processing of S21 may be omitted and the processing may be started from S22. In this case, when the image display device 20 is detected in the captured image in a state where the character is superimposed on the captured image and displayed on the display 105 of the terminal device 10, the character is not moved in the direction of the image display device 20, The terminal device 10 performs the process of S22. In addition, in the present embodiment, in order to naturally perform the process of S21, the terminal device 10 is caused to hold the location description information and the position information indicating the installation position of the image display device 20 in the three-dimensional space. Therefore, the determination as to whether or not the image display device 20 is included in the captured image is made based on the position and direction of the terminal device 10 determined based on the location description information and the camera parameter of the imaging unit. However, when the process of S21 is omitted, the image display device 20 may be detected in the captured image by the image matching technique instead of the installation position of the image display device 20 in the three-dimensional space. In this case, the terminal device 10 needs to hold the image information used in the image matching technique, but the terminal device 10 holds the location description information and the position information indicating the installation position of the image display device 20 in the three-dimensional space. You don't have to let it.

本実施形態においては、ユーザが在宅している際には、画像表示装置２０にキャラクタを表示させることを基本とする。したがって、帰宅したユーザが、端末装置１０により画像表示装置２０を撮像して、端末装置１０のディスプレイに画像表示装置２０を表示した場合のみを第２トリガとすると、ユーザがこの操作を行わないと、キャラクタを画像表示装置２０に表示させることはできない。したがって、本実施形態では、その他の第２トリガも設ける。 In the present embodiment, the character is basically displayed on the image display device 20 when the user is at home. Therefore, if the second trigger is only when the user who returns home captures the image display device 20 with the terminal device 10 and displays the image display device 20 on the display of the terminal device 10, the user must perform this operation. , The character cannot be displayed on the image display device 20. Therefore, in this embodiment, other second triggers are also provided.

第２トリガの１つは、端末装置１０が、所定期間に渡り、ＬＡＮ４０経由でサーバ装置３０と通信できることを検出したときとすることができる。例えば、端末装置１０が、所定期間に渡り連続して、ＬＡＮ４０の無線アクセスポイントを検出した場合や、無線ＬＡＮ４０を介してサーバ装置３０に送信したポーリングの応答を連続して所定回数だけ受信すると、この第２トリガの条件が満たされたものと端末装置１０は判定することができる。なお、この場合の切替シーケンスは、図６に示す様に、図５のＳ２１が省略されたものとなる。但し、図５のＳ２８とは異なり、図６のＳ２８においては、端末装置１０がキャラクタを表示していた場合にのみ、キャラクタの表示の停止が行われ、端末装置１０がキャラクタを表示してない場合には、表示制御情報の更新のみが行われる。なお、撮像画像に画像表示装置２０を表示することによる第２トリガを優先するため、所定期間は十分に長くする。同様に、端末装置１０が、ＧＰＳ等により端末装置１０の位置を取得し、端末装置１０が、画像表示装置２０の設置位置から所定距離以内にいることが所定期間だけ継続すると、図６の処理により表示デバイスを画像表示装置２０に切り替える構成とすることもできる。さらに、ユーザ宅内にビーコンの送信装置や、可聴対域外の音波を送信する送信装置を設けておき、端末装置１０が、これらビーコン又は音波を所定期間に渡り検出し続けた場合に図６の処理を開始する構成とすることもできる。ビーコン又は音波の送信装置は、例えば、サーバ装置３０や画像表示装置２０に設けることができる。また、端末装置１０のユーザが、端末装置１０に対して所定の音声を発することや、端末装置１０に所定の操作を行うことも第２トリガの１つとすることができる。なお、所定の操作は、例えば、キャラクタを表示するアプリケーションをユーザが終了するための操作を含む。この場合の切替処理のシーケンスも、図６と同じである。なお、この場合、端末装置１０とサーバ装置３０との間の通信は、ＬＡＮ４０を介するものであっても、移動通信網及びインターネットを介するものであっても良い。つまり、端末装置１０に所定の操作を行ったり、端末装置１０に所定の音声を検出させたりすることを第２トリガとする表示デバイスの端末装置１０から画像表示装置２０への切り替えは、ユーザが外出先においても行うことができる。 One of the second triggers can be when the terminal device 10 detects that the terminal device 10 can communicate with the server device 30 via the LAN 40 for a predetermined period. For example, when the terminal device 10 continuously detects a wireless access point of the LAN 40 for a predetermined period, or when the polling response transmitted to the server device 30 via the wireless LAN 40 is continuously received a predetermined number of times, The terminal device 10 can determine that the condition of the second trigger is satisfied. The switching sequence in this case is such that S21 of FIG. 5 is omitted, as shown in FIG. However, unlike S28 of FIG. 5, in S28 of FIG. 6, the display of the character is stopped only when the terminal device 10 is displaying the character, and the terminal device 10 does not display the character. In this case, only the display control information is updated. Since the second trigger by displaying the image display device 20 on the captured image is prioritized, the predetermined period is set sufficiently long. Similarly, if the terminal device 10 acquires the position of the terminal device 10 by GPS or the like and the terminal device 10 continues to be within a predetermined distance from the installation position of the image display device 20 for a predetermined period, the process of FIG. Thus, the display device can be switched to the image display device 20. Further, a beacon transmission device or a transmission device that transmits sound waves outside the audible range is provided in the user's house, and when the terminal device 10 continues to detect these beacons or sound waves for a predetermined period, the process of FIG. 6 is performed. It is also possible to adopt a configuration for starting the. The beacon or sound wave transmission device can be provided in, for example, the server device 30 or the image display device 20. It is also possible for the user of the terminal device 10 to make a predetermined sound to the terminal device 10 or to perform a predetermined operation on the terminal device 10 as one of the second triggers. The predetermined operation includes, for example, an operation for the user to terminate the application that displays the character. The sequence of the switching process in this case is the same as that in FIG. In this case, the communication between the terminal device 10 and the server device 30 may be via the LAN 40, a mobile communication network, or the Internet. That is, the user does not switch the display device from the terminal device 10 to the image display device 20 with the second trigger of performing a predetermined operation on the terminal device 10 or causing the terminal device 10 to detect a predetermined sound. It can be done on the go.

さらに、ユーザが、画像表示装置２０に対して所定の操作を行うことや、例えば、画像表示装置２０に向けて「ただいま」といった所定音声を発することも第２トリガの１つとすることができる。図７は、ユーザが、画像表示装置２０に対して行った所定操作又は動作に対応する第２トリガにより開始される、キャラクタの表示デバイスを、端末装置１０から画像表示装置２０に切り替える処理のシーケンス図である。画像表示装置２０は、第２トリガを検出すると、Ｓ３１で、表示デバイスを画像表示装置２０に切り替えることを示す制御信号をサーバ装置３０に送信する。サーバ装置３０は、Ｓ３２で、当該制御信号を端末装置１０に送信する。制御信号を受信した端末装置１０は、Ｓ３３で、確認信号をサーバ装置３０に送信し、サーバ装置３０は、Ｓ３４で、この確認信号を画像表示装置２０に送信する。端末装置１０は、Ｓ３３で、確認信号をサーバ装置３０に送信すると、表示制御情報を表示不可に更新する。また、キャラクタをディスプレイ１０５に表示していた場合には、キャラクタのディスプレイ１０５への表示は停止する。画像表示装置２０は、Ｓ４４で、確認信号を受信すると、Ｓ３７で、表示制御情報を表示可に更新し、ディスプレイにキャラクタを表示する。また、サーバ装置３０は、Ｓ４４で、確認信号を送信すると、Ｓ４６で、表示デバイス情報を画像表示装置２０に更新する。 Further, the user may perform a predetermined operation on the image display device 20, or, for example, emit a predetermined sound such as "I'm home" toward the image display device 20 as one of the second triggers. FIG. 7 is a sequence of a process of switching the display device of the character from the terminal device 10 to the image display device 20, which is started by the second trigger corresponding to the predetermined operation or action performed by the user on the image display device 20. It is a figure. When the image display device 20 detects the second trigger, the image display device 20 transmits a control signal indicating switching of the display device to the image display device 20 to the server device 30 in S31. The server device 30 transmits the control signal to the terminal device 10 in S32. The terminal device 10 that has received the control signal transmits a confirmation signal to the server device 30 in S33, and the server device 30 transmits this confirmation signal to the image display device 20 in S34. When the terminal device 10 transmits the confirmation signal to the server device 30 in S33, the terminal device 10 updates the display control information so that it cannot be displayed. Further, when the character is displayed on the display 105, the display of the character on the display 105 is stopped. Upon receiving the confirmation signal in S44, the image display device 20 updates the display control information to be displayable in S37 and displays the character on the display. In addition, when the server device 30 transmits the confirmation signal in S44, the display device information is updated to the image display device 20 in S46.

なお、図７の処理において、例えば、端末装置１０の電源がＯＮではないと確認信号が送信されず、よって、画像表示装置２０にキャラタを表示することができない。このため、図７の処理において、サーバ装置３０は、端末装置１０から確認信号を受信しない場合であっても、Ｓ３４で、確認信号を画像表示装置２０に送信する構成とすることができる。また、端末装置１０に電源を投入したときや、端末装置１０においてキャラクタを表示するアプリケーションを起動したときには、端末装置１０がサーバ装置３０に自装置が表示デバイスであるかを問い合わせる様に端末装置１０を構成する。そして問い合わせ結果に応じて端末装置１０は、表示制御情報を更新する様に端末装置１０を構成する。この構成により、端末装置１０と画像表示装置２０が同時にキャラクタをディスプレイに表示することを防ぐことができる。 In the processing of FIG. 7, for example, the confirmation signal is not transmitted unless the power of the terminal device 10 is turned on, and thus the character display cannot be displayed on the image display device 20. Therefore, in the process of FIG. 7, the server device 30 can be configured to transmit the confirmation signal to the image display device 20 in S34 even if the confirmation signal is not received from the terminal device 10. In addition, when the terminal device 10 is turned on or when an application for displaying a character is started on the terminal device 10, the terminal device 10 asks the server device 30 whether the device is a display device. Make up. Then, the terminal device 10 configures the terminal device 10 to update the display control information according to the inquiry result. With this configuration, it is possible to prevent the terminal device 10 and the image display device 20 from simultaneously displaying characters on the display.

なお、上記説明において画像表示装置２０は１つであった。しかしながら、複数の画像表示装置２０をユーザ宅内に設けることもできる。以下では、複数の画像表示装置２０をユーザ宅内に設けた場合について説明する。複数の画像表示装置２０が設けられている場合であっても、サーバ装置３０は、複数の画像表示装置２０と端末装置１０のいずれか１つを表示デバイスとして管理する。また、端末装置１０及びサーバ装置３０には、複数の画像表示装置２０それぞれについて、３次元空間における設置位置を示す位置情報が格納される。なお、サーバ装置３０と画像表示装置２０を１つの装置とする場合において、複数の画像表示装置２０を設ける場合、そのうちの１つの画像表示装置２０のみがサーバ装置３０を有するものとする。 In the above description, there is one image display device 20. However, it is also possible to provide a plurality of image display devices 20 in the user's house. Below, the case where a plurality of image display devices 20 are provided in the user's house will be described. Even when the plurality of image display devices 20 are provided, the server device 30 manages any one of the plurality of image display devices 20 and the terminal device 10 as a display device. In addition, the terminal device 10 and the server device 30 store position information indicating the installation position in the three-dimensional space for each of the plurality of image display devices 20. When the server device 30 and the image display device 20 are combined into one device, and when a plurality of image display devices 20 are provided, only one of the image display devices 20 has the server device 30.

例えば、ユーザが帰宅し、端末装置１０のディスプレイにキャラクタを表示しているときに、撮像画像に複数の画像表示装置２０の１つの画像表示装置２０を含めると、当該画像表示装置２０が表示デバイスになる。なお、この場合には、複数の画像表示装置２０から端末装置１０がディスプレイ１０５に表示した画像表示装置２０を特定するために、端末装置１０は、図５のＳ２２において、ディスプレイ１０５に表示した画像表示装置２０の位置情報を含める。そして、図５のＳ２３において、サーバ装置３０は、端末装置１０からの制御信号に含まれる位置情報に対応する画像表示装置２０にのみ制御信号を送信する。なお、端末装置１０に、各画像表示装置２０の位置情報と識別子を関連付けて保存しておき、端末装置１０は、図５のＳ２２において、ディスプレイに表示した画像表示装置２０の識別子を含める構成とすることもできる。この場合、サーバ装置３０は、複数の画像表示装置２０それぞれの識別子のみを保持し、図５のＳ２３においては、端末装置１０からの制御信号に含まれる識別子に対応する画像表示装置２０にのみ制御信号を送信する。なお、端末装置１０のディスプレイに２つ以上の画像表示装置２０が表示された場合には、端末装置１０は、端末装置１０との距離が最も近い画像表示装置２０を選択して、選択した画像表示装置２０の位置情報又は識別子をＳ２２で送信する制御信号に含める。或いは、ディスプレイ１０５に表示しているキャラクタの３次元空間における配置位置に最も近い画像表示装置２０を選択する構成とすることもできる。この様に、画像表示装置２０が複数あると、端末装置１０は、図５のＳ２２で送信する制御信号には、表示デバイスとする画像表示装置２０を特定する情報を含める。 For example, when the user returns home and displays a character on the display of the terminal device 10, if one image display device 20 of the plurality of image display devices 20 is included in the captured image, the image display device 20 is a display device. become. In this case, in order to identify the image display device 20 displayed on the display 105 by the terminal device 10 from the plurality of image display devices 20, the terminal device 10 displays the image displayed on the display 105 in S22 of FIG. The position information of the display device 20 is included. Then, in S23 of FIG. 5, the server device 30 transmits the control signal only to the image display device 20 corresponding to the position information included in the control signal from the terminal device 10. The terminal device 10 stores the position information and the identifier of each image display device 20 in association with each other, and the terminal device 10 includes the identifier of the image display device 20 displayed on the display in S22 of FIG. You can also do it. In this case, the server device 30 holds only the identifier of each of the plurality of image display devices 20, and in S23 of FIG. 5, controls only the image display device 20 corresponding to the identifier included in the control signal from the terminal device 10. Send a signal. In addition, when two or more image display devices 20 are displayed on the display of the terminal device 10, the terminal device 10 selects the image display device 20 closest to the terminal device 10 and selects the selected image. The position information or the identifier of the display device 20 is included in the control signal transmitted in S22. Alternatively, the image display device 20 closest to the arrangement position of the character displayed on the display 105 in the three-dimensional space may be selected. As described above, when there are a plurality of image display devices 20, the terminal device 10 includes the information specifying the image display device 20 as a display device in the control signal transmitted in S22 of FIG.

また、端末装置１０に対するユーザ操作・動作や、端末装置１０がＬＡＮ４０経由でサーバ装置３０と所定期間に渡り通信できることを検出したことにより、表示デバイスを画像表示装置２０に切り替える場合には、サーバ装置３０が表示デバイスとする画像表示装置２０を選択する。したがって、この場合、端末装置１０がＳ２２で送信する制御信号は、端末装置１０が表示デバイスではなくなることを示すのみであり、表示デバイスとなるべき画像表示装置２０は制御信号により特定されない。なお、サーバ装置３０が表示デバイスとして選択する画像表示装置２０は、予めサーバ装置３０に設定しておくことができる。また、画像表示装置２０に人感センサを設け、画像表示装置２０は、この人感センサによる検出結果をサーバ装置３０に通知する様にしておき、サーバ装置３０は、人を検出している画像表示装置２０から任意、或いは、予め設定された優先度に従い、１つの画像表示装置２０を表示デバイスとして選択することができる。なお、図７に示す様に、画像表示装置２０を操作することで表示デバイスを端末装置１０から画像表示装置２０に切り替える場合には、操作された画像表示装置２０が表示デバイスとなる。 In addition, when the display device is switched to the image display device 20 due to a user operation/operation for the terminal device 10 or detection that the terminal device 10 can communicate with the server device 30 via the LAN 40 for a predetermined period, the server device The image display device 20 is selected as the display device 30. Therefore, in this case, the control signal transmitted by the terminal device 10 in S22 only indicates that the terminal device 10 is not the display device, and the image display device 20 to be the display device is not specified by the control signal. The image display device 20 selected by the server device 30 as a display device can be set in the server device 30 in advance. Further, the image display device 20 is provided with a human sensor, and the image display device 20 is configured to notify the server device 30 of the detection result by the human sensor, and the server device 30 detects an image of a person. One image display device 20 can be selected as a display device from the display device 20 arbitrarily or according to a preset priority. As shown in FIG. 7, when the display device is switched from the terminal device 10 to the image display device 20 by operating the image display device 20, the operated image display device 20 becomes the display device.

図８は、端末装置１０の概略的な構成図である。端末装置１０は、例えば、スマートフォンといった携帯型の通信装置である。スピーカ１０１は、制御部１００から出力する音声信号を音声に変換する。マイク１０２は、音声を音声信号に変換して制御部１００に出力する。撮像部１０３は、レンズ及びＣＣＤセンサを有し画像情報を取得して制御部１００に出力する。ＧＰＳ処理部１０４は、ＧＰＳ衛星からの信号を受信し、受信した信号に基づき、緯度、経度、高度を含む位置情報を制御部１００に出力する。なお、ＧＰＳ衛星ではなく、準天頂衛星の様な、他の測位システムの衛星からの信号に基づき位置情報を出力する構成であっても良い。ディスプレイ１０５は、本実施形態では、タッチセンシティブディスプレイであり、ユーザへの情報の提示に加え、ユーザ操作の入力部としても機能する。なお、ディスプレイがタッチセンシティブディスプレイではない場合、別に、入力部を設ける。深さセンサ１０６は、オブジェクトまでの距離（深さ）を測定して測定結果を深さ情報として制御部１００に出力する。通信部１０７は、移動通信網や無線ＬＡＮ等を介した通信処理を行う。地磁気センサ１０８は、地磁気を検出して端末の基準方向の現在の方位を示す方位情報を制御部１００に出力する。加速度センサ１０９は、加速度を検出して加速度情報を制御部１００に出力する。ジャイロセンサ１１０は、角速度を検出して角速度情報を制御部１００に出力する。 FIG. 8 is a schematic configuration diagram of the terminal device 10. The terminal device 10 is, for example, a portable communication device such as a smartphone. The speaker 101 converts the audio signal output from the control unit 100 into audio. The microphone 102 converts voice into a voice signal and outputs the voice signal to the control unit 100. The imaging unit 103 has a lens and a CCD sensor, acquires image information, and outputs it to the control unit 100. The GPS processing unit 104 receives signals from GPS satellites and outputs position information including latitude, longitude, and altitude to the control unit 100 based on the received signals. Note that the position information may be output based on a signal from a satellite of another positioning system such as a quasi-zenith satellite instead of the GPS satellite. The display 105 is a touch-sensitive display in the present embodiment, and in addition to presenting information to the user, it also functions as an input unit for user operation. If the display is not a touch sensitive display, an input unit is provided separately. The depth sensor 106 measures the distance (depth) to the object and outputs the measurement result as depth information to the control unit 100. The communication unit 107 performs communication processing via a mobile communication network, a wireless LAN, or the like. The geomagnetic sensor 108 detects geomagnetism and outputs azimuth information indicating the current azimuth of the reference direction of the terminal to the control unit 100. The acceleration sensor 109 detects acceleration and outputs acceleration information to the control unit 100. The gyro sensor 110 detects the angular velocity and outputs the angular velocity information to the control unit 100.

制御部１００は、端末装置全体の制御部であり、１つ以上のプロセッサとメモリ部と、を備えている。なお、メモリ部は、プロセッサが一時的なデータの保存用として使用するＲＡＭや、プロセッサが実行するオペレーティングシステム及びアプリケーションと、電源断となっても保持すべきデータとが格納されるフラッシュメモリを有する。 The control unit 100 is a control unit for the entire terminal device and includes one or more processors and a memory unit. The memory unit includes a RAM used by the processor for temporarily storing data, an operating system and applications executed by the processor, and a flash memory for storing data that should be retained even when the power is cut off. ..

図９は、本実施形態による制御部１００の機能ブロック図である。場所記述情報生成部１００１は、場所記述情報を生成して保存する。場所記述情報とは、例えば、非特許文献１に記載されている様に、撮像部１０３が撮像している撮像画像を示す画像情報から生成され、端末装置１０の３次元空間位置及び方向を判定するための情報である。情報保持部１００３は、ディスプレイ１０５に表示するキャラクタの３次元モデルデータと、当該キャラクタの動作を規定するモーションデータと、を含んでいる。 FIG. 9 is a functional block diagram of the control unit 100 according to this embodiment. The place description information generation unit 1001 generates and stores place description information. The location description information is generated from image information indicating a captured image captured by the image capturing unit 103, for example, as described in Non-Patent Document 1, and determines the three-dimensional spatial position and direction of the terminal device 10. This is information for doing. The information holding unit 1003 includes three-dimensional model data of the character displayed on the display 105 and motion data that defines the motion of the character.

画像認識部１００４は、画像表示装置２０の３次元空間における設置位置を示す位置情報を保持し、撮像画像と場所記述情報とに基づき、撮像画像に画像表示装置２０が含まれているか否かを判定する。また、撮像画像に画像表示装置２０が含まれていると、表示処理部１００２にその旨を通知する。なお、撮像画像に複数の画像表示装置２０が含まれていると、例えば、最も近い画像表示装置２０の位置情報を表示処理部１００２に通知する。また、判定部１００５は、表示デバイスを端末装置１０又は画像表示装置２０に切り替えるユーザ操作や所定の音声を検出すると、表示処理部１００２にその旨を通知する。通信処理部１００６は、通信部１０７を介してサーバ装置３０との通信処理を行う。なお、通信処理部１００６は、ＬＡＮ４０経由でサーバ装置３０と通信できないことや、所定期間に渡り通信できることを検出して、検出結果を表示処理部１００２に通知する。 The image recognition unit 1004 holds position information indicating the installation position of the image display device 20 in the three-dimensional space, and determines whether the image display device 20 is included in the captured image based on the captured image and the place description information. judge. Further, when the captured image includes the image display device 20, the display processing unit 1002 is notified of that fact. When the captured image includes a plurality of image display devices 20, the display processing unit 1002 is notified of the positional information of the closest image display device 20, for example. Further, when the determination unit 1005 detects a user operation for switching the display device to the terminal device 10 or the image display device 20 or a predetermined sound, the determination unit 1005 notifies the display processing unit 1002 to that effect. The communication processing unit 1006 performs communication processing with the server device 30 via the communication unit 107. The communication processing unit 1006 detects that the server device 30 cannot communicate with the server device 30 via the LAN 40 or that communication is possible for a predetermined period, and notifies the display processing unit 1002 of the detection result.

表示処理部１００２は、表示制御情報を管理している。表示制御情報が、自装置が表示デバイスであることを示していると、表示処理部１００２は、撮像画像にキャラクタを表示してディスプレイ１０５に表示する制御を行うことができる。一方、表示制御情報が、自装置が表示デバイスではないと示していると、表示処理部１００２は、キャラクタをディスプレイ１０５に表示する制御を行わない。表示処理部１００２は、自装置が表示デバイスであり、撮像画像にキャラクタを重畳させてディスプレイ１０５に表示しているときに、画像認識部１００４から、撮像画像に画像表示装置２０が含まれているとの通知を受けると、図５のＳ２１の処理を開始する。そして、ディスプレイ１０５に表示しているキャラクタと画像表示装置２０との距離が所定値以内になると、通信処理部１００６にその旨を通知してＳ２２の処理を開始させる。通信処理部１００６は、Ｓ２４で確認信号を受信すると、表示処理部１００２に確認信号の受信を通知する。表示処理部１０２は、確認信号の受信の通知を受けると、キャラクタの表示を停止し、表示制御情報を更新する。 The display processing unit 1002 manages display control information. When the display control information indicates that the device itself is a display device, the display processing unit 1002 can perform control to display a character on the captured image and display the character on the display 105. On the other hand, if the display control information indicates that the device itself is not the display device, the display processing unit 1002 does not perform control to display the character on the display 105. The display processing unit 1002 includes the image display device 20 in the captured image from the image recognition unit 1004 when the device itself is a display device and a character is superimposed on the captured image and displayed on the display 105. Upon receiving the notification, the process of S21 of FIG. 5 is started. When the distance between the character displayed on the display 105 and the image display device 20 is within a predetermined value, the communication processing unit 1006 is notified of that fact and the process of S22 is started. Upon receiving the confirmation signal in S24, the communication processing unit 1006 notifies the display processing unit 1002 that the confirmation signal has been received. Upon receiving the notification of the reception of the confirmation signal, the display processing unit 102 stops displaying the character and updates the display control information.

同様に、表示処理部１０２は、自装置が表示デバイスであるときに、判定部１００５から、表示デバイスを画像表示装置２０に切り替えるユーザ操作や所定の音声を検出したとの通知を受けると、通信処理部１００６にその旨を通知し、制御信号をサーバ装置３０に送信させる。そして、表示処理部１０２は、通信処理部１００６から確認信号の受信の通知を受けると表示制御情報を更新する。また、表示処理部１０２は、自装置が表示デバイスではなく、かつ、通信処理部１００６からＬＡＮ４０経由でサーバ装置３０と通信できないとの通知を受けている際に、判定部１００５から、表示デバイスを端末装置１０に切り替えるユーザ操作や所定の音声を検出したとの通知を受けると、通信処理部１００６にその旨を通知し、制御信号をサーバ装置３０に送信させる。そして、表示処理部１０２は、通信処理部１００６から確認信号の受信の通知を受けると自装置を表示デバイスとして表示制御情報を更新する。さらに、表示処理部１００２は、通信処理部１００６から制御信号を受信したことの通知を受けると、当該制御信号に示された切替後の表示デバイスの内容に応じて、表示制御情報を更新する。 Similarly, when the display processing unit 102 receives a notification from the determination unit 1005 that a user operation for switching the display device to the image display device 20 or a predetermined sound is detected when the device itself is a display device, the display processing unit 102 performs communication. The processing unit 1006 is notified of that fact, and the control signal is transmitted to the server device 30. Then, the display processing unit 102 updates the display control information when receiving the notification of the reception of the confirmation signal from the communication processing unit 1006. Further, when the display processing unit 102 receives a notification from the communication processing unit 1006 that it cannot communicate with the server device 30 via the LAN 40, the display processing unit 102 selects the display device from the determination unit 1005. Upon receiving a user operation to switch to the terminal device 10 or a notification that a predetermined sound has been detected, the communication processing unit 1006 is notified and a control signal is transmitted to the server device 30. Then, when the display processing unit 102 receives the notification of the reception of the confirmation signal from the communication processing unit 1006, the display processing unit 102 updates the display control information by using the own device as a display device. Further, when the display processing unit 1002 receives the notification that the control signal has been received from the communication processing unit 1006, the display processing unit 1002 updates the display control information according to the content of the display device after switching indicated by the control signal.

図１０は、画像表示装置２０の構成図である。情報保持部２０１は、ディスプレイ２０３に表示するキャラクタの３次元モデルデータと、当該キャラクタの動作を規定するモーションデータと、を含んでいる。通信部２０４は、ＬＡＮ４０を介する通信処理を行う。処理部２０２は、表示制御情報を管理し、表示制御情報に従いキャラクタをディスプレイ２０３に表示する。また、処理部２０２は、上述したシーケンスに従う処理を行う。 FIG. 10 is a configuration diagram of the image display device 20. The information storage unit 201 includes three-dimensional model data of the character displayed on the display 203 and motion data that defines the motion of the character. The communication unit 204 performs communication processing via the LAN 40. The processing unit 202 manages the display control information and displays the character on the display 203 according to the display control information. In addition, the processing unit 202 performs processing according to the above-described sequence.

図１１は、サーバ装置３０の構成図である。情報保持部２０１は、表示デバイス情報を保持している。第１通信部３０３はＬＡＮ４０を介する通信処理を行い、第２通信部３０４は、インターネットを介する通信処理を行う。処理部３０２は、上述したシーケンスに従う処理を行う。 FIG. 11 is a configuration diagram of the server device 30. The information holding unit 201 holds display device information. The first communication unit 303 performs communication processing via the LAN 40, and the second communication unit 304 performs communication processing via the Internet. The processing unit 302 performs processing according to the above-described sequence.

なお、本発明は、プログラムにより実現することができる。当該プログラムは、１つ以上のプロセッサを有する端末装置の、当該１つ以上のプロセッサで実行可能なものであり、当該１つ以上のプロセッサは当該プログラムを実行すると、当該端末装置を上記端末装置として動作させる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。 The present invention can be realized by a program. The program is executable by the one or more processors of a terminal device having one or more processors, and when the one or more processors execute the program, the terminal device becomes the terminal device. To operate. These computer programs can be stored in a computer-readable storage medium or can be distributed via a network.

１０５：ディスプレイ、１０３：撮像部、１００１：場所記述情報生成部、１００３：情報保持部、１００２：表示処理部、１００４：画像認識部、１００６：通信処理部 105: display, 103: imaging unit, 1001: place description information generation unit, 1003: information holding unit, 1002: display processing unit, 1004: image recognition unit, 1006: communication processing unit

Claims

A terminal device,
Display,
Imaging means,
Holding means for holding virtual object information indicating a virtual object,
The terminal holds the display control information indicating whether the terminal device is a display device for the virtual object, and the virtual object when the display control information indicates that the terminal device is a display device for the virtual object. When the display control information indicates that the terminal device is not the display device of the virtual object, the virtual image can be displayed on the display by superimposing on the image captured by the image capturing unit. A processing unit that does not perform processing of displaying an object by superimposing it on the captured image;
Is equipped with
When the processing unit detects a display device capable of displaying the virtual object in the captured image while displaying the virtual object on the display by superimposing the virtual object on the captured image, a display device for the virtual object is displayed. A terminal device, wherein a first control signal for switching from the terminal device to the display device is transmitted to a server device managing a display device of the virtual object.

The holding means stores location description information capable of obtaining the position and direction of the three-dimensional space of the imaging means from the feature points of the captured image, and position information indicating the installation position of the display device in the three-dimensional space. Holding,
The terminal device,
The image forming device further includes a determining unit that determines a position and a direction of the image capturing unit in the three-dimensional space based on the place description information and the captured image.
The said processing means detects the said display apparatus in the said captured image based on the position and direction in the said three-dimensional space of the said imaging means which the said determination means determined, and the said positional information. Terminal equipment.

The processing means outputs the first control signal when the distance between the arrangement position of the virtual object displayed on the display in the three-dimensional space and the installation position of the display device in the three-dimensional space is within a threshold value. It transmits to the said server apparatus, The terminal device of Claim 2 characterized by the above-mentioned.

The processing means, before transmitting the first control signal, moves the virtual object superimposed on the captured image and displayed on the display in a direction of the display device included in the captured image. The terminal device according to claim 2, wherein the virtual object is displayed on the display as described above.

When the processing means detects a plurality of the display devices in the captured image while the virtual object is displayed on the display by superimposing the virtual object on the captured image, the three-dimensional space of each of the plurality of display devices is detected. On the basis of the distance between the installation position of the image pickup device and the position of the image pickup means in the three-dimensional space, and information for specifying the selected display device is included in the first control signal. The terminal device according to any one of claims 2 to 4.

The processing means stops the display of the virtual object on the display after transmitting the first control signal to the server device or after receiving a response of the first control signal from the server device, The terminal device according to any one of claims 1 to 5, wherein the display control information is updated so as to indicate that the terminal device is not a display device.

When the processing means detects a predetermined first operation or a predetermined first sound with respect to the terminal device when the display control information indicates that the terminal device is a display device of the virtual object. The terminal device according to any one of claims 1 to 6, wherein the terminal device transmits a second control signal indicating that the terminal device is no longer a display device of the virtual object to the server device.

The terminal device according to claim 7, wherein the first operation includes an ending operation of an application that superimposes the virtual object on the captured image and displays the superimposed image on the display.

The terminal device is configured to be able to communicate with the server device via a local area network,
When the display control information indicates that the terminal device is a display device of the virtual object, the processing means is in a state in which communication with the server device via the local area network continues for a predetermined period. And a second control signal indicating that the terminal device is no longer a display device for the virtual object, to the server device. 7. The terminal device according to claim 1, wherein

The processing means may indicate that the terminal device is not a display device after transmitting the second control signal to the server device or after receiving a response to the second control signal from the server device. The terminal device according to any one of claims 7 to 9, wherein the display control information is updated.

The processing means, when the display control information indicates that the terminal device is a display device of the virtual object, notifies the server device to switch the display device of the virtual object to the display device. The terminal device according to any one of claims 1 to 10, wherein upon reception, the display control information is updated so as to indicate that the terminal device is not a display device.

When the power of the terminal device is turned on, or when an application that superimposes the virtual object on the captured image and displays the display on the display is activated, the processing unit causes the server device to display the virtual image of the terminal device. The terminal device according to claim 1, wherein the terminal device inquires whether or not the display device is an object.

The terminal device is configured to be able to communicate with the server device via either a local area network or a mobile communication network,
When the display control information indicates that the terminal device is not a display device for the virtual object and communication via the local area network is not possible, the processing means sets a predetermined second value for the terminal device. When a manipulation or a predetermined second sound is detected, a third control signal for causing the terminal device to be a display device of the virtual object is transmitted to the server device via the mobile communication network. The terminal device according to any one of claims 1 to 12.

When the display control information indicates that the terminal device is not a display device for the virtual object, the processing unit notifies the server device to switch the display device for the virtual object to the terminal device. The terminal device according to any one of claims 1 to 13, wherein upon reception, the display control information is updated to indicate that the terminal device is a display device.

A program executable by one or more processors of a terminal device,
A program which, when executed by the one or more processors, causes the terminal device to function as the terminal device according to any one of claims 1 to 14.

A system including a terminal device and a display device,
The terminal device,
The first display,
Imaging means,
First holding means for holding virtual object information indicating a virtual object,
When the display device is detected in the captured image while the virtual object is displayed on the first display while being superimposed on the captured image captured by the image capturing unit, a control signal is directly transmitted or another device is activated. Processing means for transmitting the control signal to the display device through the display device and stopping the display of the virtual object on the first display,
Have
The display device,
A second display,
Second holding means for holding the virtual object information indicating the virtual object;
Second processing means for performing a process of displaying the virtual object on the second display when the control signal is received,
A system having: