JP2021018480A - Image display apparatus, image display system, and image display method - Google Patents

Image display apparatus, image display system, and image display method Download PDF

Info

Publication number
JP2021018480A
JP2021018480A JP2019132082A JP2019132082A JP2021018480A JP 2021018480 A JP2021018480 A JP 2021018480A JP 2019132082 A JP2019132082 A JP 2019132082A JP 2019132082 A JP2019132082 A JP 2019132082A JP 2021018480 A JP2021018480 A JP 2021018480A
Authority
JP
Japan
Prior art keywords
display
display unit
information
image
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019132082A
Other languages
Japanese (ja)
Inventor
浩之 坂口
Hiroyuki Sakaguchi
浩之 坂口
智宏 塚本
Tomohiro Tsukamoto
智宏 塚本
夢 ▲柳▼田
夢 ▲柳▼田
Yume Yanagida
敬一郎 新井
Keiichiro Arai
敬一郎 新井
由樹 達富
Yoshiki Tatsutomi
由樹 達富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019132082A priority Critical patent/JP2021018480A/en
Priority to CN202010642901.6A priority patent/CN112241237A/en
Publication of JP2021018480A publication Critical patent/JP2021018480A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

To move an object image between displays without giving a user any discomfort.SOLUTION: The present invention is directed to a server apparatus 30 for displaying an object image linked with a user identification ID on either of a display 11 provided in a portable terminal 10 which the user have with him and a display 21 provided in a display device 20. The server apparatus has an information acquiring unit 321 for acquiring relative positional information of the portable terminal 10 with respect to the display device 20 and a posture information of the portable terminal 10 and operation information including input audio information, an operation determining unit 322 for determining, based on the acquired information, whether or not the portable terminal 10 is within a predetermined range from the display device 20 and whether or not a predetermined operation for the portable terminal 10 is carried out, and a display control unit 323 for, if it is determined that the predetermined operation is carried out, controlling the displays 11, 21 to display the object image so that the object image displayed on the display device 20 should be moved from the display 21 to the display 11.SELECTED DRAWING: Figure 4

Description

本発明は、複数の表示部間で画像表示を切り換える画像表示装置、画像表示システムおよび画像表示方法に関する。 The present invention relates to an image display device, an image display system, and an image display method for switching image display between a plurality of display units.

この種の装置として、従来、携帯端末のディスプレイと移動ロボットのディスプレイとのいずれか一方に特定のキャラクタ画像を表示させるようにした装置が知られている（例えば特許文献１参照）。特許文献１記載の装置では、ユーザが命令を入力する命令モードで、携帯端末のディスプレイにキャラクタ画像を表示させ、ユーザを道案内する誘導モードで、ユーザの近くにいるロボットのディスプレイにキャラクタ画像を表示させる。 As a device of this type, conventionally, a device in which a specific character image is displayed on either a display of a mobile terminal or a display of a mobile robot is known (see, for example, Patent Document 1). In the device described in Patent Document 1, the character image is displayed on the display of the mobile terminal in the command mode in which the user inputs a command, and the character image is displayed on the display of the robot near the user in the guidance mode for guiding the user. Display it.

特開２０００−９９８７１号公報Japanese Unexamined Patent Publication No. 2000-99871

しかしながら、上記特許文献１記載の装置では、ユーザによって選択されるモードが誘導モードから命令モードに変わるとロボットのディスプレイから携帯端末のディスプレイへとキャラクタ画像が移動されるため、キャラクタ画像が移動するときにユーザによるモード選択操作が必要となり、キャラクタ画像に対する移動指令として違和感がある。 However, in the device described in Patent Document 1, when the mode selected by the user changes from the guidance mode to the instruction mode, the character image is moved from the display of the robot to the display of the mobile terminal, so that when the character image moves. It is necessary for the user to perform a mode selection operation, which gives a sense of discomfort as a movement command for the character image.

本発明の一態様は、ユーザが携帯する第１機器に設けられる第１表示部と、第２機器に設けられる第２表示部とのいずれかに、ユーザの識別ＩＤに紐付けられたオブジェクト画像を表示させる画像表示装置である。画像表示装置は、第２機器に対する第１機器の相対位置情報と、第１機器の姿勢情報および第１機器に入力される音声情報の少なくとも一方を含む第１機器の操作情報と、を取得する情報取得部と、情報取得部により取得された第２機器に対する第１機器の相対位置情報と第１機器の操作情報とに基づいて、第１機器が第２機器を基準とする所定範囲内にあり、かつ、第１機器に対する姿勢変化および音声入力の少なくとも一方の操作である所定操作が行われたか否かを判定する操作判定部と、操作判定部により所定操作が行われたと判定されると、第２表示部に表示されたオブジェクト画像が第２表示部から第１表示部に移動して表示されるように第１表示部および第２表示部を制御する表示制御部と、を備える。 One aspect of the present invention is an object image associated with a user's identification ID on either the first display unit provided on the first device carried by the user or the second display unit provided on the second device. It is an image display device for displaying. The image display device acquires the relative position information of the first device with respect to the second device, the posture information of the first device, and the operation information of the first device including at least one of the voice information input to the first device. Based on the information acquisition unit, the relative position information of the first device with respect to the second device acquired by the information acquisition unit, and the operation information of the first device, the first device is within a predetermined range with respect to the second device. If there is, and it is determined by the operation determination unit that determines whether or not a predetermined operation that is at least one of the posture change and the voice input for the first device has been performed, and the operation determination unit that the predetermined operation has been performed. , A display control unit that controls the first display unit and the second display unit so that the object image displayed on the second display unit is moved from the second display unit to the first display unit and displayed.

本発明の他の態様は、画像表示装置と、第１表示部を有し、ユーザが携帯する第１機器と、第２表示部を有する第２機器と、を備える画像表示システムである。第１機器および第２機器は、絶対位置を検出するＧＰＳセンサ、第１機器と第２機器と間の距離を検出する測距センサ、または、第１機器と第２機器との間で電波を送受信する送受信部をさらに有する。第１機器は、姿勢検出センサおよび音声検出センサの少なくとも一方をさらに有する。 Another aspect of the present invention is an image display system including an image display device, a first device having a first display unit and carried by a user, and a second device having a second display unit. The first device and the second device are a GPS sensor that detects an absolute position, a distance measuring sensor that detects the distance between the first device and the second device, or a radio wave between the first device and the second device. It further has a transmission / reception unit for transmission / reception. The first device further includes at least one of a posture detection sensor and a voice detection sensor.

本発明のさらに他の態様は、ユーザが携帯する第１機器に設けられる第１表示部と、第２機器に設けられる第２表示部とのいずれかに、ユーザの識別ＩＤに紐付けられたオブジェクト画像を表示させる画像表示方法である。画像表示方法は、コンピュータによりそれぞれ実行される、第２機器に対する第１機器の相対位置情報と、第１機器の姿勢情報および第１機器に入力される音声情報の少なくとも一方を含む第１機器の操作情報と、を取得する情報取得ステップと、情報取得ステップで取得された第２機器に対する第１機器の相対位置情報と第１機器の操作情報とに基づいて、第１機器が第２機器を基準とする所定範囲内にあり、かつ、第１機器に対する姿勢変化および音声入力の少なくとも一方の操作である所定操作が行われたか否かを判定する操作判定ステップと、操作判定ステップで所定操作が行われたと判定されると、第２表示部に表示されたオブジェクト画像が第２表示部から第１表示部に移動して表示されるように第１表示部および第２表示部を制御する表示制御ステップと、を含む。 In still another aspect of the present invention, the user's identification ID is associated with either the first display unit provided on the first device carried by the user or the second display unit provided on the second device. This is an image display method for displaying an object image. The image display method of the first device includes at least one of the relative position information of the first device with respect to the second device, the posture information of the first device, and the audio information input to the first device, which are executed by the computer. The first device sets the second device based on the operation information, the information acquisition step for acquiring the information, the relative position information of the first device with respect to the second device acquired in the information acquisition step, and the operation information of the first device. An operation determination step for determining whether or not a predetermined operation is performed, which is within a predetermined range as a reference and is at least one operation of a posture change and a voice input to the first device, and a predetermined operation in the operation determination step are performed. A display that controls the first display unit and the second display unit so that the object image displayed on the second display unit moves from the second display unit to the first display unit and is displayed when it is determined that the image has been performed. Includes control steps and.

本発明によれば、第１機器の第１表示部と第２機器の第２表示部との間で、ユーザにとって違和感なくオブジェクト画像を移動させることができる。 According to the present invention, the object image can be moved between the first display unit of the first device and the second display unit of the second device without any discomfort for the user.

各ユーザ専属のＡＩエージェントを表すオブジェクト画像の一例を示す図。The figure which shows an example of the object image which shows the AI agent exclusive to each user. ユーザの操作が緩慢な場合のオブジェクト画像の一例を示す図。The figure which shows an example of the object image when the operation of a user is slow. ユーザの操作が機敏な場合のオブジェクト画像の一例を示す図。The figure which shows an example of the object image at the time of agile operation of a user. 本発明の実施形態に係る画像表示装置を有する画像表示システムの全体構成を概略的に示す図。The figure which shows schematic the whole structure of the image display system which has the image display device which concerns on embodiment of this invention. 図１Ａ〜図１Ｃの画像表示システムが適用される車両の内部の構成を示す斜視図。FIG. 3 is a perspective view showing an internal configuration of a vehicle to which the image display system of FIGS. 1A to 1C is applied. 本発明の実施形態に係る画像表示システムの要部構成を示すブロック図。The block diagram which shows the main part structure of the image display system which concerns on embodiment of this invention. 図４の操作判定部により判定される所定操作の一例を概略的に示す斜視図。FIG. 3 is a perspective view schematically showing an example of a predetermined operation determined by the operation determination unit of FIG. 図５Ａに続く、所定操作の一例を概略的に示す斜視図。FIG. 5A is a perspective view schematically showing an example of a predetermined operation following FIG. 5A. ディスプレイ間を移動するオブジェクト画像の表示態様の一例を示す図。The figure which shows an example of the display mode of the object image moving between displays. 図６Ａの変形例を示す図。The figure which shows the modification of FIG. 6A. 図６Ａの別の変形例を示す図。The figure which shows another modification of FIG. 6A. 本発明の実施形態に係る画像表示装置による処理の一例を示すフローチャート。The flowchart which shows an example of the processing by the image display apparatus which concerns on embodiment of this invention.

以下、図１Ａ〜図７を参照して本発明の一実施形態について説明する。本発明の実施形態に係る画像表示装置は、それぞれ表示部（ディスプレイ）を有する互いに独立した複数の機器に適用することができるが、以下では、ユーザが携帯する携帯端末と車両に搭載された表示機器とに適用する例を説明する。 Hereinafter, an embodiment of the present invention will be described with reference to FIGS. 1A to 7. The image display device according to the embodiment of the present invention can be applied to a plurality of independent devices each having a display unit (display), but in the following, a display mounted on a mobile terminal carried by a user and a vehicle. An example of applying to a device will be described.

近年、車両やロボット等の各種機器のシェアリングサービスが普及している。このようなシェアリングサービスではユーザが個人で所有しない機器を利用するため、ユーザが個人で所有する機器を利用する場合と比べて、機器に対するユーザの信頼や愛着が低下する懸念がある。その結果、機器を利用するときのユーザの満足度が低下する、あるいは、ユーザによる機器の取り扱いが粗雑になる等のおそれがある。 In recent years, sharing services for various devices such as vehicles and robots have become widespread. Since such a sharing service uses a device that the user does not own, there is a concern that the user's trust and attachment to the device may decrease as compared with the case where the user uses the device that the user owns. As a result, the satisfaction level of the user when using the device may decrease, or the handling of the device by the user may become rough.

このような問題を解消するため、本実施形態では、シェアリングサービスの事業者等により、各種機器のディスプレイに表示されてユーザを支援する各ユーザ専属のＡＩエージェントが提供されるように構成される。ここで、エージェントは、事業者等のサーバにおいて予めシェアリングサービスに登録したユーザの識別ＩＤに紐付けて管理され、ユーザが利用する機器のディスプレイ上に各ユーザ固有のオブジェクト画像として表示される。オブジェクト画像は、エージェント画像やアバタ画像、キャラクタ画像等とも称される。 In order to solve such a problem, in the present embodiment, the sharing service provider or the like is configured to provide an AI agent dedicated to each user that is displayed on the display of various devices to support the user. .. Here, the agent is managed in association with the identification ID of the user registered in advance in the sharing service on the server of the business operator or the like, and is displayed as an object image unique to each user on the display of the device used by the user. The object image is also referred to as an agent image, an avatar image, a character image, or the like.

図１Ａ〜図１Ｃは、エージェントを表すオブジェクト画像の一例を示す図であり、ユーザが携帯する携帯端末１０のタッチパネル式のディスプレイ１１に表示されたオブジェクト画像１２を示す。図１Ａの例に示すように、オブジェクト画像１２は、円形の輪郭に感情を表現する目等が配置された画像により構成され、柔らかく弾力がある質感のものとしてディスプレイ１１上で軽く弾むような態様で表示される。このようなオブジェクト画像１２の表示態様は、コントローラ（サーバ装置（具体的には、図４のサーバ装置３０））により制御される。 1A to 1C are diagrams showing an example of an object image representing an agent, showing the object image 12 displayed on the touch panel type display 11 of the mobile terminal 10 carried by the user. As shown in the example of FIG. 1A, the object image 12 is composed of an image in which eyes or the like expressing emotions are arranged on a circular outline, and has a soft and elastic texture that bounces lightly on the display 11. Is displayed. The display mode of such an object image 12 is controlled by a controller (server device (specifically, server device 30 in FIG. 4)).

オブジェクト画像１２の表示態様は、エージェント（オブジェクト画像１２）に対するユーザの接し方に応じて変化するように制御される。例えば、ユーザがタッチパネルを介してディスプレイ１１上に表示されたオブジェクト画像１２に触れるときのタッチ操作の押圧力やフリック操作の速さ、連続的に触れるときのタッチ操作やフリック操作の時間間隔等に応じて変化するように制御される。すなわち、コントローラは、予め設定された標準的な操作の強さや速さ、時間間隔等を基準としてユーザの操作が緩慢であるか機敏であるかを評価し、評価結果に応じてオブジェクト画像１２の表示態様を変更する。 The display mode of the object image 12 is controlled so as to change according to how the user interacts with the agent (object image 12). For example, the pressing force of the touch operation and the speed of the flick operation when the user touches the object image 12 displayed on the display 11 via the touch panel, the time interval of the touch operation and the flick operation when continuously touching, and the like. It is controlled to change accordingly. That is, the controller evaluates whether the user's operation is slow or agile based on the strength, speed, time interval, etc. of the standard operation set in advance, and the object image 12 is evaluated according to the evaluation result. Change the display mode.

具体的には、オブジェクト画像１２に触れるときのユーザの操作が弱い、遅い、あるいは時間間隔が長い場合は、ユーザの操作が緩慢であると評価される。この場合のオブジェクト画像１２は、図１Ｂに示すように、ディスプレイ１１上でゆっくり揺れ動くような緩慢な態様に変更されるとともに、ディスプレイ１１下方に垂れ下がった形状に変化するように表示が制御される。オブジェクト画像１２が動く速度や形状変化の程度は、標準的な操作に対するユーザの操作の緩慢さの程度に応じて変化する。 Specifically, when the user's operation when touching the object image 12 is weak, slow, or the time interval is long, it is evaluated that the user's operation is slow. As shown in FIG. 1B, the object image 12 in this case is changed to a slow mode such that it slowly swings on the display 11, and the display is controlled so as to change to a shape hanging downward from the display 11. The speed at which the object image 12 moves and the degree of shape change vary depending on the degree of slowness of the user's operation with respect to the standard operation.

一方、オブジェクト画像１２に触れるときのユーザの操作が強い、速い、あるいは時間間隔が短い場合は、ユーザの操作が機敏であると評価される。この場合のオブジェクト画像１２は、図１Ｃに示すように、ディスプレイ１１上を素早く飛び回るような機敏な態様に変更されるとともに、移動方向に延びた形状に変化するように表示が制御される。オブジェクト画像１２が動く速度や形状変化の程度は、標準的な操作に対するユーザの操作の機敏さの程度に応じて変化する。 On the other hand, when the user's operation when touching the object image 12 is strong, fast, or the time interval is short, it is evaluated that the user's operation is agile. As shown in FIG. 1C, the object image 12 in this case is changed to an agile mode such as quickly flying around on the display 11, and the display is controlled so as to change to a shape extending in the moving direction. The speed at which the object image 12 moves and the degree of shape change vary depending on the degree of agility of the user's operation with respect to the standard operation.

タッチパネルを介してオブジェクト画像１２に触れるときのユーザの操作に代え、または、それに加え、オブジェクト画像１２として表されるエージェントに対するユーザの音声操作に基づいて、オブジェクト画像１２の表示態様を制御するように構成してもよい。すなわち、ユーザによる音声入力の声量や速度、言葉遣い等によってオブジェクト画像１２の表示態様を制御するように構成してもよい。 Instead of the user's operation when touching the object image 12 via the touch panel, or in addition, the display mode of the object image 12 is controlled based on the user's voice operation on the agent represented as the object image 12. It may be configured. That is, the display mode of the object image 12 may be controlled by the voice volume and speed of the voice input by the user, the wording, and the like.

オブジェクト画像１２の表示態様は、機器の利用状態によっても変化するように制御される。例えば、携帯端末１０に搭載されたカメラやマイク、指紋センサ等を介して、紐付けられたユーザが認識されると、オブジェクト画像１２が嬉しそうな表情に変化するように制御される。また、紐付けられたユーザ以外の者が認識されると、オブジェクト画像１２が怪訝な表情に変化するように制御される。さらに、オブジェクト画像１２の表示態様は、電話の着信やメッセージの受信があるとディスプレイ１１をノックするように制御され、音声操作や電話中のユーザの発言に合わせて頷くように制御される。 The display mode of the object image 12 is controlled so as to change depending on the usage state of the device. For example, when the associated user is recognized via a camera, microphone, fingerprint sensor, or the like mounted on the mobile terminal 10, the object image 12 is controlled to change to a happy facial expression. Further, when a person other than the associated user is recognized, the object image 12 is controlled to change to a suspicious facial expression. Further, the display mode of the object image 12 is controlled so as to knock on the display 11 when there is an incoming call or a message, and is controlled to nod in accordance with a voice operation or a user's remark during the call.

このように生命感を感じさせ、ユーザに寄り添った表示態様のオブジェクト画像１２を、利用中の機器のディスプレイ上に表示するように構成することで、ユーザ専属のエージェントが機器内に実在しているかのような存在感（実在感）をユーザに感じさせることができる。そして、このようなオブジェクト画像１２を介して、利用中の機器に対するユーザの信頼や愛着を高めることができる。 By configuring the object image 12 in a display mode that gives a feeling of life and is close to the user on the display of the device being used, is the user's exclusive agent actually existing in the device? It is possible to make the user feel the presence (existence) like. Then, through such an object image 12, the user's trust and attachment to the device in use can be enhanced.

ところで、このようなオブジェクト画像１２を表示してエージェントを利用する機器を変更する場合は、エージェントの実在感を損なわないよう、単一の機器に単一のオブジェクト画像１２を表示することが好ましい。すなわち、それまで利用していた機器のディスプレイからオブジェクト画像１２の表示を消去するとともに、次に利用する機器のディスプレイにオブジェクト画像１２を表示するように切り換え、オブジェクト画像１２を移動させることが好ましい。 By the way, when displaying such an object image 12 and changing the device that uses the agent, it is preferable to display the single object image 12 on a single device so as not to impair the sense of reality of the agent. That is, it is preferable to erase the display of the object image 12 from the display of the device used up to that point, switch to display the object image 12 on the display of the device to be used next, and move the object image 12.

このとき、オブジェクト画像１２が瞬間的に消去、表示されたり、利用する機器を切り換える操作が煩雑であったりすると、エージェントの実在感が損なわれ、ユーザが違和感を抱く。そこで、本実施形態では、ユーザが違和感を抱くことがない直感的な操作により、複数の機器のディスプレイ間でオブジェクト画像１２を移動させるように構成する。 At this time, if the object image 12 is momentarily erased and displayed, or if the operation of switching the device to be used is complicated, the realism of the agent is impaired and the user feels uncomfortable. Therefore, in the present embodiment, the object image 12 is configured to be moved between the displays of a plurality of devices by an intuitive operation that does not give the user a sense of discomfort.

図２は、本発明の実施形態に係る画像表示装置を有する画像表示システムの全体構成を概略的に示す図である。図２に示すように、画像表示システム１００は、ユーザ１が携帯する携帯端末１０と、車両２に搭載された表示機器２０と、サーバ装置３０とを有する。 FIG. 2 is a diagram schematically showing an overall configuration of an image display system including an image display device according to an embodiment of the present invention. As shown in FIG. 2, the image display system 100 includes a mobile terminal 10 carried by the user 1, a display device 20 mounted on the vehicle 2, and a server device 30.

携帯端末１０、表示機器２０およびサーバ装置３０は、インターネット網や携帯電話網等に代表される公衆無線通信網を含むネットワーク４に接続され、ネットワーク４を介して互いに通信可能である。なお、ネットワーク４には、所定の管理地域ごとに設けられた閉鎖的な通信網、例えば無線ＬＡＮ、Ｗｉ−Ｆｉ（登録商標）等も含まれる。 The mobile terminal 10, the display device 20, and the server device 30 are connected to a network 4 including a public wireless communication network represented by an Internet network, a mobile phone network, and the like, and can communicate with each other via the network 4. The network 4 also includes a closed communication network provided for each predetermined management area, such as a wireless LAN and Wi-Fi (registered trademark).

携帯端末１０は、ユーザ１により携帯して使用されるスマートフォンやタブレット端末、携帯電話、さらにはウェアラブル端末等、表示部としてのディスプレイを有する各種携帯端末により構成される。例えば携帯端末１０は、全体が略矩形状の薄型に構成され、一の面のほぼ全体にわたってディスプレイが設けられる（図１Ａ〜図１Ｃ参照）。携帯端末１０はユーザ固有の端末であり、携帯端末１０には、画像表示システム１００を利用するユーザ１に紐付けられた識別ＩＤ（ユーザＩＤ）が付与される。 The mobile terminal 10 is composed of various mobile terminals having a display as a display unit, such as a smartphone, a tablet terminal, a mobile phone, and a wearable terminal that are carried and used by the user 1. For example, the mobile terminal 10 is formed to be thin with a substantially rectangular shape as a whole, and a display is provided over almost the entire surface of one surface (see FIGS. 1A to 1C). The mobile terminal 10 is a user-specific terminal, and the mobile terminal 10 is given an identification ID (user ID) associated with the user 1 who uses the image display system 100.

表示機器２０は、例えば目的地までの経路誘導を行うナビゲーション機能を有するナビゲーション装置により構成される。図３は、車室内の前部に、運転者に面して配置されるインストルメントパネル５の一部を示す斜視図である。図３には車両２の前後方向および左右方向を矢印で示す。図３に示すように、インストルメントパネル５の左右方向中央部には、全体が略矩形状を呈する表示機器２０のディスプレイ２１が固定的に配置される。ユーザ１が表示機器２０でエージェントを利用する場合、ディスプレイ２１にはオブジェクト画像１２が表示される。 The display device 20 is composed of, for example, a navigation device having a navigation function for guiding a route to a destination. FIG. 3 is a perspective view showing a part of the instrument panel 5 arranged in the front part of the vehicle interior so as to face the driver. In FIG. 3, the front-rear direction and the left-right direction of the vehicle 2 are indicated by arrows. As shown in FIG. 3, the display 21 of the display device 20 having a substantially rectangular shape as a whole is fixedly arranged in the central portion in the left-right direction of the instrument panel 5. When the user 1 uses the agent on the display device 20, the object image 12 is displayed on the display 21.

図４は、本発明の実施形態に係る画像表示システム１００の要部構成を示すブロック図である。図４に示すように、携帯端末１０は、タッチパネル式のディスプレイ１１と、ＧＰＳ衛星からの信号に基づいて携帯端末１０の絶対位置Ｐ１（緯度、経度）を検出するＧＰＳ装置１３と、携帯端末１０の姿勢および姿勢変化を検出するセンサ群１４と、音声を入力するマイク１５と、ネットワーク４を介して通信を行う通信部１６と、携帯端末１０の各部を制御する制御部１７と、ユーザＩＤ等の各種情報を記憶する記憶部１８とを有する。携帯端末１０は、さらにキーボードやマイク、カメラ、スピーカ等を有するものであってもよい。 FIG. 4 is a block diagram showing a configuration of a main part of the image display system 100 according to the embodiment of the present invention. As shown in FIG. 4, the mobile terminal 10 includes a touch panel display 11, a GPS device 13 that detects the absolute position P1 (latitude, longitude) of the mobile terminal 10 based on a signal from a GPS satellite, and the mobile terminal 10. A sensor group 14 that detects the attitude and the change in attitude, a microphone 15 that inputs voice, a communication unit 16 that communicates via the network 4, a control unit 17 that controls each unit of the mobile terminal 10, a user ID, and the like. It has a storage unit 18 for storing various information of the above. The mobile terminal 10 may further include a keyboard, a microphone, a camera, a speaker, and the like.

タッチパネル式のディスプレイ１１は、図１Ａ〜図１Ｃに示すような全体が略矩形状を呈する液晶ディスプレイ等の表示部と、表示部と一体的に設けられたタッチセンサ１１０とにより構成される。 The touch panel type display 11 is composed of a display unit such as a liquid crystal display having a substantially rectangular shape as shown in FIGS. 1A to 1C, and a touch sensor 110 provided integrally with the display unit.

ディスプレイ１１の画面表示は、ネットワーク４を介してサーバ装置３０により制御されてもよく、携帯端末１０にインストールされたアプリケーションを介して携帯端末１０側で制御部１７により制御されてもよい。ディスプレイ１１の画面表示がサーバ装置３０側で制御される場合は、通信部１６がサーバ装置３０から送信された表示制御信号を受信し、受信された表示制御信号に基づいて制御部１７が画像信号を生成してディスプレイ１１に送信する。 The screen display of the display 11 may be controlled by the server device 30 via the network 4, or may be controlled by the control unit 17 on the mobile terminal 10 side via an application installed on the mobile terminal 10. When the screen display of the display 11 is controlled by the server device 30, the communication unit 16 receives the display control signal transmitted from the server device 30, and the control unit 17 receives an image signal based on the received display control signal. Is generated and transmitted to the display 11.

タッチセンサ１１０は、ディスプレイ１１に対するユーザ１によるタッチ操作の有無、タッチ操作の押圧力、ディスプレイ１１上におけるタッチ操作の位置、フリック操作の方向および速さ等の画面操作を検出する。 The touch sensor 110 detects screen operations such as the presence / absence of a touch operation by the user 1 on the display 11, the pressing force of the touch operation, the position of the touch operation on the display 11, the direction and speed of the flick operation, and the like.

センサ群１４は、３軸加速度センサや３軸ジャイロ（角速度）センサ等により構成されて、携帯端末１０の姿勢および姿勢変化を検出する。より具体的には、センサ群１４は、水平方向に対する携帯端末１０の傾き、携帯端末１０の動きの方向、移動量、速度、加速度等を検出する。 The sensor group 14 is composed of a 3-axis acceleration sensor, a 3-axis gyro (angular velocity) sensor, and the like, and detects the posture and the posture change of the mobile terminal 10. More specifically, the sensor group 14 detects the inclination of the mobile terminal 10 with respect to the horizontal direction, the direction of movement of the mobile terminal 10, the amount of movement, the speed, the acceleration, and the like.

通信部１６は、タッチセンサ１１０により検出される画面操作の情報（画面操作情報）と、センサ群１４により検出される携帯端末１０の姿勢および姿勢変化の情報（姿勢情報）と、マイク１５を介して入力される音声情報とを、ネットワーク４を介してサーバ装置３０に送信する。また、通信部１６は、ＧＰＳ装置１３により検出される携帯端末１０の絶対位置Ｐ１の情報（位置情報）を、ネットワーク４を介してサーバ装置３０に送信する。 The communication unit 16 uses the screen operation information (screen operation information) detected by the touch sensor 110, the posture and posture change information (posture information) of the mobile terminal 10 detected by the sensor group 14, and the microphone 15. The voice information input to the server device 30 is transmitted to the server device 30 via the network 4. Further, the communication unit 16 transmits the information (position information) of the absolute position P1 of the mobile terminal 10 detected by the GPS device 13 to the server device 30 via the network 4.

図４に示すように、車両２には、表示機器２０の他にも、ＧＰＳ衛星からの信号に基づいて車両２（表示機器２０）の絶対位置Ｐ２（緯度、経度）を検出するＧＰＳ装置２４や、車両２の走行速度を検出する車速センサ２５等が設けられる。ＧＰＳ装置２４および車速センサ２５からの信号は、表示機器２０に入力される。 As shown in FIG. 4, in addition to the display device 20, the vehicle 2 has a GPS device 24 that detects the absolute position P2 (latitude, longitude) of the vehicle 2 (display device 20) based on a signal from a GPS satellite. Also, a vehicle speed sensor 25 or the like for detecting the traveling speed of the vehicle 2 is provided. The signals from the GPS device 24 and the vehicle speed sensor 25 are input to the display device 20.

表示機器２０は、各種情報を表示する液晶ディスプレイ等のディスプレイ２１（図３）と、ネットワーク４を介して通信を行う通信部２２と、表示機器２０の各部を制御する制御部２３とを有する。図示は省略するが、表示機器２０は、各種指令や情報を入力する入力部、各種情報を記憶する記憶部をさらに有する。ディスプレイ２１の画面表示も、ディスプレイ１１の画面表示と同様に、ネットワーク４を介してサーバ装置３０により制御されてもよく、表示機器２０にインストールされたアプリケーションを介して表示機器２０側で制御部２３により制御されてもよい。 The display device 20 includes a display 21 (FIG. 3) such as a liquid crystal display that displays various information, a communication unit 22 that communicates via the network 4, and a control unit 23 that controls each part of the display device 20. Although not shown, the display device 20 further includes an input unit for inputting various commands and information, and a storage unit for storing various information. Similar to the screen display of the display 11, the screen display of the display 21 may be controlled by the server device 30 via the network 4, and the control unit 23 on the display device 20 side via the application installed in the display device 20. May be controlled by

ＧＰＳ装置２４により検出される車両２の絶対位置Ｐ２の情報（位置情報）および車速センサ２５により検出される車両２の走行速度の情報（車速情報）は、通信部２２によりネットワーク４を介してサーバ装置３０に送信される。 The information on the absolute position P2 of the vehicle 2 detected by the GPS device 24 (position information) and the information on the traveling speed of the vehicle 2 detected by the vehicle speed sensor 25 (vehicle speed information) are transmitted by the communication unit 22 to the server via the network 4. It is transmitted to the device 30.

サーバ装置３０は、本実施形態の画像表示装置を構成する。サーバ装置３０は、例えば単一のサーバとして、あるいは機能ごとに別々のサーバから構成される分散サーバとして構成される。クラウドサーバと呼ばれるクラウド環境に作られた分散型の仮想サーバとしてサーバ装置３０を構成することもできる。サーバ装置３０は、通信部３１と、動作回路としてのＣＰＵなどの演算部３２と、ＲＯＭ，ＲＡＭなどの記憶部３３と、その他の周辺回路（インターフェース回路等）とを含んで構成される。 The server device 30 constitutes the image display device of the present embodiment. The server device 30 is configured as, for example, a single server or a distributed server composed of separate servers for each function. The server device 30 can also be configured as a distributed virtual server created in a cloud environment called a cloud server. The server device 30 includes a communication unit 31, a calculation unit 32 such as a CPU as an operating circuit, a storage unit 33 such as a ROM and a RAM, and other peripheral circuits (interface circuit and the like).

通信部３１は、ネットワーク４を介して携帯端末１０および表示機器２０とそれぞれ通信を行う。記憶部３３は、演算部３２で実行される制御プログラムや、プログラムで用いられる各種閾値等を記憶する。記憶部３３には、ユーザＩＤに対応付けられたオブジェクト画像１２の情報なども記憶される。演算部３２は、機能的構成として情報取得部３２１と、操作判定部３２２と、表示制御部３２３とを有する。 The communication unit 31 communicates with the mobile terminal 10 and the display device 20 via the network 4, respectively. The storage unit 33 stores the control program executed by the calculation unit 32, various threshold values used in the program, and the like. The storage unit 33 also stores information such as the object image 12 associated with the user ID. The calculation unit 32 has an information acquisition unit 321 as a functional configuration, an operation determination unit 322, and a display control unit 323.

情報取得部３２１は、通信部３１を介して、携帯端末１０および表示機器２０から送信されたＧＰＳ装置１３，２４からの信号に基づく位置情報を取得し、これにより表示機器２０に対する携帯端末１０の相対位置情報を取得する。また、表示機器２０から送信された車速センサ２５からの信号に基づく車両２の車速情報を取得する。さらに、携帯端末１０から送信されたセンサ群１４、マイク１５、タッチセンサ１１０からの信号に基づく携帯端末１０の姿勢情報、音声情報および画面操作情報を取得する。 The information acquisition unit 321 acquires position information based on the signals from the GPS devices 13 and 24 transmitted from the mobile terminal 10 and the display device 20 via the communication unit 31, and thereby the mobile terminal 10 with respect to the display device 20. Acquire relative position information. In addition, the vehicle speed information of the vehicle 2 based on the signal from the vehicle speed sensor 25 transmitted from the display device 20 is acquired. Further, the attitude information, voice information, and screen operation information of the mobile terminal 10 based on the signals from the sensor group 14, the microphone 15, and the touch sensor 110 transmitted from the mobile terminal 10 are acquired.

操作判定部３２２は、情報取得部３２１により取得された各種情報に基づいて、携帯端末１０が表示機器２０を基準とする所定範囲内にあり、かつ、ユーザ１による携帯端末１０に対する所定操作が行われたか否かを判定する。 Based on various information acquired by the information acquisition unit 321 in the operation determination unit 322, the mobile terminal 10 is within a predetermined range based on the display device 20, and the user 1 performs a predetermined operation on the mobile terminal 10. Determine if it was broken.

所定範囲は、表示機器２０の搭載された車両２の乗車空間に対応した範囲（例えば、車両２の絶対位置Ｐ２から３ｍ以内）に設定される。操作判定部３２２は、情報取得部３２１により取得された表示機器２０に対する携帯端末１０の相対位置情報に基づいて、携帯端末１０が表示機器２０を基準とする所定範囲内にあるか否かを判定する。これにより、携帯端末１０が車両２内にあることが判定できる。 The predetermined range is set to a range corresponding to the riding space of the vehicle 2 on which the display device 20 is mounted (for example, within 3 m from the absolute position P2 of the vehicle 2). The operation determination unit 322 determines whether or not the mobile terminal 10 is within a predetermined range with respect to the display device 20 based on the relative position information of the mobile terminal 10 with respect to the display device 20 acquired by the information acquisition unit 321. To do. As a result, it can be determined that the mobile terminal 10 is in the vehicle 2.

所定操作は、オブジェクト画像１２を表示する機器を表示機器２０から携帯端末１０に変更するユーザ１の意図を反映した操作である。このような所定操作には、ユーザ１が携帯端末１０を利用するときの予備動作や、表示機器２０で利用中のエージェントに対して携帯端末１０に戻るよう呼びかける音声操作が含まれる。 The predetermined operation is an operation that reflects the intention of the user 1 to change the device for displaying the object image 12 from the display device 20 to the mobile terminal 10. Such a predetermined operation includes a preliminary operation when the user 1 uses the mobile terminal 10 and a voice operation for calling the agent being used by the display device 20 to return to the mobile terminal 10.

図５Ａ，５Ｂは、操作判定部３２２により判定される所定操作の一例を概略的に示す斜視図であり、ユーザ１が携帯端末１０を利用するときの予備動作の一つである携帯端末１０を起こす操作の一例を示す。車両２に乗車し、オブジェクト画像１２を表示して表示機器２０を利用しているユーザ１が車両２の利用を終えて、あるいは車両２の停車中に一時的に携帯端末１０を利用するときは、図５Ａ，５Ｂに示すような携帯端末１０を起こす操作が行われる。 5A and 5B are perspective views schematically showing an example of a predetermined operation determined by the operation determination unit 322, and shows the mobile terminal 10 which is one of the preliminary operations when the user 1 uses the mobile terminal 10. An example of the operation to wake up is shown. When the user 1 who gets on the vehicle 2 and displays the object image 12 and uses the display device 20 finishes using the vehicle 2 or temporarily uses the mobile terminal 10 while the vehicle 2 is stopped. , The operation of raising the mobile terminal 10 as shown in FIGS. 5A and 5B is performed.

図５Ａ，５Ｂに示すようにユーザ１が携帯端末１０を起こす操作を行うと、携帯端末１０の姿勢が水平方向から鉛直方向へと変化する。操作判定部３２２は、情報取得部３２１により取得された携帯端末１０の姿勢情報に基づいて、ユーザ１により携帯端末１０を起こす操作が行われたか否かを判定することで、オブジェクト画像１２を表示する機器を表示機器２０から携帯端末１０に変更するユーザ１の意図を判定する。 When the user 1 raises the mobile terminal 10 as shown in FIGS. 5A and 5B, the posture of the mobile terminal 10 changes from the horizontal direction to the vertical direction. The operation determination unit 322 displays the object image 12 by determining whether or not the user 1 has performed an operation to raise the mobile terminal 10 based on the posture information of the mobile terminal 10 acquired by the information acquisition unit 321. The intention of the user 1 to change the device to be displayed from the display device 20 to the mobile terminal 10 is determined.

操作判定部３２２は、携帯端末１０を起こす操作に代えて、ユーザ１が自身の方向に携帯端末１０を引き寄せる操作が行われたか否かを判定してもよい。すなわち、携帯端末１０が腕時計型のウェアラブル端末等により構成される場合は、携帯端末１０を引き寄せる操作が行われる。携帯端末１０を引き寄せる操作は、情報取得部３２１により取得された携帯端末１０および表示機器２０の位置情報および携帯端末１０の姿勢情報に基づいて、表示機器２０から離間する方向への所定加速度以上の携帯端末１０の動きとして判定することができる。あるいは、情報取得部３２１により取得された携帯端末１０の姿勢情報に基づいて、重力方向において上方への所定加速度以上の携帯端末１０の動きとして判定してもよい。 The operation determination unit 322 may determine whether or not the operation of pulling the mobile terminal 10 in the direction of the user 1 is performed instead of the operation of raising the mobile terminal 10. That is, when the mobile terminal 10 is composed of a wristwatch-type wearable terminal or the like, an operation of attracting the mobile terminal 10 is performed. The operation of pulling the mobile terminal 10 is equal to or higher than a predetermined acceleration in a direction away from the display device 20 based on the position information of the mobile terminal 10 and the display device 20 acquired by the information acquisition unit 321 and the attitude information of the mobile terminal 10. It can be determined as the movement of the mobile terminal 10. Alternatively, based on the posture information of the mobile terminal 10 acquired by the information acquisition unit 321, it may be determined as the movement of the mobile terminal 10 having a predetermined acceleration or more upward in the direction of gravity.

操作判定部３２２は、携帯端末１０を起こす操作や引き寄せる操作に代えて、あるいは、これらの操作に加えて、ユーザ１がエージェントに対して携帯端末１０に戻るよう呼びかける音声操作やノック音を発する操作が行われたか否かを判定することもできる。例えば、情報取得部３２１により取得された音声情報に基づいて、携帯端末１０のマイク１５を介して「戻って来て」、「帰って来て」等のユーザ１による音声が入力されたか否かを判定する。あるいは、携帯端末１０の本体やその周辺にある車両２の内外装部材（例えば、乗用車内のセンターコンソールや二輪車の燃料タンク等）を音が鳴るようにノックする音声、指を鳴らす音声等が所定間隔で所定回数、入力されたか否かを判定する。 The operation determination unit 322 replaces the operation of raising or pulling the mobile terminal 10, or in addition to these operations, the user 1 calls the agent to return to the mobile terminal 10 or emits a knocking sound. It is also possible to determine whether or not has been performed. For example, whether or not the voice by the user 1 such as "come back" or "come back" is input through the microphone 15 of the mobile terminal 10 based on the voice information acquired by the information acquisition unit 321. To judge. Alternatively, a sound of knocking the interior / exterior members of the vehicle 2 (for example, a center console in a passenger car, a fuel tank of a two-wheeled vehicle, etc.) in the main body of the mobile terminal 10 or its surroundings so as to make a sound, a sound of ringing a finger, or the like is predetermined. It is determined whether or not the input has been performed a predetermined number of times at intervals.

表示制御部３２３は、操作判定部３２２によりユーザ１による所定操作が行われたと判定されると、ディスプレイ２１に表示されたオブジェクト画像１２がディスプレイ２１からディスプレイ１１に移動して表示されるようにディスプレイ１１，２１の表示を制御する。 When the operation determination unit 322 determines that the predetermined operation has been performed by the user 1, the display control unit 323 displays the object image 12 displayed on the display 21 so as to move from the display 21 to the display 11. Control the display of 11 and 21.

図６Ａ〜６Ｃは、ディスプレイ２１からディスプレイ１１に移動して表示されるときのオブジェクト画像１２の表示態様の一例を示す図であり、ディスプレイ１１に表示された直後のオブジェクト画像１２を示す。表示制御部３２３は、まず、記憶部３３に記憶されたユーザＩＤとオブジェクト画像１２との対応関係の情報から、携帯端末１０からの信号に含まれるユーザＩＤに対応するオブジェクト画像１２の表示形態（形状、動く速度等）を特定する。 6A to 6C are diagrams showing an example of the display mode of the object image 12 when the object image 12 is moved from the display 21 to the display 11 and displayed, and shows the object image 12 immediately after being displayed on the display 11. First, the display control unit 323 displays the display form of the object image 12 corresponding to the user ID included in the signal from the mobile terminal 10 from the information on the correspondence between the user ID stored in the storage unit 33 and the object image 12. Specify the shape, moving speed, etc.).

さらに表示制御部３２３は、オブジェクト画像１２が表示機器２０のディスプレイ２１から消去された後、携帯端末１０のディスプレイ１１上に車両２の表示機器２０から携帯端末１０へと飛び移って来たような態様で表示されるように、ディスプレイ１１，２１の表示を制御する表示制御信号を生成する。 Further, the display control unit 323 seems to have jumped from the display device 20 of the vehicle 2 to the mobile terminal 10 on the display 11 of the mobile terminal 10 after the object image 12 is erased from the display 21 of the display device 20. A display control signal for controlling the display of the displays 11 and 21 is generated so as to be displayed in the embodiment.

表示制御部３２３により生成された表示制御信号は、通信部３１を介して携帯端末１０と表示機器２０とにそれぞれ送信される。携帯端末１０は、サーバ装置３０から表示制御信号を受信すると、制御部１７での処理により、表示制御信号に基づいて画像信号を生成してディスプレイ１１の表示を制御する。表示機器２０は、サーバ装置３０から表示制御信号を受信すると、制御部２３での処理により、表示制御信号に基づいて画像信号を生成してディスプレイ２１の表示を制御する。これによりディスプレイ１１，２１の表示が制御される。 The display control signal generated by the display control unit 323 is transmitted to the mobile terminal 10 and the display device 20 via the communication unit 31, respectively. When the mobile terminal 10 receives the display control signal from the server device 30, the control unit 17 processes it to generate an image signal based on the display control signal to control the display of the display 11. When the display device 20 receives the display control signal from the server device 30, the control unit 23 processes the display device 20 to generate an image signal based on the display control signal to control the display of the display 21. As a result, the display of the displays 11 and 21 is controlled.

このように表示制御部３２３は、オブジェクト画像１２が、あたかもユーザ１が携帯端末１０を利用するときの予備動作に連動して、あるいはユーザ１の呼びかけに応じて携帯端末１０に戻って来たかのようにディスプレイ１１の表示を制御する。ディスプレイ１１に表示された直後のオブジェクト画像１２は、図６Ａ，６Ｂの例に示すように、ディスプレイ１１の表示画面の上方から下方、すなわち、画面上における仮想の重力方向の上方から下方に向けて落下するような態様で表示される。 In this way, the display control unit 323 seems as if the object image 12 has returned to the mobile terminal 10 in conjunction with the preliminary operation when the user 1 uses the mobile terminal 10 or in response to the user 1's call. Controls the display of the display 11. As shown in the examples of FIGS. 6A and 6B, the object image 12 immediately after being displayed on the display 11 is directed from above to below the display screen of the display 11, that is, from above to below in the virtual gravity direction on the screen. It is displayed as if it were falling.

オブジェクト画像１２の表示態様には、エージェント（オブジェクト画像１２）に対するユーザ１の接し方に応じて変化した質感や特性（緩慢、機敏）が反映される。例えば、操作が緩慢なユーザ１に対応するオブジェクト画像１２は、図６Ｂの例に示すように、ディスプレイ１１上方から、ゆっくり垂れ下がりながら落下するような態様で表示される。 The display mode of the object image 12 reflects the texture and characteristics (slowness, agility) that have changed according to the way the user 1 interacts with the agent (object image 12). For example, as shown in the example of FIG. 6B, the object image 12 corresponding to the user 1 whose operation is slow is displayed in such a manner that it slowly hangs down from above the display 11.

オブジェクト画像１２は、水平方向に対する携帯端末１０の傾きに応じて、重力方向の上方から下方に向けて落下するような態様で表示されてもよい。例えば、携帯端末１０が腕時計型のウェアラブル端末により構成される場合等、ディスプレイ１１が重力方向の上方に向いている場合には、図６Ｃの例に示すように、ディスプレイ１１面に落下してつぶれるような態様でオブジェクト画像１２が表示されてもよい。 The object image 12 may be displayed in such a manner that it falls from the upper side to the lower side in the direction of gravity according to the inclination of the mobile terminal 10 with respect to the horizontal direction. For example, when the mobile terminal 10 is composed of a wristwatch-type wearable terminal and the display 11 faces upward in the direction of gravity, it falls on the display 11 surface and collapses as shown in the example of FIG. 6C. The object image 12 may be displayed in such an manner.

また、表示制御部３２３は、停車中の車両２が再び走行を開始すると、ディスプレイ１１に表示されたオブジェクト画像１２がディスプレイ１１からディスプレイ２１に移動して表示されるようにディスプレイ１１，２１の表示を制御する。すなわち、情報取得部３２１により取得された車速情報に基づいて車両２が走行を開始したと判定されると、オブジェクト画像１２の表示を携帯端末１０のディスプレイ１１から表示機器２０のディスプレイ２１に切り換え、オブジェクト画像１２を移動させる。 Further, the display control unit 323 displays the displays 11 and 21 so that the object image 12 displayed on the display 11 moves from the display 11 to the display 21 when the stopped vehicle 2 starts traveling again. To control. That is, when it is determined that the vehicle 2 has started traveling based on the vehicle speed information acquired by the information acquisition unit 321, the display of the object image 12 is switched from the display 11 of the mobile terminal 10 to the display 21 of the display device 20. Move the object image 12.

さらに表示制御部３２３は、車両２の停車中に携帯端末１０が所定範囲内から所定範囲外に移動すると、ディスプレイ２１に表示されたオブジェクト画像１２がディスプレイ２１からディスプレイ１１に移動して表示されるようにディスプレイ１１，２１の表示を制御する。すなわち、情報取得部３２１により取得された表示機器２０に対する携帯端末１０の相対位置情報に基づいて携帯端末１０が所定範囲外に移動したと判定されると、オブジェクト画像１２の表示を表示機器２０のディスプレイ２１から携帯端末１０のディスプレイ１１に切り換え、オブジェクト画像１２を移動させる。 Further, when the mobile terminal 10 moves from within the predetermined range to outside the predetermined range while the vehicle 2 is stopped, the display control unit 323 moves the object image 12 displayed on the display 21 from the display 21 to the display 11 and displays the object image 12. The display of the displays 11 and 21 is controlled as described above. That is, when it is determined that the mobile terminal 10 has moved out of the predetermined range based on the relative position information of the mobile terminal 10 with respect to the display device 20 acquired by the information acquisition unit 321, the display of the object image 12 is displayed on the display device 20. The display 21 is switched to the display 11 of the mobile terminal 10 to move the object image 12.

図７は、本発明の実施形態に係る画像表示装置による処理の一例を示すフローチャートであり、予め記憶されたプログラムに従いサーバ装置３０の演算部３２（ＣＰＵ）で実行される処理の一例を示す。このフローチャートに示す処理は、例えば、サーバ装置３０の電源オン時に開始され、所定周期で繰り返される。 FIG. 7 is a flowchart showing an example of processing by the image display device according to the embodiment of the present invention, and shows an example of processing executed by the calculation unit 32 (CPU) of the server device 30 according to a program stored in advance. The process shown in this flowchart is started, for example, when the power of the server device 30 is turned on, and is repeated at a predetermined cycle.

図７に示すように、まずステップＳ１で、通信部３１を介して取得したＧＰＳ装置１３，２４、車速センサ２５、センサ群１４、マイク１５、タッチセンサ１１０からの信号を読み込む。すなわち、表示機器２０に対する携帯端末１０の相対位置情報、車両２の車速情報、携帯端末１０の姿勢情報、音声情報および画面操作情報を取得する。このとき、携帯端末１０から送信された情報に含まれるユーザＩＤの情報も取得する。 As shown in FIG. 7, first, in step S1, the signals from the GPS devices 13 and 24, the vehicle speed sensor 25, the sensor group 14, the microphone 15, and the touch sensor 110 acquired via the communication unit 31 are read. That is, the relative position information of the mobile terminal 10 with respect to the display device 20, the vehicle speed information of the vehicle 2, the posture information of the mobile terminal 10, the voice information, and the screen operation information are acquired. At this time, the information of the user ID included in the information transmitted from the mobile terminal 10 is also acquired.

次いでステップＳ２で、表示機器２０のディスプレイ２１にオブジェクト画像１２が表示されているか否かを判定する。ステップＳ２で肯定されるとステップＳ３に進み、否定されるとステップＳ１に戻る。次いでステップＳ３で、ステップＳ１で取得された車両２の車速情報に基づいて、車両２が停車中であるか否かを判定する。ステップＳ３で肯定されるとステップＳ４に進み、否定されるとステップＳ１に戻る。 Next, in step S2, it is determined whether or not the object image 12 is displayed on the display 21 of the display device 20. If affirmed in step S2, the process proceeds to step S3, and if denied, the process returns to step S1. Next, in step S3, it is determined whether or not the vehicle 2 is stopped based on the vehicle speed information of the vehicle 2 acquired in step S1. If affirmed in step S3, the process proceeds to step S4, and if denied, the process returns to step S1.

次いでステップＳ４で、ステップＳ１で取得された表示機器２０に対する携帯端末１０の相対位置情報に基づいて、携帯端末１０が表示機器２０を基準とする所定範囲内にあるか否かを判定する。ステップＳ４で肯定されるとステップＳ５に進み、否定されるとステップＳ５をスキップしてステップＳ６に進む。ステップＳ５では、ユーザ１による携帯端末１０に対する所定操作が行われたか否かを判定する。ステップＳ５で肯定されるとステップＳ６に進み、否定されるとステップＳ１に戻る。 Next, in step S4, it is determined whether or not the mobile terminal 10 is within a predetermined range with respect to the display device 20 based on the relative position information of the mobile terminal 10 with respect to the display device 20 acquired in step S1. If affirmed in step S4, the process proceeds to step S5, and if denied, step S5 is skipped and the process proceeds to step S6. In step S5, it is determined whether or not the predetermined operation on the mobile terminal 10 by the user 1 has been performed. If affirmed in step S5, the process proceeds to step S6, and if denied, the process returns to step S1.

ステップＳ６では、オブジェクト画像１２の表示を表示機器２０のディスプレイ２１から携帯端末１０のディスプレイ１１に切り換える。これにより、ユーザ１が車両２の停車中に一時的に携帯端末１０を利用するとき、直感的で違和感のない操作によりディスプレイ１１，２１間の表示を切り換え、オブジェクト画像１２を移動させることができる。また、ユーザ１が車両２の利用を終えて車両２から離れたときは自動的にディスプレイ１１，２１間の表示が切り換えられるため、エージェントの戻し忘れを防止することができる。 In step S6, the display of the object image 12 is switched from the display 21 of the display device 20 to the display 11 of the mobile terminal 10. As a result, when the user 1 temporarily uses the mobile terminal 10 while the vehicle 2 is stopped, the display between the displays 11 and 21 can be switched and the object image 12 can be moved by an intuitive and comfortable operation. .. Further, when the user 1 finishes using the vehicle 2 and leaves the vehicle 2, the display between the displays 11 and 21 is automatically switched, so that it is possible to prevent the agent from forgetting to return.

次いで、ステップＳ７で各種情報を取得し、ステップＳ８で、ステップＳ７で取得された表示機器２０に対する携帯端末１０の相対位置情報に基づいて携帯端末１０が所定範囲内にあるか否かを判定する。ステップＳ８で肯定されるとステップＳ９に進み、否定されると、ユーザ１が車両２の利用を終えて車両２から離れたと判定し、処理を終了する。 Next, various information is acquired in step S7, and in step S8, it is determined whether or not the mobile terminal 10 is within a predetermined range based on the relative position information of the mobile terminal 10 with respect to the display device 20 acquired in step S7. .. If affirmed in step S8, the process proceeds to step S9, and if denied, it is determined that the user 1 has finished using the vehicle 2 and has left the vehicle 2, and the process ends.

次いでステップＳ９で、ステップＳ７で取得された車両２の車速情報に基づいて車両２が走行を開始したか否かを判定する。ステップＳ９で肯定されるとステップＳ１０に進み、否定されるとステップＳ７に戻る。ステップＳ１０では、オブジェクト画像１２の表示を携帯端末１０のディスプレイ１１から表示機器２０のディスプレイ２１に切り換える。これにより、ユーザ１が携帯端末１０の一時的な利用を終えて車両２の運転を再開したときは自動的にディスプレイ１１，２１間の表示が切り換えられるため、ユーザ１の運転操作を妨げることなく再度、表示機器２０にオブジェクト画像１２を移動させることができる。 Next, in step S9, it is determined whether or not the vehicle 2 has started traveling based on the vehicle speed information of the vehicle 2 acquired in step S7. If affirmed in step S9, the process proceeds to step S10, and if denied, the process returns to step S7. In step S10, the display of the object image 12 is switched from the display 11 of the mobile terminal 10 to the display 21 of the display device 20. As a result, when the user 1 finishes the temporary use of the mobile terminal 10 and resumes the operation of the vehicle 2, the display between the displays 11 and 21 is automatically switched, so that the driving operation of the user 1 is not hindered. The object image 12 can be moved to the display device 20 again.

本実施形態によれば以下のような作用効果を奏することができる。
（１）画像表示装置を構成するサーバ装置３０は、ユーザ１が携帯する携帯端末１０に設けられるディスプレイ１１と、表示機器２０に設けられるディスプレイ２１とのいずれかに、ユーザ１の識別ＩＤに紐付けられたオブジェクト画像１２を表示させる。画像表示装置は、表示機器２０に対する携帯端末１０の相対位置情報と、携帯端末１０の姿勢情報および携帯端末１０に入力される音声情報の少なくとも一方を含む携帯端末１０の操作情報と、を取得する情報取得部３２１と、情報取得部３２１により取得された表示機器２０に対する携帯端末１０の相対位置情報と携帯端末１０の操作情報とに基づいて、携帯端末１０が表示機器２０を基準とする所定範囲内にあり、かつ、携帯端末１０に対する姿勢変化および音声入力の少なくとも一方の操作である所定操作が行われたか否かを判定する操作判定部３２２と、操作判定部３２２により所定操作が行われたと判定されると、ディスプレイ２１に表示されたオブジェクト画像１２がディスプレイ２１からディスプレイ１１に移動して表示されるようにディスプレイ１１およびディスプレイ２１を制御する表示制御部３２３とを備える（図４）。 According to this embodiment, the following effects can be obtained.
(1) The server device 30 constituting the image display device is linked to the identification ID of the user 1 on either the display 11 provided on the mobile terminal 10 carried by the user 1 or the display 21 provided on the display device 20. The attached object image 12 is displayed. The image display device acquires the relative position information of the mobile terminal 10 with respect to the display device 20, and the operation information of the mobile terminal 10 including at least one of the attitude information of the mobile terminal 10 and the voice information input to the mobile terminal 10. A predetermined range in which the mobile terminal 10 refers to the display device 20 based on the relative position information of the mobile terminal 10 with respect to the display device 20 acquired by the information acquisition unit 321 and the information acquisition unit 321 and the operation information of the mobile terminal 10. It is said that the operation determination unit 322 and the operation determination unit 322, which are inside and determine whether or not a predetermined operation which is at least one of the posture change and the voice input for the mobile terminal 10 has been performed, have performed the predetermined operation. A display control unit 323 that controls the display 11 and the display 21 so that the object image 12 displayed on the display 21 moves from the display 21 to the display 11 and is displayed when the determination is made is provided (FIG. 4).

この構成により、ユーザ１の意図を反映した直観的な操作によってオブジェクト画像１２を表示するディスプレイ１１，２１を切り換えることが可能となり、ユーザ１に違和感を与えることなくオブジェクト画像１２を移動させることができる。また、各ユーザ１に固有のオブジェクト画像１２をディスプレイ２１に表示させることで、ユーザ１が個人で所有しないシェアリング車両２に対しても、ユーザ１の信頼や愛着を高めることができ、車両２を利用するときのユーザの満足度を向上することができる。 With this configuration, it is possible to switch the displays 11 and 21 for displaying the object image 12 by an intuitive operation reflecting the intention of the user 1, and the object image 12 can be moved without giving the user 1 a sense of discomfort. .. Further, by displaying the object image 12 unique to each user 1 on the display 21, the trust and attachment of the user 1 can be enhanced even for the sharing vehicle 2 which the user 1 does not own individually, and the vehicle 2 can be increased. It is possible to improve the user's satisfaction when using.

（２）所定操作は、携帯端末１０の姿勢を水平方向から鉛直方向に変化させる姿勢変化の操作を含む。すなわち、ユーザ１がスマートフォン型等の携帯端末１０を利用するときの予備動作の一つである携帯端末１０を起こす姿勢変化の操作に連動して、オブジェクト画像１２を表示するディスプレイ１１，２１が切り換えられ、オブジェクト画像１２が移動される。このためユーザ１は、携帯端末１０を操作してオブジェクト画像１２の表示をオフからオンに切り換えるのではなく、携帯端末１０を利用するときの予備動作に連動してエージェントが車両２の表示機器２０から戻って来たように感じることができる。 (2) The predetermined operation includes a posture change operation for changing the posture of the mobile terminal 10 from the horizontal direction to the vertical direction. That is, the displays 11 and 21 for displaying the object image 12 are switched in conjunction with the operation of changing the posture that raises the mobile terminal 10, which is one of the preliminary operations when the user 1 uses the mobile terminal 10 such as a smartphone type. And the object image 12 is moved. Therefore, the user 1 does not operate the mobile terminal 10 to switch the display of the object image 12 from off to on, but the agent moves the display device 20 of the vehicle 2 in conjunction with the preliminary operation when using the mobile terminal 10. You can feel like you're back from.

（３）所定操作は、携帯端末１０を表示機器２０から離間する方向に所定加速度以上で動かす姿勢変化の操作、または、携帯端末１０を重力方向において上方に所定加速度以上で動かす姿勢変化の操作を含む。すなわち、ユーザ１が腕時計型のウェアラブル端末等の携帯端末１０を利用するときの予備動作の一つである携帯端末１０を引き寄せる姿勢変化の操作に連動して、オブジェクト画像１２を表示するディスプレイ１１，２１を切り換えることもできる。 (3) The predetermined operation is an operation of changing the posture in which the mobile terminal 10 is moved away from the display device 20 at a predetermined acceleration or more, or an operation of changing the posture of moving the mobile terminal 10 upward in the direction of gravity at a predetermined acceleration or more. Including. That is, the display 11, which displays the object image 12, is linked to the operation of changing the posture of pulling the mobile terminal 10, which is one of the preliminary operations when the user 1 uses the mobile terminal 10 such as a wristwatch-type wearable terminal. 21 can also be switched.

（４）所定操作は、携帯端末１０に所定の音声を入力する音声入力の操作を含む。すなわち、携帯端末１０を利用するときの予備動作（姿勢変化の操作）に代えて、あるいは、それに加えて、ユーザ１の声やノック音による呼びかけ（音声入力の操作）に応じて、オブジェクト画像１２を表示するディスプレイ１１，２１を切り換えることもできる。これにより、ユーザ１が手を離せない状況でもオブジェクト画像１２を表示するディスプレイ１１，２１を切り換えることができる。あるいは、予備動作と呼びかけとを組み合わせて切り換えを行うことで、ユーザ１が意図しないオブジェクト画像１２の移動を防止することができる。また、ノック音で呼びかけの有無を判定することにより、車両２に同乗者がいる場合にエージェントへの声がけを気恥ずかしく感じるユーザ１にとっても利用しやすい構成とすることができる。 (4) The predetermined operation includes a voice input operation for inputting a predetermined voice to the mobile terminal 10. That is, instead of the preliminary operation (posture change operation) when using the mobile terminal 10, or in addition to that, in response to the call by the user 1's voice or knock sound (voice input operation), the object image 12 It is also possible to switch the displays 11 and 21 for displaying. As a result, the displays 11 and 21 for displaying the object image 12 can be switched even when the user 1 cannot take his / her hand off. Alternatively, by switching by combining the preliminary operation and the call, it is possible to prevent the object image 12 from being moved unintentionally by the user 1. Further, by determining whether or not there is a call by the knocking sound, it is possible to make the configuration easy to use even for the user 1 who feels embarrassed to speak to the agent when there is a passenger in the vehicle 2.

（５）ディスプレイ１１の表示画面には予め重力方向に拘らず上下方向が規定される。表示制御部３２３は、ディスプレイ２１に表示されたオブジェクト画像１２がディスプレイ２１からディスプレイ１１に移動して表示されるようにディスプレイ１１，２１を制御するとき、ディスプレイ１１の表示画面の上方から下方に向けて、または、重力方向の上方から下方に向けて、オブジェクト画像１２が落下するような態様で表示されるようにディスプレイ１１を制御する。すなわち、オブジェクト画像１２が携帯端末１０のディスプレイ１１に瞬間的に表示されるのではなく、あたかも携帯端末１０に飛び移って来たような態様で表示される。このため、エージェントの実在感が損なわれることがなく、ユーザ１が違和感を抱くことなくエージェントが戻って来たことを直感的に把握することができる。 (5) The vertical direction is defined in advance on the display screen of the display 11 regardless of the direction of gravity. When the display control unit 323 controls the displays 11 and 21 so that the object image 12 displayed on the display 21 moves from the display 21 to the display 11 and is displayed, the display control unit 323 faces from the upper side to the lower side of the display screen of the display 11. Alternatively, the display 11 is controlled so that the object image 12 is displayed in such a manner as to fall from the upper side to the lower side in the direction of gravity. That is, the object image 12 is not displayed instantaneously on the display 11 of the mobile terminal 10, but is displayed as if it had jumped to the mobile terminal 10. Therefore, the sense of reality of the agent is not impaired, and it is possible to intuitively grasp that the agent has returned without the user 1 feeling uncomfortable.

（６）表示機器２０は、車両２に搭載される（図３）。所定範囲は、車両２の乗車空間に対応した範囲である。これにより、ユーザ１の操作に応じた車両２の表示機器２０のディスプレイ２１から携帯端末１０のディスプレイ１１へのオブジェクト画像１２の移動が、携帯端末１０が車両２内にあるときに制限される。このため、車両２側で利用中のエージェントが、車両２外の携帯端末１０の姿勢変化等に応じ、ユーザ１の意図に反して移動することを防止することができる。また、オブジェクト画像１２の移動に乗車中のユーザ１によるエージェントを呼び戻す操作が必要となるため、ユーザ１にとってのエージェントの実在感が高められる。 (6) The display device 20 is mounted on the vehicle 2 (FIG. 3). The predetermined range is a range corresponding to the riding space of the vehicle 2. As a result, the movement of the object image 12 from the display 21 of the display device 20 of the vehicle 2 to the display 11 of the mobile terminal 10 in response to the operation of the user 1 is restricted when the mobile terminal 10 is in the vehicle 2. Therefore, it is possible to prevent the agent being used on the vehicle 2 side from moving against the intention of the user 1 in response to a change in the posture of the mobile terminal 10 outside the vehicle 2. Further, since the operation of recalling the agent by the user 1 who is on board is required to move the object image 12, the sense of reality of the agent for the user 1 is enhanced.

（７）表示機器２０は車両２に搭載される（図３）。情報取得部３２１は、さらに車両２の車速情報を取得する。表示制御部３２３は、情報取得部３２１により取得された車両２の速度情報に基づいて車両２が停車中であるか否かおよび車両２が走行を開始したか否かを判定し、車両２の停車中であると判定すると、操作判定部３２２により所定操作が行われたと判定されることを条件として、ディスプレイ２１に表示されたオブジェクト画像１２がディスプレイ２１からディスプレイ１１に移動して表示されるようにディスプレイ１１，２１を制御し、その後、車両２が走行を開始したと判定すると、ディスプレイ１１に表示されたオブジェクト画像１２がディスプレイ１１からディスプレイ２１に移動して表示されるようにディスプレイ１１，２１を制御する。これにより、ユーザ１が携帯端末１０の一時的な利用を終えて車両２の運転を再開したときは自動的にディスプレイ１１，２１間の表示が切り換えられるため、ユーザ１の運転操作を妨げることない。 (7) The display device 20 is mounted on the vehicle 2 (FIG. 3). The information acquisition unit 321 further acquires vehicle speed information of the vehicle 2. The display control unit 323 determines whether or not the vehicle 2 is stopped and whether or not the vehicle 2 has started running based on the speed information of the vehicle 2 acquired by the information acquisition unit 321. When it is determined that the vehicle is stopped, the object image 12 displayed on the display 21 is moved from the display 21 to the display 11 and displayed on condition that the operation determination unit 322 determines that the predetermined operation has been performed. When it is determined that the vehicle 2 has started traveling, the objects image 12 displayed on the display 11 is moved from the display 11 to the display 21 and displayed on the displays 11 and 21. To control. As a result, when the user 1 finishes the temporary use of the mobile terminal 10 and resumes the operation of the vehicle 2, the display between the displays 11 and 21 is automatically switched, so that the driving operation of the user 1 is not hindered. ..

（８）表示制御部３２３は、情報取得部３２１により取得された表示機器２０に対する携帯端末１０の相対位置情報に基づいて携帯端末１０が所定範囲内から所定範囲外に移動したか否かを判定し、携帯端末１０が所定範囲内から所定範囲外に移動したと判定すると、ディスプレイ２１に表示されたオブジェクト画像１２がディスプレイ２１からディスプレイ１１に移動して表示されるようにディスプレイ１１，２１を制御する。これにより、ユーザ１が車両２の利用を終えて車両２から離れたときは自動的にディスプレイ１１，２１間の表示が切り換えられるため、エージェントの戻し忘れを防止することができる。 (8) The display control unit 323 determines whether or not the mobile terminal 10 has moved from within the predetermined range to outside the predetermined range based on the relative position information of the mobile terminal 10 with respect to the display device 20 acquired by the information acquisition unit 321. Then, when it is determined that the mobile terminal 10 has moved from within the predetermined range to outside the predetermined range, the displays 11 and 21 are controlled so that the object image 12 displayed on the display 21 moves from the display 21 to the display 11 and is displayed. To do. As a result, when the user 1 finishes using the vehicle 2 and leaves the vehicle 2, the display between the displays 11 and 21 is automatically switched, so that it is possible to prevent the agent from forgetting to return.

なお、上記実施形態では、サーバ装置３０が携帯端末１０のディスプレイ１１と表示機器２０のディスプレイ２１とのいずれかにオブジェクト画像１２を表示させるようにしたが、画像表示装置がオブジェクト画像を表示させる第１機器および第２機器の構成はこれに限らない。例えば、第２機器がロボットやデジタルサイネージ、第１機器とは別の携帯端末等であってもよい。 In the above embodiment, the server device 30 displays the object image 12 on either the display 11 of the mobile terminal 10 or the display 21 of the display device 20, but the image display device displays the object image. The configuration of the first device and the second device is not limited to this. For example, the second device may be a robot, digital signage, a mobile terminal different from the first device, or the like.

上記実施形態では、図１Ａ〜１Ｃ、図３等で全体が略矩形状を呈するディスプレイ１１，２１を例示したが、第１表示部、第２表示部は、このようなものに限定されない。例えば、車両のインストルメントパネル全体が表示部を構成してもよく、車両やロボット等が全体として表示部を構成してもよい。すなわち、車両やロボット等の外装面を、透光性を有する材質によって構成して全体が光る電球のように構成してもよく、外装面を有機ＥＬ（エレクトロルミネッセンス）等の曲面ディスプレイで構成してもよい。 In the above embodiment, the displays 11 and 21 having a substantially rectangular shape as a whole are illustrated in FIGS. 1A to 1C, FIGS. 3 and the like, but the first display unit and the second display unit are not limited to such a display unit. For example, the entire instrument panel of the vehicle may form the display unit, or the vehicle, robot, or the like may form the display unit as a whole. That is, the exterior surface of a vehicle, a robot, or the like may be configured by a material having translucency to resemble a light bulb that shines as a whole, and the exterior surface may be composed of a curved display such as an organic EL (electroluminescence). You may.

上記実施形態では、情報取得部３２１がＧＰＳ装置１３，２４からの信号に基づく携帯端末１０および表示機器２０（車両２）の位置情報を取得し、これにより表示機器２０に対する携帯端末１０の相対位置情報を取得するようにしたが、情報取得部が取得する相対位置情報はこのようなものに限らない。例えば、携帯端末１０や車両２に搭載されたカメラの画像を解析することにより検出される表示機器２０に対する携帯端末１０の相対位置の情報を取得してもよい。また、携帯端末１０と車両２とが互いに送受信する赤外線や無線通信の電波が届く範囲内にあるか否かの情報を、表示機器２０に対する携帯端末１０の相対位置の情報として取得してもよい。 In the above embodiment, the information acquisition unit 321 acquires the position information of the mobile terminal 10 and the display device 20 (vehicle 2) based on the signals from the GPS devices 13 and 24, and thereby the relative position of the mobile terminal 10 with respect to the display device 20. Although the information is acquired, the relative position information acquired by the information acquisition unit is not limited to such information. For example, information on the relative position of the mobile terminal 10 with respect to the display device 20 detected by analyzing the image of the camera mounted on the mobile terminal 10 or the vehicle 2 may be acquired. Further, information on whether or not the mobile terminal 10 and the vehicle 2 are within the range of infrared rays and wireless communication radio waves transmitted and received from each other may be acquired as information on the relative position of the mobile terminal 10 with respect to the display device 20. ..

上記実施形態では、ディスプレイ１１，２１に所定形状の画像としてオブジェクト画像１２を表示したが、画像の形態はいかなるものでもよい。感情を表現する目等を有しない形態でもよい。 In the above embodiment, the object image 12 is displayed on the displays 11 and 21 as an image having a predetermined shape, but the form of the image may be any. It may be a form that does not have eyes or the like that express emotions.

以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の１つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。 The above description is merely an example, and the present invention is not limited to the above-described embodiments and modifications as long as the features of the present invention are not impaired. It is also possible to arbitrarily combine one or a plurality of the above-described embodiments and the modified examples, and it is also possible to combine the modified examples.

２ 車両、１０ 携帯端末、１１，２１ ディスプレイ、１２ オブジェクト画像、１３ ＧＰＳ装置、１４ センサ群、１５ マイク、１７ 制御部、２０ 表示機器、２３ 制御部、２４ ＧＰＳ装置、２５ 車速センサ、３０ サーバ装置、１００ 画像表示システム、３２１ 情報取得部、３２２ 操作判定部、３２３ 表示制御部 2 vehicles, 10 mobile terminals, 11,21 displays, 12 object images, 13 GPS devices, 14 sensor groups, 15 microphones, 17 control units, 20 display devices, 23 control units, 24 GPS devices, 25 vehicle speed sensors, 30 server devices. , 100 Image display system, 321 Information acquisition unit, 322 Operation judgment unit, 323 Display control unit

Claims (10)

ユーザが携帯する第１機器に設けられる第１表示部と、第２機器に設けられる第２表示部とのいずれかに、ユーザの識別ＩＤに紐付けられたオブジェクト画像を表示させる画像表示装置であって、
前記第２機器に対する前記第１機器の相対位置情報と、前記第１機器の姿勢情報および前記第１機器に入力される音声情報の少なくとも一方を含む前記第１機器の操作情報と、を取得する情報取得部と、
前記情報取得部により取得された前記第２機器に対する前記第１機器の相対位置情報と前記第１機器の操作情報とに基づいて、前記第１機器が前記第２機器を基準とする所定範囲内にあり、かつ、前記第１機器に対する姿勢変化および音声入力の少なくとも一方の操作である所定操作が行われたか否かを判定する操作判定部と、
前記操作判定部により前記所定操作が行われたと判定されると、前記第２表示部に表示された前記オブジェクト画像が前記第２表示部から前記第１表示部に移動して表示されるように前記第１表示部および前記第２表示部を制御する表示制御部と、を備えることを特徴とする画像表示装置。 An image display device that displays an object image associated with a user's identification ID on either the first display unit provided on the first device carried by the user or the second display unit provided on the second device. There,
Acquires the relative position information of the first device with respect to the second device, and the operation information of the first device including at least one of the posture information of the first device and the voice information input to the first device. Information acquisition department and
Based on the relative position information of the first device with respect to the second device and the operation information of the first device acquired by the information acquisition unit, the first device is within a predetermined range based on the second device. An operation determination unit that determines whether or not a predetermined operation, which is at least one of the posture change and the voice input for the first device, has been performed.
When the operation determination unit determines that the predetermined operation has been performed, the object image displayed on the second display unit is moved from the second display unit to the first display unit and displayed. An image display device including the first display unit and a display control unit that controls the second display unit. 請求項１に記載の画像表示装置において、
前記所定操作は、前記第１機器の姿勢を水平方向から鉛直方向に変化させる姿勢変化の操作を含むことを特徴とする画像表示装置。 In the image display device according to claim 1,
The predetermined operation is an image display device including an operation of changing the posture of the first device from the horizontal direction to the vertical direction. 請求項１に記載の画像表示装置において、
前記所定操作は、前記第１機器を前記第２機器から離間する方向に所定加速度以上で動かす操作、または、前記第１機器を重力方向において上方に前記所定加速度以上で動かす姿勢変化の操作を含むことを特徴とする画像表示装置。 In the image display device according to claim 1,
The predetermined operation includes an operation of moving the first device in a direction away from the second device at a predetermined acceleration or more, or an operation of changing the posture of moving the first device upward in the gravity direction at a predetermined acceleration or more. An image display device characterized by this. 請求項１〜３のいずれか１項に記載の画像表示装置において、
前記所定操作は、前記第１機器に所定の音声を入力する音声入力の操作を含むことを特徴とする画像表示装置。 In the image display device according to any one of claims 1 to 3,
The predetermined operation is an image display device including a voice input operation for inputting a predetermined voice to the first device. 請求項１〜４のいずれか１項に記載の画像表示装置において、
前記第１表示部の表示画面には予め重力方向に拘らず上下方向が規定され、
前記表示制御部は、前記第２表示部に表示された前記オブジェクト画像が前記第２表示部から前記第１表示部に移動して表示されるように前記第１表示部および前記第２表示部を制御するとき、前記第１表示部の表示画面の上方から下方に向けて、または、重力方向の上方から下方に向けて、前記オブジェクト画像が落下するような態様で表示されるように前記第１表示部を制御することを特徴とする画像表示装置。 In the image display device according to any one of claims 1 to 4.
The display screen of the first display unit is defined in advance in the vertical direction regardless of the direction of gravity.
The display control unit has the first display unit and the second display unit so that the object image displayed on the second display unit is displayed by moving from the second display unit to the first display unit. The object image is displayed in such a manner that the object image falls from the upper side to the lower side of the display screen of the first display unit or from the upper side to the lower side in the direction of gravity. 1 An image display device characterized by controlling a display unit. 請求項１〜５のいずれか１項に記載の画像表示装置において、
前記第２機器は、車両に搭載され、
前記所定範囲は、前記車両の乗車空間に対応した範囲であることを特徴とする画像表示装置。 In the image display device according to any one of claims 1 to 5,
The second device is mounted on the vehicle and
An image display device characterized in that the predetermined range is a range corresponding to the riding space of the vehicle. 請求項１〜６のいずれか１項に記載の画像表示装置において、
前記第２機器は車両に搭載され、
前記情報取得部は、さらに前記車両の速度情報を取得し、
前記表示制御部は、前記情報取得部により取得された前記車両の速度情報に基づいて前記車両が停車中であるか否かおよび前記車両が走行を開始したか否かを判定し、前記車両が停車中であると判定すると、前記操作判定部により前記所定操作が行われたと判定されることを条件として、前記第２表示部に表示された前記オブジェクト画像が前記第２表示部から前記第１表示部に移動して表示されるように前記第１表示部および前記第２表示部を制御し、その後、前記車両が走行を開始したと判定すると、前記第１表示部に表示された前記オブジェクト画像が前記第１表示部から前記第２表示部に移動して表示されるように前記第１表示部および前記第２表示部を制御することを特徴とする画像表示装置。 In the image display device according to any one of claims 1 to 6.
The second device is mounted on the vehicle and
The information acquisition unit further acquires the speed information of the vehicle,
The display control unit determines whether or not the vehicle is stopped and whether or not the vehicle has started traveling based on the speed information of the vehicle acquired by the information acquisition unit, and the vehicle determines whether or not the vehicle has started traveling. When it is determined that the vehicle is stopped, the object image displayed on the second display unit is displayed from the second display unit to the first display unit, provided that the operation determination unit determines that the predetermined operation has been performed. When the first display unit and the second display unit are controlled so as to move to the display unit and displayed, and then it is determined that the vehicle has started traveling, the object displayed on the first display unit is determined. An image display device characterized in that the first display unit and the second display unit are controlled so that an image is displayed by moving from the first display unit to the second display unit. 請求項１〜７のいずれか１項に記載の画像表示装置において、
前記表示制御部は、前記情報取得部により取得された前記第２機器に対する前記第１機器の相対位置情報に基づいて前記第１機器が前記所定範囲内から前記所定範囲外に移動したか否かを判定し、前記第１機器が前記所定範囲内から前記所定範囲外に移動したと判定すると、前記第２表示部に表示された前記オブジェクト画像が前記第２表示部から前記第１表示部に移動して表示されるように前記第１表示部および前記第２表示部を制御することを特徴とする画像表示装置。 In the image display device according to any one of claims 1 to 7.
The display control unit determines whether or not the first device has moved from within the predetermined range to outside the predetermined range based on the relative position information of the first device with respect to the second device acquired by the information acquisition unit. When it is determined that the first device has moved from within the predetermined range to outside the predetermined range, the object image displayed on the second display unit is transferred from the second display unit to the first display unit. An image display device characterized in that the first display unit and the second display unit are controlled so as to be moved and displayed. 請求項１〜８のいずれか１項に記載の画像表示装置と、
第１表示部を有し、ユーザが携帯する第１機器と、
第２表示部を有する第２機器と、を備える画像表示システムであって、
前記第１機器および前記第２機器は、絶対位置を検出するＧＰＳセンサ、前記第１機器と前記第２機器と間の距離を検出する測距センサ、または、前記第１機器と前記第２機器との間で電波を送受信する送受信部をさらに有し、
前記第１機器は、姿勢検出センサおよび音声検出センサの少なくとも一方をさらに有することを特徴とする画像表示システム。 The image display device according to any one of claims 1 to 8.
A first device having a first display unit and carried by a user,
An image display system including a second device having a second display unit.
The first device and the second device are a GPS sensor that detects an absolute position, a distance measuring sensor that detects a distance between the first device and the second device, or the first device and the second device. It also has a transmitter / receiver that transmits / receives radio waves to and from.
The first device is an image display system, further comprising at least one of a posture detection sensor and a voice detection sensor. ユーザが携帯する第１機器に設けられる第１表示部と、第２機器に設けられる第２表示部とのいずれかに、ユーザの識別ＩＤに紐付けられたオブジェクト画像を表示させる画像表示方法であって、コンピュータによりそれぞれ実行される、
前記第２機器に対する前記第１機器の相対位置情報と、前記第１機器の姿勢情報および前記第１機器に入力される音声情報の少なくとも一方を含む前記第１機器の操作情報と、を取得する情報取得ステップと、
前記情報取得ステップで取得された前記第２機器に対する前記第１機器の相対位置情報と前記第１機器の操作情報とに基づいて、前記第１機器が前記第２機器を基準とする所定範囲内にあり、かつ、前記第１機器に対する姿勢変化および音声入力の少なくとも一方の操作である所定操作が行われたか否かを判定する操作判定ステップと、
前記操作判定ステップで前記所定操作が行われたと判定されると、前記第２表示部に表示された前記オブジェクト画像が前記第２表示部から前記第１表示部に移動して表示されるように前記第１表示部および前記第２表示部を制御する表示制御ステップと、を含むことを特徴とする画像表示方法。 An image display method in which an object image associated with a user's identification ID is displayed on either the first display unit provided on the first device carried by the user or the second display unit provided on the second device. There are, each executed by the computer,
Acquires the relative position information of the first device with respect to the second device, and the operation information of the first device including at least one of the posture information of the first device and the voice information input to the first device. Information acquisition steps and
Based on the relative position information of the first device with respect to the second device and the operation information of the first device acquired in the information acquisition step, the first device is within a predetermined range based on the second device. An operation determination step for determining whether or not a predetermined operation, which is at least one of the posture change and the voice input for the first device, has been performed.
When it is determined that the predetermined operation has been performed in the operation determination step, the object image displayed on the second display unit is moved from the second display unit to the first display unit and displayed. An image display method including a display control step for controlling the first display unit and the second display unit.
JP2019132082A 2019-07-17 2019-07-17 Image display apparatus, image display system, and image display method Pending JP2021018480A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019132082A JP2021018480A (en) 2019-07-17 2019-07-17 Image display apparatus, image display system, and image display method
CN202010642901.6A CN112241237A (en) 2019-07-17 2020-07-06 Image display device, image display system, and image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019132082A JP2021018480A (en) 2019-07-17 2019-07-17 Image display apparatus, image display system, and image display method

Publications (1)

Publication Number Publication Date
JP2021018480A true JP2021018480A (en) 2021-02-15

Family

ID=74170859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019132082A Pending JP2021018480A (en) 2019-07-17 2019-07-17 Image display apparatus, image display system, and image display method

Country Status (2)

Country Link
JP (1) JP2021018480A (en)
CN (1) CN112241237A (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006154926A (en) * 2004-11-25 2006-06-15 Denso Corp Electronic equipment operation system using character display and electronic apparatuses
JP2006195578A (en) * 2005-01-11 2006-07-27 Toyota Motor Corp Vehicle agent apparatus and agent system
US20070287478A1 (en) * 2006-04-18 2007-12-13 Samsung Electronics Co. Ltd. System and method for transferring character between portable communication devices
JP2009250703A (en) * 2008-04-03 2009-10-29 Toyota Motor Corp On-board machine, and system and method for route guidance
JP2019061341A (en) * 2017-09-25 2019-04-18 Kddi株式会社 Terminal device, program, and system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0454677A (en) * 1990-06-25 1992-02-21 Seiko Epson Corp Portable computer
JP2015128918A (en) * 2014-01-06 2015-07-16 株式会社東海理化電機製作所 Operation device
CN106716340B (en) * 2014-09-29 2019-10-25 夏普株式会社 Portable terminal, the control method of portable terminal and control program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006154926A (en) * 2004-11-25 2006-06-15 Denso Corp Electronic equipment operation system using character display and electronic apparatuses
JP2006195578A (en) * 2005-01-11 2006-07-27 Toyota Motor Corp Vehicle agent apparatus and agent system
US20070287478A1 (en) * 2006-04-18 2007-12-13 Samsung Electronics Co. Ltd. System and method for transferring character between portable communication devices
JP2009250703A (en) * 2008-04-03 2009-10-29 Toyota Motor Corp On-board machine, and system and method for route guidance
JP2019061341A (en) * 2017-09-25 2019-04-18 Kddi株式会社 Terminal device, program, and system

Also Published As

Publication number Publication date
CN112241237A (en) 2021-01-19

Similar Documents

Publication Publication Date Title
CN109391792B (en) Video communication method, device, terminal and computer readable storage medium
US8886399B2 (en) System and method for controlling a vehicle user interface based on gesture angle
JP6426025B2 (en) Information processing device
JP6282188B2 (en) Information processing device
KR20170120145A (en) Systems and methods for providing context-sensitive haptic notification frameworks
KR20150138060A (en) Haptic notification manager
WO2021082483A1 (en) Method and apparatus for controlling vehicle
KR20150137799A (en) Mobile terminal and method for controlling the same
CN110913066A (en) Display method and electronic equipment
JP2017114191A (en) On-vehicle device
CN111078088B (en) Interface control method, electronic device, and computer-readable storage medium
WO2022213733A1 (en) Method and apparatus for acquiring flight route, and computer device and readable storage medium
CN108362303B (en) Navigation method and mobile terminal
CN115357311A (en) Travel information sharing method and device, computer equipment and storage medium
CN107920331B (en) Vehicle positioning method, terminal, server and computer storage medium
WO2014151054A2 (en) Systems and methods for vehicle user interface
JP2021018480A (en) Image display apparatus, image display system, and image display method
CN112717409B (en) Virtual vehicle control method, device, computer equipment and storage medium
JP2020201624A (en) Image displaying device, image displaying system and image displaying method
JP6798608B2 (en) Navigation system and navigation program
JP2020201625A (en) Service providing server, service providing system and service providing method
JP7108716B2 (en) Image display device, image display system and image display method
JP6284648B2 (en) Tactile sensation control system and tactile sensation control method
KR102295245B1 (en) Terminal and event progress control method thereof
US20240105052A1 (en) Information management device, information management method and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230214