CN112241237A - 图像显示装置、图像显示系统以及图像显示方法 - Google Patents
图像显示装置、图像显示系统以及图像显示方法 Download PDFInfo
- Publication number
- CN112241237A CN112241237A CN202010642901.6A CN202010642901A CN112241237A CN 112241237 A CN112241237 A CN 112241237A CN 202010642901 A CN202010642901 A CN 202010642901A CN 112241237 A CN112241237 A CN 112241237A
- Authority
- CN
- China
- Prior art keywords
- display
- display unit
- information
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 8
- 230000008859 change Effects 0.000 claims description 13
- 230000001133 acceleration Effects 0.000 claims description 12
- 230000005484 gravity Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000010079 rubber tapping Methods 0.000 claims 1
- 239000003795 chemical substances by application Substances 0.000 description 22
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000008451 emotion Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000002828 fuel tank Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明提供一种服务器装置(30)，是使与用户的识别ID相关联的对象图像在设置于用户所携带的便携终端(10)的显示器(11)和设置于显示设备(20)的显示器(21)中的任一者上显示的服务器装置(30)，具有：信息获取部(321)，其获取便携终端(10)相对于显示设备(20)的相对位置信息和包含便携终端(10)的姿势信息或输入声音信息的操作信息；操作判定部(322)，其基于所获取的信息来判定便携终端(10)是否处于以显示设备(20)为基准的规定范围内，且判定是否对便携终端(10)实施了规定操作；以及显示控制部(323)，当判定为进行了规定操作时，显示控制部(323)以显示设备(20)上显示的对象图像从显示器(21)移动至显示器(11)并显示的方式，对显示器(11、21)进行控制。
Description
技术领域
本发明涉及一种在多个显示部之间切换图像显示的图像显示装置、图像显示系统以及图像显示方法。
背景技术
作为这种装置，以往已知有使特定的角色图像在便携终端的显示器和移动机器人的显示器中的任一者上显示的装置(例如参见专利文献1)。在专利文献1记载的装置中，在用户输入命令的命令模式下，使角色图像在便携终端的显示器显示，在对用户进行引路的引导模式下，使角色图像在用户附近的机器人的显示器显示。
然而，在专利文献1记载的装置中，当由用户选择的模式从引导模式变为命令模式时，角色图像从机器人的显示器向便携终端的显示器移动，因此在角色图像移动时，需要用户实施模式选择操作，作为针对角色图像的移动指令有不协调感。
现有技术文献
专利文献1：日本特开2000-099871号公报(JP2000-099871A)。
发明内容
本发明的一技术方案为图像显示装置，其为在设置于用户所携带的第1设备上的第1显示部和设置于第2设备上的第2显示部中的任一者上显示与用户的识别ID相关联的对象图像的图像显示装置。图像显示装置具有：信息获取部，其获取第1设备相对于第2设备的相对位置信息、包含第1设备的姿势信息和输入到第1设备的声音信息中的至少一者的第1设备的操作信息；操作判定部，其基于由信息获取部获取的第1设备相对于第2设备的相对位置信息和第1设备的操作信息来判定第1设备是否处于以第2设备为基准的规定范围内，且是否对第1设备实施了姿势变化和声音输入中的至少一种操作即规定操作；以及显示控制部，当由操作判定部判定为进行了规定操作时，以第2显示部上显示的对象图像从第2显示部移动至第1显示部并显示的方式，对第1显示部和第2显示部进行控制。
本发明的另一技术方案为图像显示系统，其具备图像显示装置、具有第1显示部的、由用户携带的第1设备、以及具有第2显示部的第2设备。第1设备和第2设备还具有检测绝对位置的GPS传感器、检测第1设备和第2设备之间的距离的测距传感器或在第1设备和第2设备之间收发电波的收发部。第1设备还具有姿势检测传感器和声音检测传感器中的至少一者。
本发明的又一技术方案为图像显示方法，其为在设置于用户所携带的第1设备上的第1显示部和设置于第2设备上的第2显示部中的任一者上显示与用户的识别ID相关联的对象图像的图像显示方法。图像显示方法包含分别由计算机执行的以下步骤：获取第1设备相对于第2设备的相对位置信息、包括第1设备的姿势信息和输入到第1设备的声音信息中的至少一者的第1设备的操作信息的信息获取步骤；基于在信息获取步骤中获取的第1设备相对于第2设备的相对位置信息和第1设备的操作信息，判定第1设备是否处于以第2设备为基准的规定范围内，且是否对第1设备实施了姿势变化和声音输入中的至少一种操作即规定操作的操作判定步骤；当在操作判定步骤中判定为进行了规定操作时，以第2显示部上显示的对象图像从第2显示部移动至第1显示部并显示的方式对第1显示部和第2显示部进行控制的显示控制步骤。
附图说明
本发明的目的、特征以及优点，通过与附图相关的以下实施方式的说明进一步阐明。
图1A是示出呈现各用户专属的人工智能体的对象图像的一例的图。
图1B是示出用户操作缓慢时的对象图像的一例的图。
图1C是示出用户操作敏捷时的对象图像的一例的图。
图2是概略地示出具有本发明的实施方式的图像显示装置的图像显示系统的整体结构的图。
图3是示出应用图1A～图1C的图像显示系统的车辆的内部结构的立体图。
图4是示出本发明的实施方式的图像显示系统的主要部分结构的框图。
图5A是概略地示出由图4的操作判定部判定的规定操作的一例的立体图。
图5B是概略地示出继图5A之后的规定操作的一例的立体图。
图6A是示出在显示器之间移动的对象图像的显示方式一例的图。
图6B是示出图6A的变形例的图。
图6C是示出图6A的另一变形例的图。
图7是示出由本发明的实施方式的图像显示装置实施的处理的一例的流程图。
具体实施方式
以下参照图1A～图7对本发明一实施方式进行说明。本发明的实施方式的图像显示装置能够应用在各自具有显示部(显示器)的相互独立的多个设备，但以下对应用在用户所携带的便携终端和搭载于车辆的显示设备的例子进行说明。
近年来车辆、机器人等各种设备的共享服务正在普及。在这样的共享服务中，用户使用不是由个人所有的设备，因此与用户使用个人所有的设备时相比较，用户对设备的信赖、感情有可能下降。其结果是，有可能用户使用设备时的满意度下降或者用户对设备的操作变得粗暴等。
为了消除这样的问题，在本实施方式中构成为，由共享服务的经营者等提供在各种设备的显示器显示来支援用户的各用户专属的人工智能体(AI Agent)。这里，智能体在经营者等的服务器中，与预先在共享服务中登记的用户的识别ID相关联地被管理，作为各用户固有的对象图像显示在用户所使用的设备的显示器上。对象图像还被称为智能体图像、化身图像、角色图像等。
图1A～图1C是示出呈现智能体的对象图像的一例的图，示出在用户所携带的便携终端10的触控面板式显示器11显示的对象图像12。如图1A的例子所示，对象图像12由在圆形的轮廓中配置有表达感情的眼睛等的图像构成，作为质感柔软有弹性的图像以在显示器11上轻轻跳跃的方式显示。这样的对象图像12的显示方式由控制器(服务器装置(具体地说是图4的服务器装置30))进行控制。
将对象图像12的显示方式控制为根据用户对智能体(对象图像12)的接触方式而变化。例如控制为根据用户通过触控面板碰触在显示器11上显示的对象图像12时的触控操作的按压力、滑动操作的速度、连续地碰触时的触控操作和滑动操作的时间间隔等而变化。即，控制器以预先设定的标准操作的强度、速度、时间间隔等为基准来评价用户的操作是缓慢还是敏捷，根据评价结果变更对象图像12的显示方式。
具体地说，在触碰对象图像12时的用户的操作较弱、较慢或时间间隔长的情况下，评价为用户的操作缓慢。如图1B所示，将这种情况下的对象图像12控制为以如下方式显示，变更成在显示器11上慢慢地摇摆这样的缓慢的方式，并变成向显示器11下方垂下来的形状。对象图像12运动的速度、形状变化的程度根据用户的操作相对于标准操作的缓慢程度而变化。
另一方面，在用户触碰对象图像12时的操作较强、较快或者时间间隔短的情况下，评价为用户的操作敏捷。如图1C所示，将这种情况下的对象图像12控制为以如下方式显示，变更为在显示器11上快速地飞跃这样的敏捷的方式，并变成在移动方向上延伸的形状。对象图像12运动的速度、形状变化的程度根据用户的操作相对于标准操作的敏捷程度而变化。
还可以构成为，替代用户通过触控面板触碰对象图像12时的操作，或在此基础上根据用户对呈现为对象图像12的智能体的声音操作，对对象图像12的显示方式进行控制。即，可以构成为根据用户进行声音输入的音量、速度、措辞等对对象图像12的显示方式进行控制。
将对象图像12的显示方式控制为还根据设备的使用状态而变化。例如当通过搭载于便携终端10的相机、话筒、指纹传感器等识别出相关联的用户时，控制为对象图像12变化为高兴的表情。此外，当识别出相关联的用户以外的人时，控制为对象图像12变化为惊讶的表情。还能够将对象图像12的显示方式控制为，当接到电话、收到信息时敲击显示器11，控制为配合声音操作、通话中的用户的发言而点头。
这样使人感到生命感，通过构成为将贴近用户的显示方式的对象图像12在使用中的设备的显示器上显示，能够使用户感觉到用户专属的智能体真实存在于设备内这样的存在感(真实存在感)。并且，能够利用这样的对象图像12提高用户对使用中的设备的信赖、感情。
然而，在显示这样的对象图像12并变更使用智能体的设备的情况下，为了不破坏智能体的真实存在感，优选在单个设备显示单个对象图像12。即，优选从之前使用的设备的显示器消除对象图像12的显示，并切换为在接下来要使用的设备的显示器显示对象图像12，使对象图像12移动。
此时，若对象图像12瞬间消除、显示，或切换所使用的设备的操作繁杂，则智能体的真实存在感会被破坏，用户会有不协调感。因此，在本实施方式中，构成为通过用户不会有不协调感的直观的操作，使对象图像12在多个设备的显示器之间移动。
图2是概略地示出具有本发明的实施方式的图像显示装置的图像显示系统的整体结构的图。如图2所示，图像显示系统100具有：用户1所携带的便携终端10、搭载于车辆2的显示设备20以及服务器装置30。
便携终端10、显示设备20以及服务器装置30与包含以互联网、移动电话网等为代表的公共无线通信网的网络4连接，通过网络4能够相互进行通信。另外，网络4还包含每个规定管理区域中设置的封闭的通信网，例如无线局域网、Wi-Fi(注册商标)等。
便携终端10由用户1携带并使用的智能手机、平板电脑终端、移动电话、还有可穿戴式终端等具有作为显示部的显示器的各种便携终端构成。例如便携终端10构成为整体呈近似矩形状的薄型，并且在一个面的几乎整面上设置显示器(参照图1A～图1C)。便携终端10为用户固有的终端，对便携终端10赋予与使用图像显示系统100的用户1相关联的识别ID(用户ID)。
显示设备20由例如具有进行到达目的地的路线引导的导航功能的导航装置构成。图3是示出在车厢内的前部面向驾驶者配置的仪表盘5的一部分的立体图。在图3中用箭头示出车辆2的前后方向和左右方向。如图3所示，整体呈近似矩形状的显示设备20的显示器21固定地配置于仪表盘5的左右方向中央部。用户1在显示设备20使用智能体时，在显示器21显示对象图像12。
图4是示出本发明的实施方式的图像显示系统100的主要部分结构的框图。如图4所示，便携终端10具有：触控面板式的显示器11、基于来自GPS(全球定位系统)卫星的信号检测便携终端10的绝对位置P1(纬度、经度)的GPS装置13、检测便携终端10的姿势和姿势变化的传感器组14、输入声音的话筒15、通过网络4进行通信的通信部16、控制便携终端10的各部分的控制部17以及存储用户ID等各种信息的存储部18。便携终端10还可以是具有键盘、话筒、相机、扬声器等设备。
触控面板式的显示器11由图1A～图1C所示的整体呈近似矩形状的液晶显示器等显示部和与显示部设置成一体的触控传感器110构成。
显示器11的图像显示可以通过网络4由服务器装置30进行控制，也可以通过安装于便携终端10的应用程序在便携终端10侧由控制部17进行控制。在服务器装置30侧控制显示器11的图像显示时，通信部16接收从服务器装置30发送的显示控制信号，控制部17基于接收到的显示控制信号生成图像信号发送至显示器11。
触控传感器110检测用户1是否对显示器11进行了触控操作、触控操作的按压力、显示器11上的触控操作的位置、滑动操作的方向和速度等屏幕操作。
传感器组14由三轴加速度传感器、三轴陀螺仪(角速度)传感器等构成，检测便携终端10的姿势和姿势变化。更具体地说，传感器组14检测便携终端10相对于水平方向的倾斜、便携终端10的移动的方向、移动量、速度、加速度等。
通信部16通过网络4将由触控传感器110检测出的屏幕操作的信息(屏幕操作信息)、由传感器组14检测出的便携终端10的姿势和姿势变化的信息(姿势信息)、通过话筒15输入的声音信息发送至服务器装置30。此外，通信部16通过网络4将由GPS装置13检测出的便携终端10的绝对位置P1的信息(位置信息)发送至服务器装置30。
如图4所示，在车辆2除了设有显示设备20外，还设有基于来自GPS卫星的信号检测车辆2(显示设备20)的绝对位置P2(纬度、经度)的GPS装置24和检测车辆2的行驶速度的车速传感器25等。来自GPS装置24和车速传感器25的信号被输入到显示设备20。
显示设备20具有：显示各种信息的液晶显示器等显示器21(图3)、通过网络4进行通信的通信部22以及控制显示设备20的各部分的控制部23。虽然省略了图示，但显示设备20还具有输入各种指令、信息的输入部、存储各种信息的存储部。显示器21的图像显示也与显示器11的图像显示一样，可以通过网络4由服务器装置30进行控制，也可以通过安装于显示设备20的应用程序在显示设备20侧由控制部23进行控制。
由GPS装置24检测出的车辆2的绝对位置P2的信息(位置信息)和由车速传感器25检测出的车辆2的行驶速度的信息(车速信息)由通信部22通过网络4发送至服务器装置30。
服务器装置30构成本实施方式的图像显示装置。服务器装置30构成为例如单个服务器，或者每个功能都由单独的服务器构成的分散服务器。还能将服务器装置30构成为称为云服务器的在云环境构建的分散型虚拟服务器。服务器装置30包含通信部31、作为工作电路的CPU等运算部32、ROM、RAM等存储部33以及其他周边电路(接口电路等)而构成。
通信部31通过网络4分别与便携终端10和显示设备20进行通信。在存储部33存储由运算部32执行的控制程序、在程序中使用的各种阈值等。存储部33还存储与用户ID建立了对应关系的对象图像12的信息等。运算部32具有信息获取部321、操作判定部322、显示控制部323作为功能性结构。
信息获取部321通过通信部31获取基于从便携终端10和显示设备20发送的来自GPS装置13、24的信号的位置信息，由此获取便携终端10相对于显示设备20的相对位置信息。还获取基于从显示设备20发送的来自车速传感器25的信号的车辆2的车速信息。还获取基于从便携终端10发送的来自传感器组14、话筒15、触控传感器110的信号的便携终端10的姿势信息、声音信息以及屏幕操作信息。
操作判定部322基于由信息获取部321获取的各种信息，判定便携终端10是否处于以显示设备20为基准的规定范围内，且用户1是否对便携终端10进行了规定操作。
规定范围设定在与搭载有显示设备20的车辆2的乘车空间相对应的范围(例如距离车辆2的绝对位置P2三米以内)。操作判定部322基于由信息获取部321获取的便携终端10相对于显示设备20的相对位置信息，判定便携终端10是否处于以显示设备20为基准的规定范围内。由此能够判定便携终端10在车辆2内。
规定操作是反映了将显示对象图像12的设备从显示设备20变更为便携终端10这一用户1的意图的操作。这样的规定操作包括用户1使用便携终端10时的预备动作、召唤在显示设备20使用中的智能体返回到便携终端10的声音操作。
图5A、5B是概略地示出由操作判定部322判定的规定操作的一例的立体图，示出作为用户1使用便携终端10时的预备动作之一的启动便携终端10的操作的一例。在乘坐车辆2，显示对象图像12，正在使用显示设备20中的用户1结束使用车辆2，或在车辆2停车中暂时使用便携终端10时，进行如图5A、5B所示的启动便携终端10的操作。
如图5A、5B所示，当用户1进行启动便携终端10的操作时，便携终端10的姿势从水平方向向铅垂方向变化。操作判定部322通过基于由信息获取部321获取的便携终端10的姿势信息判定用户1是否进行了启动便携终端10的操作，由此来判定将显示对象图像12的设备从显示设备20变更为便携终端10这一用户1的意图。
操作判定部322还可以判定用户1是否进行了将便携终端10向自身方向拉近的操作来代替启动便携终端10的操作。即，在便携终端10由手表型的可穿戴式终端等构成的情况下，会进行拉近便携终端10的操作。拉近便携终端10的操作能够基于由信息获取部321获取的便携终端10以及显示设备20的位置信息和便携终端10的姿势信息，以便携终端10向与显示设备20分离的方向的规定加速度以上的移动的形式来进行判定。或者还可以基于由信息获取部321获取的便携终端10的姿势信息，以便携终端10在重力方向上向上方的规定加速度以上的移动的形式进行判定。
操作判定部322还能够代替启动便携终端10的操作、拉近操作，或在这些操作的基础上，判定用户1是否进行了召唤智能体返回到便携终端10的声音操作、发出敲击声的操作。例如基于信息获取部321获取的声音信息，判定是否通过便携终端10的话筒15输入了“返回来”、“回来”等用户1的声音。或者判定是否以规定间隔、规定次数输入了以发出声音的方式敲击便携终端10主体、位于其周边的车辆2的内外装饰构件(例如乘用车内的中央控制台、两轮车的燃料箱等)的声音、打响指的声音等。
当由操作判定部322判定为用户1进行了规定操作时，显示控制部323以显示器21上显示的对象图像12从显示器21移动至显示器11并显示的方式，对显示器11、21的显示进行控制。
图6A～6C是示出从显示器21移动至显示器11并显示时的对象图像12的显示方式的一例的图，示出刚在显示器11显示后的对象图像12。显示控制部323首先根据存储于存储部33的用户ID与对象图像12之间的对应关系的信息，确定与包含于来自便携终端10的信号中的用户ID相对应的对象图像12的显示形态(形状、运动的速度等)。
然后显示控制部323生成以对象图像12从显示设备20的显示器21消除后以从车辆2的显示设备20跳转到便携终端10的形式在便携终端10的显示器11上显示的方式对显示器11、21的显示进行控制的显示控制信号。
由显示控制部323生成的显示控制信号通过通信部31分别发送至便携终端10和显示设备20。便携终端10当从服务器装置30接收到显示控制信号时，通过在控制部17的处理，根据显示控制信号生成图像信号，对显示器11的显示进行控制。显示设备20当从服务器装置30接收到显示控制信号时，通过在控制部23的处理，根据显示控制信号生成图像信号，对显示器21的显示进行控制。由此控制显示器11、21的显示。
这样，显示控制部323以对象图像12仿佛与用户1使用便携终端10时的预备动作联动或响应用户1的召唤返回到便携终端10那样的方式，对显示器11的显示进行控制。如图6A、6B的例子所示，刚在显示器11显示后的对象图像12以从显示器11的显示屏幕的上方向下方、即从屏幕上的虚拟的重力方向上的上方向下方下落的方式显示。
对象图像12的显示方式中能够反映根据用户1对智能体(对象图像12)的接触方式而变化的质感、特性(缓慢、敏捷)。例如如图6B的例子所示，与操作缓慢的用户1相对应的对象图像12以从显示器11的上方慢慢地垂下而下落的方式显示。
对象图像12还可以根据便携终端10相对于水平方向的倾斜，以从重力方向上的上方向下方下落的方式显示。例如在便携终端10由手表型的可穿戴式终端构成等显示器11朝向重力方向上的上方的情况下，还可以如图6C的例子所示，以摔落在显示器11的表面的方式显示对象图像12。
此外，当停车中的车辆2再次开始行驶时，显示控制部323以显示器11上显示的对象图像12从显示器11移动至显示器21并显示的方式对显示器11、21的显示进行控制。即，当基于由信息获取部321获取的车速信息判定为车辆2开始行驶了时，将对象图像12的显示从便携终端10的显示器11切换为显示设备20的显示器21，使对象图像12移动。
还有，当车辆2在停车中，便携终端10从规定范围内移动至规定范围外时，显示控制部323以显示器21上显示的对象图像12从显示器21移动至显示器11并显示的方式，对显示器11、21的显示进行控制。即，当基于由信息获取部321获取的便携终端10相对于显示设备20的相对位置信息判定为便携终端10移动至规定范围外时，将对象图像12的显示从显示设备20的显示器21切换为便携终端10的显示器11，使对象图像12移动。
图7是示出由本发明的实施方式的图像显示装置执行的处理的一例的流程图，示出按照预先存储的程序在服务器装置30的运算部32(CPU)执行的处理的一例。该流程图所示的处理例如在服务器装置30的电源接通时开始，以规定周期反复进行。
如图7所示，首先在S1(S：处理步骤)，读取通过通信部31获取的来自GPS装置13、24、车速传感器25、传感器组14、话筒15、触控传感器110的信号。即，获取便携终端10相对于显示设备20的相对位置信息、车辆2的车速信息、便携终端10的姿势信息、声音信息以及屏幕操作信息。此时，还获取包含于从便携终端10发送的信息中的用户ID的信息。
接下来在S2，判定在显示设备20的显示器21是否显示着对象图像12。当S2为肯定(S2：是)时进入S3，当为否定(S2：否)时返回到S1。接下来在S3，基于在S1获取的车辆2的车速信息，判定车辆2是否处于停车中。当S3为肯定(S3：是)时进入S4，当为否定(S3：否)时返回到S1。
接下来在S4，基于在S1获取的便携终端10相对于显示设备20的相对位置信息，判定便携终端10是否处于以显示设备20为基准的规定范围内。当S4为肯定(S4：是)时进入S5，当为否定(S4：否)时跳过S5进入S6。在S5，判定用户1是否对便携终端10进行了规定操作。当S5为肯定(S5：是)进入S6，当为否定(S5：否)时返回到S1。
在S6，将对象图像12的显示从显示设备20的显示器21切换到便携终端10的显示器11。由此用户1在车辆2停车中暂时使用便携终端10时，能够通过直观且无不协调感的操作，切换显示器11、21之间的显示，使对象图像12移动。此外，在用户1结束使用车辆2离开了车辆2时，显示器11、21之间的显示被自动地切换，因此能够防止忘记使智能体返回。
接下来在S7获取各种信息，在S8基于在S7获取的便携终端10相对于显示设备20的相对位置信息，判定便携终端10是否处于规定范围内。当S8为肯定(S8：是)时进入S9，当为否定(S8：否)时，判定为用户1结束使用车辆2离开了车辆2，结束处理。
接下来在S9，基于在S7获取的车辆2的车速信息判定车辆2是否开始行驶了。当S9为肯定(S9：是)时进入S10，当为否定(S9：否)时返回到S7。在S10，将对象图像12的显示从便携终端10的显示器11切换到显示设备20的显示器21。由此在用户1结束对便携终端10的暂时使用而再次驾驶车辆2时，显示器11、21之间的显示被自动地切换，因此能够不妨碍用户1的驾驶操作地再次使对象图像12移动至显示设备20。
采用本实施方式能够起到如下的作用效果。
(1)构成图像显示装置的服务器装置30使与用户1的识别ID相关联的对象图像12在设置于用户1所携带的便携终端10的显示器11和设置于显示设备20的显示器21中的任一者上显示。图像显示装置具有：信息获取部321，其获取便携终端10相对于显示设备20的相对位置信息以及包含便携终端10的姿势信息和输入到便携终端10的声音信息中的至少一者的便携终端10的操作信息；操作判定部322，其基于由信息获取部321获取的便携终端10相对于显示设备20的相对位置信息和便携终端10的操作信息来判定便携终端10是否处于以显示设备20为基准的规定范围内，且是否对便携终端10实施了姿势变化和声音输入中的至少一种操作即规定操作；以及显示控制部323，当由操作判定部322判定为进行了规定操作时，显示控制部323以显示器21上显示的对象图像12从显示器21移动至显示器11并显示的方式，对显示器11和显示器21进行控制(图4)。
采用这样的结构，能够通过反映了用户1的意图的直观的操作来对显示对象图像12的显示器11、21进行切换，能够在不给用户1带来不协调感的情况下使对象图像12移动。此外，通过使各用户1固有的对象图像12在显示器21显示，也能提高用户1对不是用户1个人所有的共享车辆2的信赖、感情，能够提高用户使用车辆2时的满意度。
(2)规定操作包括使便携终端10的姿势从水平方向变化为铅垂方向的姿势变化的操作。即，与作为用户1使用智能手机型等的便携终端10时的预备动作之一的启动便携终端10的姿势变化的操作联动，对显示对象图像12的显示器11、21进行切换，移动对象图像12。因此，用户1无需操作便携终端10将对象图像12的显示从关闭切换为开启，就能感觉到智能体与使用便携终端10时的预备动作联动地从车辆2的显示设备20返回。
(3)规定操作包括向与显示设备20分离的方向以规定加速度以上的加速度移动便携终端10的姿势变化的操作或在重力方向上以规定加速度以上的加速度向上方移动便携终端10的姿势变化的操作。即，还能够与作为用户1使用手表型的可穿戴式终端等便携终端10时的预备动作之一的拉近便携终端10的姿势变化的操作联动，对显示对象图像12的显示器11、21进行切换。
(4)规定操作包括向便携终端10输入规定声音的声音输入的操作。即，还能够替代使用便携终端10时的预备动作(姿势变化的操作)，或者在其基础上根据用户1的声音、敲击声发出的召唤(声音输入的操作)来对显示对象图像12的显示器11、21进行切换。由此，即使在用户1无法抽出手的状况下也能对显示对象图像12的显示器11、21进行切换。或者能够通过对预备动作和召唤进行组合来进行切换，由此来防止非用户1意图的对象图像12的移动。此外，通过根据敲击声来判断有无召唤，能够方便在车辆2有同乘者的情况下羞于与智能体说话的用户1使用。
(5)在显示器11的显示屏幕上不拘泥于重力方向地预先规定上下方向。显示控制部323在以显示器21上显示的对象图像12从显示器21移动至显示器11并显示的方式对显示器11、21进行控制时，以对象图像12以从显示器11的显示屏幕的上方向下方或从重力方向上的上方向下方下落的形式显示的方式，对显示器11进行控制。即，对象图像12不是瞬间地显示在便携终端10的显示器11，而是以彷佛飞跃到便携终端10的方式显示。因此不会破坏智能体的真实存在感，用户1能够无不协调感地直观地掌握智能体的返回。
(6)显示设备20搭载于车辆2(图3)。规定范围是与车辆2的乘车空间相对应的范围。由此便携终端10在车辆2内时，与用户1的操作相应的对象图像12从车辆2的显示设备20的显示器21向便携终端10的显示器11的移动受到限制。因此能够防止在车辆2侧使用中的智能体根据车辆2外的便携终端10的姿势变化等而违反用户1意图地移动。此外，对象图像12的移动需要乘车中的用户1进行召回智能体的操作，因此对于用户1来说智能体的真实存在感提高。
(7)显示设备20搭载于车辆2(图3)。信息获取部321还获取车辆2的车速信息。显示控制部323基于由信息获取部321获取的车辆2的速度信息判定车辆2是否处于停车中和车辆2是否开始行驶了，当判定为车辆2在停车中时，以操作判定部322判定为进行了规定操作作为条件，以显示器21上显示的对象图像12从显示器21移动至显示器11并显示的方式，对显示器11、21进行控制，之后，当判定为车辆2开始行驶了时，以显示器11上显示的对象图像12从显示器11移动至显示器21并显示的方式，对显示器11、21进行控制。由此在用户1结束对便携终端10的暂时使用而再次驾驶车辆2时，显示器11、21之间的显示被自动地切换，因此不会妨碍用户1的驾驶操作。
(8)显示控制部323基于由信息获取部321获取的便携终端10相对于显示设备20的相对位置信息来判定便携终端10是否从规定范围内移动到了规定范围外，当判定为便携终端10从规定范围内移动到了规定范围外时，以显示器21上显示的对象图像12从显示器21移动至显示器11并显示的方式，对显示器11、21进行控制。由此在用户1结束使用车辆2离开了车辆2时，显示器11、21之间的显示被自动地切换，因此能够防止忘记使智能体返回。
另外，在上述实施方式中，服务器装置30使对象图像12在便携终端10的显示器11和显示设备20的显示器21中的任一者上显示，但图像显示装置用于显示对象图像的第1设备和第2设备的构成不限于此。例如第2设备也可以是机器人、数字标牌、与第1设备相独立的便携终端等。
在上述实施方式中，在图1A～1C、图3等中，例举了整体呈近似矩形状的显示器11、21，但第1显示部、第2显示部不限于这样的设备。例如可以由车辆的整个仪表盘构成显示部，也可以是车辆、机器人等整体构成显示部。即，可以用有透光性的材质构成车辆、机器人等的外部装饰面，整体构成得如发光的灯泡那样，也可以用有机EL(电致发光)等的曲面显示器构成外部装饰面。
在上述实施方式中，信息获取部321获取基于来自GPS装置13、24的信号的便携终端10和显示设备20(车辆2)的位置信息，由此获取便携终端10相对于显示设备20的相对位置信息，但信息获取部获取的相对位置信息不限于此。例如还可以获取通过解析搭载于便携终端10、车辆2的相机的图像而检测出的便携终端10相对于显示设备20的相对位置的信息。此外，还可以获取便携终端10和车辆2是否处于相互收发的红外线、无线通信的电波到达的范围内的信息作为便携终端10相对于显示设备20的相对位置的信息。
在上述实施方式中，将对象图像12作为规定形状的图像显示在显示器11、21，但图像的形态可以是任何形态。还可以是不具有表达感情的眼睛等的形态。
既能够任意组合上述实施方式和变形例的一个或者多个，也能够将各变形例彼此组合。
采用本发明，能够使对象图像在第1设备的第1显示部和第2设备的第2显示部之间对于用户来说无不协调感地移动。
上文结合优选实施方式对本发明进行了说明，本领域技术人员应理解为能够在不脱离后述权利要求书的公开范围的情况下进行各种修改和变更。
Claims (13)
1.一种图像显示装置(30)，其为使与用户的识别ID相关联的对象图像(12)在设置于用户所携带的第1设备(10)的第1显示部(11)和设置于第2设备(20)的第2显示部(21)中的任一者上显示的图像显示装置(30)，其特征在于，具有：
信息获取部(321)，其获取所述第1设备(10)相对于所述第2设备(20)的相对位置信息以及包含所述第1设备(10)的姿势信息和输入到所述第1设备(10)的声音信息中的至少一者的所述第1设备(10)的操作信息；
操作判定部(322)，其基于由所述信息获取部(321)获取的所述第1设备(10)相对于所述第2设备(20)的相对位置信息和所述第1设备(10)的操作信息，判定所述第1设备(10)是否处于以所述第2设备(20)为基准的规定范围内，且是否对所述第1设备(10)实施了姿势变化和声音输入中的至少一种操作即规定操作；以及
显示控制部(323)，当由所述操作判定部(322)判定为进行了所述规定操作时，所述显示控制部(323)，以所述第2显示部(21)上显示的所述对象图像(12)从所述第2显示部(21)移动至所述第1显示部(11)并显示的方式，对所述第1显示部(11)和所述第2显示部(21)进行控制。
2.根据权利要求1所述的图像显示装置(30)，其特征在于，
所述规定操作包括使所述第1设备(10)的姿势从水平方向变化为铅垂方向的姿势变化的操作。
3.根据权利要求1所述的图像显示装置(30)，其特征在于，
所述规定操作包括使所述第1设备(10)向与所述第2设备(20)分离的方向以规定加速度以上的加速度移动的操作或使所述第1设备(10)在重力方向上向上方以所述规定加速度以上的加速度移动的姿势变化的操作。
4.根据权利要求1至3中任一项所述的图像显示装置(30)，其特征在于，
所述规定操作包括向所述第1设备(10)输入规定声音的声音输入的操作。
5.根据权利要求4所述的图像显示装置(30)，其特征在于，
所述规定操作包括以规定间隔、规定次数输入以发出声音的方式敲击所述第1设备(10)或周边物体的声音或打响指的声音的操作。
6.根据权利要求1至5中任一项所述的图像显示装置(30)，其特征在于，
在所述第1显示部(11)的显示屏幕上不拘泥于重力方向地预先规定上下方向，
所述显示控制部(323)在以所述第2显示部(21)上显示的所述对象图像(12)从所述第2显示部(21)移动至所述第1显示部(11)并显示的方式对所述第1显示部(11)和所述第2显示部(21)进行控制时对所述第1显示部(11)进行控制，以使所述对象图像(12)以从所述第1显示部(11)的显示屏幕的上方向下方或从重力方向上的上方向下方下落的方式显示。
7.根据权利要求1至5中任一项所述的图像显示装置(30)，其特征在于，
所述第2设备(20)搭载于车辆(2)，
所述规定范围是与所述车辆(2)的乘车空间相对应的范围。
8.根据权利要求7所述的图像显示装置(30)，其特征在于，
所述车辆(2)为乘用车或两轮车。
9.根据权利要求8所述的图像显示装置(30)，其特征在于，
所述规定操作包括以规定间隔、规定次数输入以发出声音的方式敲击所述第1设备(10)周边的所述车辆的内外部装饰构件的声音或打响指的声音的操作。
10.根据权利要求1至8中任一项所述的图像显示装置(30)，其特征在于，
所述第2设备(20)搭载于车辆(2)，
所述信息获取部(321)还获取所述车辆(2)的速度信息，
所述显示控制部(323)基于由所述信息获取部(321)获取的所述车辆(2)的速度信息来判定所述车辆(2)是否处于停车中和所述车辆(2)是否开始行驶了，当判定为所述车辆(2)处于停车中时，以所述操作判定部(322)判定为进行了所述规定操作为条件，以所述第2显示部(21)上显示的所述对象图像(12)从所述第2显示部(21)移动至所述第1显示部(11)并显示的方式，对所述第1显示部(11)和所述第2显示部(21)进行控制，之后当判定为所述车辆(2)开始行驶了时，以所述第1显示部(11)上显示的所述对象图像(12)从所述第1显示部(11)移动至所述第2显示部(21)并显示的方式，对所述第1显示部(11)和所述第2显示部(21)进行控制。
11.根据权利要求1至9中任一项所述的图像显示装置(30)，其特征在于，
所述显示控制部(323)基于由所述信息获取部(321)获取的所述第1设备(10)相对于所述第2设备(20)的相对位置信息来判定所述第1设备(10)是否从所述规定范围内移动到了所述规定范围外，当判定为所述第1设备(10)从所述规定范围内移动到了所述规定范围外时，以所述第2显示部(21)上显示的所述对象图像(12)从所述第2显示部(21)移动至所述第1显示部(11)并显示的方式，对所述第1显示部(11)和所述第2显示部(21)进行控制。
12.一种图像显示系统(100)，其特征在于，
具备权利要求1至11中任一项所述的图像显示装置(30)；具有第1显示部(11)的、由用户携带的第1设备(10)；以及具有第2显示部(21)第2设备(20)，
所述第1设备(10)和所述第2设备(20)还具有：检测绝对位置的GPS传感器(13、24)、检测所述第1设备(10)与所述第2设备(20)之间的距离的测距传感器或在所述第1设备(10)与所述第2设备(20)之间收发电波的收发部，
所述第1设备(10)还具有姿势检测传感器(14)和声音检测传感器(15)中的至少一者。
13.一种图像显示方法，为使与用户的识别ID相关联的对象图像(12)在设置于用户所携带的第1设备(10)的第1显示部(11)和设置于第2设备(20)的第2显示部(21)中的任一者上显示的图像显示方法，其特征在于，包括如下分别由计算机执行的步骤：
获取所述第1设备(10)相对于所述第2设备(20)的相对位置信息以及包括所述第1设备(10)的姿势信息和输入到所述第1设备(10)的声音信息中的至少一者的所述第1设备(10)的操作信息的信息获取步骤；
基于在所述信息获取步骤中获取的所述第1设备(10)相对于所述第2设备(20)的相对位置信息和所述第1设备(10)的操作信息，判定所述第1设备(10)是否处于以所述第2设备(20)为基准的规定范围内，且判定是否对所述第1设备(10)实施了姿势变化和声音输入中的至少一种操作即规定操作的操作判定步骤；以及
当在所述操作判定步骤中判定为进行了所述规定操作时，以所述第2显示部(21)上显示的所述对象图像(12)从所述第2显示部(21)移动至所述第1显示部(11)并显示的方式对所述第1显示部(11)和所述第2显示部(21)进行控制的显示控制步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019-132082 | 2019-07-17 | ||
| JP2019132082A JP2021018480A (ja) | 2019-07-17 | 2019-07-17 | 画像表示装置、画像表示システムおよび画像表示方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112241237A true CN112241237A (zh) | 2021-01-19 |
Family
ID=74170859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010642901.6A Pending CN112241237A (zh) | 2019-07-17 | 2020-07-06 | 图像显示装置、图像显示系统以及图像显示方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2021018480A (zh) |
| CN (1) | CN112241237A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0454677A (ja) * | 1990-06-25 | 1992-02-21 | Seiko Epson Corp | 携帯型コンピュータ |
| CN105813901A (zh) * | 2014-01-06 | 2016-07-27 | 株式会社东海理化电机制作所 | 操作装置 |
| CN106716340A (zh) * | 2014-09-29 | 2017-05-24 | 夏普株式会社 | 便携终端、便携终端的控制方法以及控制程序 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006154926A (ja) * | 2004-11-25 | 2006-06-15 | Denso Corp | キャラクタ表示を利用した電子機器操作システム及び電子機器 |
| JP4371057B2 (ja) * | 2005-01-11 | 2009-11-25 | トヨタ自動車株式会社 | 車両用エージェント装置、エージェントシステム及びエージェント制御方法 |
| KR100750633B1 (ko) * | 2006-04-18 | 2007-08-20 | 삼성전자주식회사 | 휴대 단말기 간의 캐릭터 전이 시스템 및 방법 |
| JP5380883B2 (ja) * | 2008-04-03 | 2014-01-08 | トヨタ自動車株式会社 | 車載機及び経路案内システム並びに経路案内方法 |
| JP6698600B2 (ja) * | 2017-09-25 | 2020-05-27 | Kddi株式会社 | 端末装置、プログラム及びシステム |
-
2019
- 2019-07-17 JP JP2019132082A patent/JP2021018480A/ja active Pending
-
2020
- 2020-07-06 CN CN202010642901.6A patent/CN112241237A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0454677A (ja) * | 1990-06-25 | 1992-02-21 | Seiko Epson Corp | 携帯型コンピュータ |
| CN105813901A (zh) * | 2014-01-06 | 2016-07-27 | 株式会社东海理化电机制作所 | 操作装置 |
| CN106716340A (zh) * | 2014-09-29 | 2017-05-24 | 夏普株式会社 | 便携终端、便携终端的控制方法以及控制程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021018480A (ja) | 2021-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107107841B (zh) | 信息处理装置 | |
| CN108430819B (zh) | 车载装置 | |
| JP6282188B2 (ja) | 情報処理装置 | |
| JP6487516B2 (ja) | 自動運転車及び自動運転車用プログラム | |
| US20130141429A1 (en) | Map display manipulation apparatus | |
| JP6387133B2 (ja) | 自動運転車及び自動運転車用プログラム | |
| JP6009583B2 (ja) | 電子機器 | |
| JP2019144756A (ja) | 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法 | |
| JP7263187B2 (ja) | 情報処理装置及び方法 | |
| WO2020130031A1 (ja) | ナビゲーションシステム | |
| CN112241237A (zh) | 图像显示装置、图像显示系统以及图像显示方法 | |
| JP6979722B2 (ja) | 自動運転車及び自動運転車用プログラム | |
| JP6139941B2 (ja) | 車両用情報表示システム | |
| JP6798608B2 (ja) | ナビゲーションシステムおよびナビゲーションプログラム | |
| CN111568447A (zh) | 信息处理装置和信息处理方法 | |
| JP6139940B2 (ja) | 車両用情報表示システム | |
| JP2020201625A (ja) | サービス提供サーバ、サービス提供システムおよびサービス提供方法 | |
| US11733951B2 (en) | Image display apparatus, image display system and image display method | |
| JP2020201624A (ja) | 画像表示装置、画像表示システムおよび画像表示方法 | |
| JP6687978B2 (ja) | ナビゲーションシステム及びナビゲーション装置 | |
| KR20220098339A (ko) | 차량용 스크린의 제어 방법 및 장치, 전자 기기 및 저장 매체 | |
| JP2020101525A (ja) | ナビゲーションシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |