CN111868674A - 便携信息终端 - Google Patents

便携信息终端 Download PDF

Info

Publication number
CN111868674A
CN111868674A CN201880091123.7A CN201880091123A CN111868674A CN 111868674 A CN111868674 A CN 111868674A CN 201880091123 A CN201880091123 A CN 201880091123A CN 111868674 A CN111868674 A CN 111868674A
Authority
CN
China
Prior art keywords
information terminal
unit
portable information
image
touch panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880091123.7A
Other languages
English (en)
Inventor
吉泽和彦
桥本康宣
鹤贺贞雄
吉田进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN111868674A publication Critical patent/CN111868674A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供一种便携信息终端，包括具有图像显示部和触摸面板部的触摸屏，能利用对触摸屏的触摸操作来发出指示，其包括：使图像显示部显示对象的显示控制部，其中该对象能够被实施触摸操作；取得对触摸屏进行触摸操作的操作指示物的影像的图像输入部；和晃动检测部，其分析由图像输入部取得的操作指示物的影像，计算以便携信息终端的位置为基准的操作指示物的相对晃动量。显示控制部基于晃动检测部计算出的操作指示物的相对晃动量，使显示在图像显示部上的对象以追随相对晃动量的方式发生偏移。由此，能够减少在摇晃的车辆内使用便携信息终端时因触摸位置错位而引起的误操作。

Description

便携信息终端
技术领域
本发明涉及具有触摸屏的便携信息终端的防误操作技术。
背景技术
智能手机和平板终端等便携信息终端的普及正在推进之中。这些便携信息终端具有触摸屏，用户能够通过在触摸屏上进行触摸操作，来对便携信息终端发出所希望的操作指示。例如，用户能够对触摸屏上的显示有图标等的区域用手指等进行触摸，来启动与触摸位置的图标关联的应用程序。
通常而言，触摸屏上的图标等对象(object)的显示位置被设定为与检测上述对象是否被实施了触摸操作的操作检测区域大致一致。由此，在触摸的位置偏离了对象的显示位置(操作检测区域)的情况下，该触摸操作不会被判断为是针对上述对象的操作指示，而是成为误操作。
关于这一点，专利文献1公开了一种在选择屏幕上的移动的对象时降低误操作的可能性的技术。上述专利文献1记载了这样的内容，“对于屏幕上显示的每个显示对象，按照所述屏幕上的显示对象的移动速度，将接受输入单元的坐标输入的反应区域设定得比该显示对象的显示范围大”。
现有技术文献
专利文献
专利文献1：日本特开2012-217101号公报
发明内容
发明要解决的技术问题
上述专利文献1针对的是屏幕上显示的对象移动着的情况，但在屏幕上的对象静止着的情况下也存在发生误操作的可能。例如，在用户搭乘电车或机动车等时使用便携信息终端的情况下，存在因车辆摇晃而引起误操作的可能。具体而言，设想用户用左手握持便携信息终端的外壳，并用右手的手指(或者右手握持的触控笔等)对触摸屏进行触摸操作的情况。随着车辆摇晃，用户的左手和右手会发生摇晃，但两者的摇晃程度并不一定一致，结果会导致触摸到触摸屏上的与意图的位置不同的位置。即，在摇晃的车辆内操作便携信息终端的情况下，即使触摸目标是屏幕上静止的对象，也存在发生误操作的可能。关于这样的状况下发生的误操作，上述专利文献1并没有任何考虑。
本发明的目的在于，对于具有触摸屏的便携信息终端，降低在摇晃的车辆内使用时发生的误操作。
解决问题的技术手段
为解决上述问题，本发明的便携信息终端之有代表性者采用下述结构，其中，包括具有图像显示部和触摸面板部的触摸屏，能利用对所述触摸屏的触摸操作来发出指示，包括：使所述图像显示部显示对象的显示控制部，其中所述对象能够被实施触摸操作；取得对所述触摸屏进行触摸操作的操作指示物的影像的图像输入部；和晃动检测部，其分析由所述图像输入部取得的所述操作指示物的影像，计算以所述便携信息终端的位置为基准的所述操作指示物的相对晃动量，基于所述晃动检测部计算出的所述操作指示物的相对晃动量，所述显示控制部使显示在所述图像显示部上的对象以追随所述相对晃动量的方式发生偏移。
发明效果
采用本发明，在摇晃的车辆内使用具有触摸屏的便携信息终端的情况下，能够降低误操作，提高用户的易用性。
附图说明
图1A是表示便携信息终端之一例的外观图。
图1B是表示便携信息终端上显示的主屏幕之一例的图。
图2A是表示便携信息终端的硬件结构之一例的图。
图2B是表示便携信息终端的软件结构之一例的图。
图3A是说明便携信息终端上的误操作的发生的图。
图3B是说明实施例1中的防误操作处理的图。
图4是便携信息终端的前置摄像头的结构图。
图5A是表示实施例1中的防误操作处理的流程图。
图5B是说明S106的处理(操作指示物有否判断)的细节的图。
图6是说明实施例2中的防误操作处理的图。
图7A是说明实施例3中的防误操作处理的图。
图7B是表示实施例3中的防误操作处理的流程图。
图8A是实施例4中的防误操作用的确认画面的图。
图8B是表示实施例4中的防误操作处理的流程图。
图9A是表示经由视听装置使用便携信息终端的状态的图(实施例5)。
图9B是说明实施例5中的防误操作处理的图。
具体实施方式
下面使用附图对本发明的实施方式进行说明。本实施例的便携信息终端可以是移动电话和智能手机、平板终端等。也可以是HMD(Head Mounted Display)等头戴式信息终端。并且，也可以通过将智能手机或平板终端等固定在适配器上代替头戴式信息终端。除此以外，只要是具有触摸屏的数字设备就是适用对象，例如可以是PDA(Personal DigitalAssistants)、笔记本型PC(Personal Computer)、电子书阅读器、数字静态相机、可拍摄动态影像的摄像机、便携式游戏机等。下文主要以智能手机为例进行说明。在以下实施例中，以用户对显示在触摸屏上的图标等进行触摸操作的情况为例进行说明，但操作对象不限于图标，可以是文字、图形、地图等任意的对象(object)。
实施例1
[便携信息终端的外观]
图1A是表示便携信息终端100之一例的外观图。此处，对于便携信息终端100是智能手机的情况，(a)表示正面(前表面)图，(b)表示背面(后表面)图。
(a)中，在便携信息终端100的正面除了触摸屏180之外，还设置有工作指示器124、第一图像输入部133、第二图像输入部134和单声道扬声器142。触摸屏180由后述的触摸面板123和图像显示部131构成，是供用户进行触摸操作、并且显示图标等对象(object)的屏幕。工作指示器124通过LED(Light Emitting Diode)是否点亮/闪烁来通知便携信息终端100的工作状态。第一图像输入部133和第二图像输入部134是通过拍摄正面一侧的被摄体来输入图像信号的“前置摄像头”。其中，第一图像输入部133用于获取“操作指示物”的图像，该“操作指示物”是对便携信息终端100进行触摸操作的用户的手指等。第二图像输入部134用于获取用户的自拍图像。
(b)中，在便携信息终端100的背面设置有触摸传感器122、第三图像输入部135、辅助光发光/红外线测距器136、立体声扬声器143。第三图像输入部135是通过拍摄背面一侧的被摄体来输入图像信号的“后置摄像头”。辅助光发光/红外线测距器136能够在从第三图像输入部135输入图像时发出辅助光用于弥补光量不足。另外，辅助光发光/红外线测距器136能够使用红外线测量与对象物之间的距离。
在便携信息终端100的顶面设置有作为操作按键121(后述)之一的电源按键121p。便携信息终端100的底面设置有声音输入部145、作为扩展接口部170(后述)之一的μ-USB输入部170u。
另外，触摸传感器122也可以不配置在便携信息终端100的背面，而是配置在侧面或正面下部(与触摸屏180不重合的部分)等。另外，也可以使触摸屏180的触摸面板123兼具触摸传感器122的功能。该情况下，能够在触摸屏180上的任意位置执行触摸传感器122的功能(例如指纹认证功能)。
[便携信息终端的主屏幕]
图1B是表示便携信息终端100上显示的主屏幕(主显示画面)之一例的图。触摸屏180上显示的主屏幕180a包括主功能图标显示区域180a1、通常图标显示区域180a2、其他信息显示区域180a3、控制按键区域180a4、通知区域180a5。主屏幕180a是在便携信息终端100接通电源后、休眠状态解除后以及在任意应用程序执行中触摸了主屏幕按键的情况下显示的基本画面。
主功能图标显示区域180a1是与便携信息终端100中频繁使用的主要应用程序关联的图标的显示区域。通常图标显示区域180a2是与其他应用程序关联的图标的显示区域。其他信息显示区域180a3是显示时间信息和气象信息等通常的信息的区域。控制按键区域180a4是显示“后退按键”、“主屏幕按键”、“应用历史按键”的区域。通知区域180a5是用于通知信号强度状态和电池剩余量等信息的区域。
用户在想要从主屏幕180a启动规定的应用程序的情况下，能够通过对显示在主功能图标显示区域180a1或通常图标显示区域180b2的目标图标(对象)进行触摸操作，来发出启动指示。
[便携信息终端的硬件结构]
图2A是表示便携信息终端100的硬件结构之一例的图。便携信息终端100包括主控制部101、系统总线102、ROM103、RAM104、存储部110、操作输入部120、图像处理部130、声音处理部140、传感器部150、通信部160、扩展接口部170。
主控制部101是按照规定的动作程序对整个便携信息终端100进行控制的微处理器单元。系统总线102是用于在主控制部101与便携信息终端100内的各动作模块之间收发各种命令和数据的数据通信通路。
ROM(Read Only Memory)103是保存了操作系统等基本动作程序和其他动作程序(应用程序，下同)的存储器，例如使用EEPROM(Electrically Erasable ProgrammableROM)和闪存ROM这样的可擦写的ROM。RAM(Random Access Memory)104是基本动作程序和其他动作程序执行时的工作区域。ROM103和RAM104可以采用与主控制部101一体形成的结构。另外，ROM103也可以不像图2A所示那样采用独立结构，而是使用存储部110内的一部分存储区域。
存储部110存储便携信息终端100的动作程序和动作设定值、便携信息终端100的合法用户的个人信息和认证信息等。此外，能够存储从网络上下载的动作程序和由该动作程序生成的各种数据等。还能够存储从网络上下载的动态图像、静止图像和声音等内容。另外，能够存储使用摄像功能拍摄的动态图像和静止图像等数据。可以用存储部110的一部分区域代替全部或部分ROM103的功能。存储部110需要在没有从外部对便携信息终端100供给电源的状态下也能够保持所存储的信息。从而，例如使用闪存ROM和SSD(Solid StateDrive)等半导体元件存储器、HDD(Hard Disc Drive)等磁盘驱动器等器件。另外，ROM103和存储部110中存储的各动作程序能够通过从网络上的各服务器装置下载来实现更新和功能扩展。
操作输入部120是用于输入对便携信息终端100发出的操作指示的指示输入部。操作输入部120包括由按钮开关等排列而成的操作按键121、基于静电电容的变化来检测用户手指的触摸的触摸传感器122、重叠地配置在图像显示部131上的触摸面板123。此外，作为其他的操作设备，也可以使用与扩展接口部170连接的键盘、通过有线通信或无线通信连接的其他便携终端设备等。或者也可以通过声音输入进行便携信息终端100的操作。另外，触摸传感器122具有检测触摸在传感器部的手指的指纹或掌纹的功能。
图像处理部130包括图像显示部131、图像信号处理部132、第一图像输入部133、第二图像输入部134、第三图像输入部135。图像显示部131例如是液晶面板等显示设备，显示经图像信号处理部132处理的图像数据，提供给便携信息终端100的用户。图像信号处理部132包括未图示的图形RAM，基于输入的图像数据驱动图像显示部131。另外，图像信号处理部132根据需要进行编码影像信号的解码处理、格式转换处理、叠加菜单和其他OSD(OnScreen Display)信号的处理等。第一图像输入部133、第二图像输入部134和第三图像输入部135是前置摄像头、后置摄像头等拍摄单元，使用CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)传感器等电子器件将通过镜头输入的光转换为电信号，获取被摄体的图像数据。
声音处理部140包括声音输出部141、声音信号处理部144、声音输入部145。声音输出部141是扬声器，向便携信息终端100的用户提供经声音信号处理部144处理的声音信号。声音输出部141由单声道扬声器和立体声扬声器构成。声音信号处理部144根据需要进行编码声音信号的解码处理等。声音输入部145是麦克风，将用户的声音等转换为声音数据输入。
传感器部150是用于检测便携信息终端100的状态的各种传感器组。传感器包括GPS(Global Positioning System)接收部151、陀螺仪传感器152、地磁传感器153、加速度传感器154，检测便携信息终端100的位置、倾斜、方位、运动。除此以外，也可以包括照度传感器、接近传感器、气压传感器等，检测周围的亮度、周围物体的接近状况等。
通信部160包括LAN(Local Area Network)通信部161、电话网通信部162、NFC(Near Field Communication)部163。LAN通信部161经由接入点等连接到互联网等网络，与网络上的各服务器装置进行数据的收发。电话网通信部162通过与移动电话通信网的基站等之间的无线通信进行电话通信(通话)和数据的收发。NFC部163在靠近对应的读取器/写入器时进行无线通信。进而，通信部160也可以包括BlueTooth(注册商标)通信部和红外线通信部。
扩展接口部170是用于扩展便携信息终端100的功能的接口组，由影像/声音接口、USB(Universal Serial Bus)接口、存储器接口等构成。影像/声音接口用于与外部影像/声音设备进行影像信号/声音信号的输入/输出。USB接口与PC或键盘、其他USB设备连接，进行数据的收发。存储器接口与存储卡或其他存储介质连接，进行数据的收发。
图2A所示的便携信息终端100的结构例包括了多个对于本实施例的动作并非必需的结构，即使不具有它们也无损本实施例的效果。
[便携信息终端的软件结构例]
图2B是表示便携信息终端100的软件结构之一例的图。此处表示了存储部110(或ROM103，下同)和RAM104中的软件的结构。存储部110中存储有基本动作程序1001、状态检测程序1002、晃动检测程序1003、显示控制程序1004、区域控制程序1005、其他动作程序1009。存储部110还包括各种信息存储区域1019，用于存储能够标识便携信息终端100的终端标识信息、能够标识便携信息终端100的用户的用户标识信息等其他的信息。
存储部110中存储的基本动作程序1001被加载至RAM104，由主控制部101执行上述加载的基本动作程序来构成基本动作部1101。同样地，状态检测程序1002、晃动检测程序1003、显示控制程序1004、区域控制程序1005和其他动作程序1009分别被加载至RAM104，由主控制部101执行上述加载的各动作程序，构成状态检测部1102、晃动检测部1103、显示控制部1104、区域控制部1105和其他动作部1109。另外，RAM104包括临时存储区域1200用于临时存储各动作程序执行时生成的数据。
下文为简化动作的说明，对于由主控制部101将存储在存储部110中的基本动作程序1001加载至RAM104加以执行来进行各动作模块的控制的处理，将其记作由基本动作部1101进行各动作模块的控制。对于由其他动作程序实现的其他功能模块的动作，也采用同样的记载。
状态检测部1102对使用传感器部150的传感器组检测便携信息终端100的动作状态(位置信息和摇晃状况等)的处理进行控制。晃动检测部1103基于从第一图像输入部133取得的图像，检测操作指示物(用户的手指或触控笔等)相对于便携信息终端100的相对晃动量(抖动量)。显示控制部1104按照晃动检测部1103检测出的操作指示物的晃动量，相应地进行图像显示部131的显示控制。区域控制部1105按照晃动检测部1103检测出的操作指示物的晃动量，相应地进行触摸面板123的操作检测区域的控制。
上述各动作程序在产品出厂时已预先存储在存储部110中。或者，也可以在产品出厂后，从网络上的各服务器装置经由LAN通信部161或电话网通信部162等取得各程序。另外，也可以经由扩展接口部170等取得保存在存储卡或光盘等中的上述各动作程序。
[防误操作处理]
下面说明对便携信息终端100的触摸屏180进行触摸操作的情况下的误操作的发生和防误操作处理。
图3A是说明便携信息终端100上的误操作的发生的图。在用户搭乘电车或机动车等车辆时使用便携信息终端100的情况下，会因车辆摇晃而发生误操作。图中上部是表示用户正在操作的便携信息终端100的正面(操作面)的图，图中下部是表示便携信息终端100的下部侧面的图。
例如，设想用户用左手201握持便携信息终端100并用右手的手指200进行触摸操作的情况。如(a)所示，触摸屏180(图像显示部131)上显示了包含图标类等的画面(主屏幕)180a，用户想要用手指200触摸目标图标180i1。此时，若车辆发生摇晃，如(b)所示，假设握持便携信息终端100的左手例如向左晃动，而右手的手指200例如向右晃动。结果如(c)所示，用户触摸到的将不是目标图标180i1，而是与其相邻的其他图标180i2，发生误操作。此时，随着车辆的摇晃，若便携信息终端100的晃动的方向/大小与右手的手指200的晃动的方向/大小一致，将不会发生误操作。但实际上，取决于用户的姿势等，两者的晃动的方向/大小不一致的情况较多，误操作无法避免。
图3B是说明本实施例中的防误操作处理的图。其描述的是在与图3A相同的操作状态下进行防误操作处理的情况。如(a)所示，位于正面一侧的第一图像输入部(前置摄像头)133取得要触摸目标图标180i1的手指200的图像。接着，当如(b)所示发生车辆摇晃时，晃动检测部1103对第一图像输入部133取得的手指200的图像进行分析，计算以便携信息终端100的外壳位置为基准的手指200的位置变化即相对晃动量ΔX。然后，如(c)所示，显示控制部1104基于晃动检测部1103计算出的手指200的相对晃动量ΔX，以追随该晃动量的方式，使触摸屏180上显示的包含图标类的画面偏移规定量ΔX＇，如180b那样地显示。此时的偏移量ΔX＇等于晃动量ΔX或者是乘以规定系数得到的量。当然，与显示画面的移动联动地，也使触摸面板123上与显示画面的各图标等对应的操作检测区域发生移动。其结果，用户在搭乘的车辆发生摇晃的状况下，也能够准确地用右手的手指200触摸目标图标180i1。
图3A和图3B说明的是握持便携信息终端100的用户的左手和进行触摸操作的用户的右手在左右方向上晃动的情况，但在左右手于前后方向和倾斜方向晃动的情况下也是同样的。
[前置摄像头的结构]
图4是说明便携信息终端100具有的两个前置摄像头(第一图像输入部133和第二图像输入部134)的结构的图，是从便携信息终端100的左侧面观察的图(即，操作面是图中上方)。
(a)表示第二图像输入部134，将其用作自拍用前置摄像头。摄像头的视角为90度左右，与通常的智能手机的情况相同。
(b)表示第一图像输入部133，将其用作为了进行上述防误操作处理而拍摄操作指示物(用户的手指200等)的前置摄像头。该情况下，为了在手指200靠近触摸屏180的状态下也能够拍摄到手指，设定为具有比第二图像输入部134更宽的视角(例如接近180度的视角)。
(c)表示第一图像输入部133的其他结构。其视角为与第二图像输入部134相同的程度(90度左右)，但安装成使得拍摄方向向触摸屏180一侧倾斜。由此，能够拍摄靠近触摸屏180的手指200。
另外，本实施例的便携信息终端100采用了具有两个前置摄像头(第一图像输入部133和第二图像输入部134)的结构，但也能够共用一个摄像头。该情况下，仅采用图4中(b)所示具有广角视角的第一图像输入部133，用于防误操作和自拍这两个用途。不过，在用于自拍的情况下，要对取得的拍摄图像适当地进行裁剪等图像处理。
[误操作方式处理的动作流程]
图5A是表示本实施例中的防误操作处理的流程图。以下处理主要由状态检测部1102、晃动检测部1103和显示控制部1104控制。另外，关于下述防误操作处理是否执行，能够通过用户设定等进行选择。
首先，状态检测部1102从传感器部150的GPS接收部151、陀螺仪传感器152和加速器传感器154等，取得便携信息终端100的位置信息、倾斜信息和运动信息等(S101)。接着，状态检测部1102基于通过S101的处理所取得的各信息，判断持有便携信息终端100的用户是否正在搭乘电车或机动车等车辆、且车辆正在发生摇晃(S102)。此处所谓车辆的摇晃，并非指车辆单纯地运动的状态，而是表示传感器检测出的速度或加速度随时间的变化而发生规定量以上的变化，导致容易发生误操作的状态。
在S102的处理中，在判断为用户搭乘在车辆中、且车辆正在发生摇晃的情况下(S102：是)，前进至S103的处理。在判断为用户并未搭乘在车辆中、或者即使搭乘在车辆中也没有发生车辆摇晃的情况下(S102：否)，前进至S109的处理。该情况下，不进行以下所示的S103至S108的防误操作处理，而是进行通常的触摸操作处理。
在S103的处理中，晃动检测部1103启动用于拍摄操作指示物(用户的手指或触控笔等)的第一图像输入部(操作指示物拍摄用摄像头)133(S103)，取得触摸屏180的正面一侧的图像(S104)。接着，晃动检测部1103对从第一图像输入部133取得的拍摄图像进行分析，识别操作指示物(S105)。其中，为了改善识别处理，优选预先登记(注册)所使用的操作指示物。在S106的处理中，判断拍摄图像中是否存在操作指示物。在该判断中，即使操作指示物存在于拍摄图像中，也需要将用户不进行触摸操作的情况排除。具体而言，在操作指示物离开触摸屏180规定量以上时，判断为不存在操作指示物。这一点将使用图5B后述。
根据S106的判断，在存在操作指示物(成功识别)的情况下(S106：是)，前进至S107的处理。在S106判断为不存在操作指示物(未能识别)的情况下(S106：否)，返回S104的处理，再次取得拍摄图像。另外，在不存在操作指示物(未能识别)的状态持续规定时间以上的情况下(S106：超时)，返回S101的处理。或者，也可以判断为用户并没有要操作便携信息终端100的意愿，结束防误操作处理。
在S107的处理中，晃动检测部1103对从第一图像输入部133取得的拍摄图像进行分析，计算以便携信息终端100的外壳的位置为基准的操作指示物的相对晃动量(S107)。晃动检测部1103还将上述计算出的操作指示物的相对晃动量ΔX发送至显示控制部1104。显示控制部1104基于从晃动检测部1103接收的操作指示物的相对晃动量ΔX，以追随该晃动量的方式，进行使触摸屏180(图像显示部131)上显示的显示画面偏移的处理(S108)。此时，区域控制部1105与显示控制部1104联动地，进行使触摸面板123上与显示画面的各图标等对应的操作检测区域偏移的处理。
显示画面的偏移量ΔX＇可以是与S107的处理中计算出的操作指示物的相对晃动量ΔX大致相等的量，但也可以是上述相对晃动量ΔX乘以规定系数k(≤1)而得的量(ΔX＇＝kΔX)。例如，可以设定系数k＝0.5，使显示画面发生相对晃动量ΔX的50％左右的偏移。这是因为，触摸面板123上与各图标对应的操作检测区域具有规定的面积，因此触摸位置允许微小的错位，此外，通过使系数k＜1来消除过于灵敏地发生的显示画面的偏移处理，具有能够实现用户易于操作的画面之效果。
基本动作部1101执行上述S101～S108的处理，并同时判断操作指示物是否对触摸屏180(触摸面板123)进行了触摸操作(S109)。在操作指示物进行了触摸操作的情况下(S109：是)，执行与触摸操作相应的各种处理(S110)。例如，在触摸了规定的应用程序的图标的情况下，启动相应的应用程序。在S109判断为未发生触摸操作的情况下，分支为2种情况。在S102判断为搭乘在车辆中(且发生摇晃)的情况下(S109：否/搭乘中)，返回S104的处理。在S102判断为并未搭乘在车辆中(或未发生车辆摇晃)的情况下(S109：否/搭乘中以外)，返回S101的处理。
图5B是说明S106的处理(操作指示物有否判断)的细节的图。此处表示了便携信息终端100和操作指示物(用户的手指200)的侧面图，在第一图像输入部133取得的拍摄图像中包含用户的手指200。若令手指200与触摸屏180的距离为L，则在用户进行触摸操作的情况下距离L必然成为0，但在距离L较大的情况下，其处于触摸操作之前的操作准备状态(例如触摸操作的目标图标尚未决定的状态，或在屏幕内寻找目标图标的状态)。若在这样的距离L较大的准备状态下执行上述防误操作处理，显示画面(图标)会追随手指200的运动地而发生移动，产生用户无法选择目标图标这样的不便。为此，需要进行控制，使得在操作准备状态下不进行上述防误操作处理，换言之在S106的处理中判断为不存在操作指示物。
具体而言，针对操作指示物与触摸屏180的距离L规定一个阈值L1，在L≤L1的情况下判断为存在操作指示物，在L＞L1的情况下判断为不存在操作指示物。另外，因为每个用户的操作方式(触摸操作开始位置距离触摸屏180是近还是远)不同，所以优选该阈值L1能够按每个用户适当设定。由此，通过在触摸操作的准备期间使防误操作处理无效，不会在用户进行触摸操作方面产生不便。
如上所述，采用实施例1，即使在搭乘摇晃的车辆的用户使用便携信息终端100的情况下，由于按照操作指示部的相对晃动量而以追随该晃动量的方式使显示画面的位置发生偏移，所以能够防止因触摸操作位置的错位而引起的误操作。
实施例2
实施例2中，为了实施防误操作处理，进行使显示画面的位置保持原样但使触摸操作的检测区域发生偏移的处理。便携信息终端100的基本结构与实施例1相同，故下面主要针对与实施例1不同之处进行说明，省略通用部分的重复说明。
图6是说明本实施例中的防误操作处理的图。(a)～(c)对应于实施例1的图3B的(a)～(c)。此处，设触摸屏180上显示的画面为180a，用虚线框123a、123b表示触摸面板123上的与各图标对应的操作检测区域。
如(a)所示，第一图像输入部(操作指示物拍摄用摄像头)133取得要触摸目标图标180i1的手指200的图像。该状态下，各图标的操作检测区域123a与显示画面180a的各图标的显示位置一致。接着，如(b)所示，发生车辆摇晃时，晃动检测部1103对第一图像输入部133取得的手指200的图像进行分析，计算以便携信息终端100的外壳位置为基准的手指200的位置变化即相对晃动量ΔX。
(c)中，使触摸屏180上显示的画面180a保持原样，并且，区域控制部1105基于晃动检测部1103计算出的手指200的相对晃动量ΔX，以追随该晃动量的方式，将触摸面板123上的与显示的各图标对应的操作检测区域设定为如123b那样偏移规定量ΔX＇。
例如，与图标180i1对应的检测区域被设定为与图标180i1的显示位置相比向右偏移的位置(用斜线表示)。其结果是，即使在手指200因相对晃动而触摸了与目标图标180i1的显示区域相比向右偏移的位置的情况下，也因为检测区域被设定为追随其位置，所以能够检测到对图标180i1准确地进行了触摸操作。
实施例2的动作流程改变了图5A所示的流程图的一部分。即，在S108的处理中，区域控制部1105基于从晃动检测部1103接收的操作指示物的相对晃动量ΔX，进行使触摸面板123上与显示画面的各图标等对应的操作检测区域偏移ΔX＇的处理。此时，操作指示物的相对晃动量ΔX与检测区域的偏移量ΔX＇的关系，与实施例1的情况同样地，可以使用系数k(≤1)设定为ΔX＇＝kΔX。其他处理与图5A所示的流程图相同。
如上所述，采用实施例2，即使在搭乘摇晃的车辆的用户使用便携信息终端100的情况下，由于按照操作指示部的相对晃动量使操作检测区域的位置发生偏移，所以能够防止因触摸操作位置的错位而引起的误操作。
实施例3
实施例3中，为了实施防误操作处理，在显示画面上扩大各图标的显示间隔。便携信息终端100的基本结构与实施例1相同，下面主要针对与实施例1不同之处进行说明。
图7A是说明本实施例中的防误操作处理的图。(a)表示用户并未搭乘在车辆中，或者即使搭乘在车辆中也没有发生车辆摇晃的情况下的显示画面180a的例子。显示控制部1104将显示画面180a内的图标的显示间隔设定为通常的间隔(画面横向是d1，纵向是d2)。另一方面，(b)表示用户搭乘在车辆中、且正在发生车辆摇晃的情况下的显示画面180c的例子。显示控制部1104将显示画面180c内的图标的显示间隔设定为较宽的间隔(画面横向是d1＇，纵向是d2＇)(d1＇＞d1，d2＇＞d2)。这样，由于在车辆摇晃的情况下扩大图标间隔，所以即使用户的手的位置发生晃动，也能够减少触摸操作的误操作。
此处，为了实施防误操作处理而扩大了图标的间隔，通过与之联动地，由区域控制部1105进行使触摸面板123上与显示画面的各图标对应的操作检测区域扩大的处理，能够得到进一步减少误操作的效果。
图7B是表示本实施例中的防误操作处理的流程图。以下处理主要由状态检测部1102和显示控制部1104控制。
首先，状态检测部1102从传感器部150取得便携信息终端100的位置信息、倾斜信息和运动信息等(S301)。接着，状态检测部1102基于S301的处理中取得的各信息，判断持有便携信息终端100的用户是否搭乘在车辆中、且车辆正在发生摇晃(S302)。
在S302的处理中，在判断为用户并未搭乘在车辆中、或者即使搭乘在车辆中也没有发生车辆摇晃的情况下(S302：否)，前进至S303。在判断为用户搭乘在车辆中、且车辆正在发生摇晃的情况下(S302：是)，前进至S304。
在S303的处理中，显示控制部1104将触摸屏180上显示的图标的间隔设定为通常的间隔(d1、d2)进行画面显示。另一方面，在S304的处理中，将触摸屏180上显示的图标的间隔设定为较宽的间隔(d1＇、d2＇)进行画面显示。该情况下，区域控制部1105可以也扩大触摸面板123上与显示画面的各图标对应的操作检测区域。
基本动作部1101执行上述S301～S304的处理，并同时确认操作指示物是否对触摸屏180(触摸面板123)进行了触摸操作(S305)。在操作指示物进行了触摸操作的情况下(S305：是)，执行与触摸操作相应的各种处理(S306)。在操作指示物未进行触摸操作的情况下(S305：否)，返回S301的处理。
上述说明中，发生了车辆摇晃时设定的图标的间隔(d1＇、d2＇)只有1种，但也能够根据车辆摇晃的大小而设定多种间隔。
如上所述，采用实施例3，在搭乘摇晃的车辆的用户使用便携信息终端100的情况下，由于在显示画面上将各图标的显示间隔扩大显示，所以能够防止因触摸操作位置的偏移(错位)而引起的误操作。
实施例4
实施例4中，为了实施防误操作处理，在用户进行触摸操作时，显示用于确认该触摸操作是否正确的确认画面。该处理能够单独进行，也能够与上述实施例1～3的处理相结合。
图8A是本实施例中的防误操作用的确认画面的图。在操作指示物(用户的手指200)对触摸屏180进行了触摸操作的情况下，显示控制部1104显示操作确认用消息180m，并临时中断动作，等待用户的响应。操作确认用消息180m中显示了“确定”按钮和“取消”按钮，其中，“确定”按钮供用户在刚才进行的操作正确的情况(正常操作)下作出响应，而“取消”按钮供用户在刚才进行的操作不正确的情况(误操作)下作出响应。用户根据刚才触摸的位置判断操作的正误，选择某一个按钮。
在用户选择了“确定”按钮的情况下，使刚才进行的触摸操作有效，执行与触摸操作相应的各种处理。在用户选择了“取消”按钮的情况下，使刚才进行的触摸操作无效，再次接受用户的触摸操作。
图8B是表示本实施例中的防误操作处理的流程图。以下处理主要由状态检测部1102和显示控制部1104控制。
首先，状态检测部1102从传感器部150取得便携信息终端100的位置信息、倾斜信息和运动信息等(S401)。接着，状态检测部1102基于S401的处理中取得的各信息，判断持有便携信息终端100的用户是否搭乘在车辆中、且车辆正在发生摇晃(S402)。
在S402的处理中，在判断为用户并未搭乘在车辆中、或者即使搭乘在车辆中也没有发生车辆摇晃的情况下(S402：否)，前进至S403。在判断为用户搭乘在车辆中、且车辆正在发生摇晃的情况下(S402：是)，前进至S405。
在S403的处理中，基本动作部1101确认操作指示物是否对触摸屏180(触摸面板123)进行了触摸操作。在操作指示物进行了触摸操作的情况下(S403：是)，执行与触摸操作相应的各种处理(S404)。在操作指示物未进行触摸操作的情况下(S403：否)，返回S401的处理。
在S405的处理中，基本动作部1101确认操作指示物是否对触摸屏180进行了触摸操作。在操作指示物进行了触摸操作的情况下(S405：是)，显示操作确认用消息180m(“确定”/“取消”按钮)用于确认上述触摸操作是否正确(S406)。在操作指示物未进行触摸操作的情况下(S405：否)，返回S401的处理。
在S407的处理中，接受用户对上述操作确认用消息180m的响应。在用户选择了“确定”按钮(上述触摸操作是正常操作)的情况下(S407：“确定”)，执行与上述触摸操作相应的各种处理(S408)。在用户选择了“取消”按钮(上述触摸操作是误操作)的情况下(S407：“取消”)，返回S401的处理。
如上所述，采用实施例4，在搭乘摇晃的车辆的用户使用便携信息终端100的情况下，由于显示用于确认用户进行的触摸操作是否正确的确认画面，所以在进行了误操作的情况下能够立即转移至修正操作，用户的易用性提高。
另外，上述实施例中，为了防止误操作而显示了操作确认用消息180m，但也可以取而代之，根据触摸状态的持续时间的长度来判断触摸操作的正误。例如，如果触摸状态的持续时间为规定时间以上则判断为有效，如果不足规定时间则判断为无效。或者，也可以由用户将有效/无效的定义设定为相反。进而，也可以仅在触摸状态持续了规定时间以上的情况下，显示上述操作确认用消息。
进而，使得用户能够在察觉到触摸了错误的图标的情况下，在该操作确定之前，保持手指与触摸屏面的接触，使手指滑动至目标图标位置来进行重新选择目标图标的操作。然后，在该状态下进行上述操作确认用消息的显示。由此，能够连续地进行修正动作和确认动作。其中，在触摸操作待确定的状态下使手指保持接触地滑动时，使图标的显示位置固定不变。而在触摸操作待确定的状态之外的状态下使手指保持接触地滑动时，使图标的显示位置移动，通过采用这样的方式区分使用，能够进一步提高便利性。
实施例5
实施例5中，作为便携信息终端100的使用方式，针对能够佩戴在用户的头部进行VR(Virtual Reality)等显示的视听装置进行说明。该情况下，防误操作处理也是同样有效的。
图9A是表示经由视听装置10使用便携信息终端100的状态的图。将便携信息终端100插入视听装置(适配器)10中，用户1将其佩戴使用。(a)是从正上方观察佩戴了视听装置10的用户1的顶面图，(b)是从正面观察佩戴了视听装置10的用户1的正面图。通过使用这样的视听装置10，能够实现与HMD(Head Mounted Display)同样的功能。或者，也可以代替视听装置10，由用户1双手或单手握持便携信息终端100来将便携信息终端100配置在眼前。
视听装置10是将智能手机或平板终端等便携信息终端100插入到缝隙部20中进行支承的结构。用户1将插入了便携信息终端100的视听装置10配置在眼前，使用头带等固定在头部。便携信息终端100的显示画面(图像显示部131)能够在从后置摄像头即第三图像输入部135输入的图像数据(相机图像)上叠加使用CG(Computer Graphics)等生成的人造物，进行VR(Virtual Reality)显示或MR(Mixed Reality)显示等。另外，在采用了具有透射式显示器的HMD的情况下，能够进行在周围风景上叠加使用CG等生成的人造物的AR(Augmented Reality)显示等。
便携信息终端100的显示画面上显示的图像经由配置在视听装置10内部的透镜部11入射到用户1的眼睛。另外，间隔壁部12防止通过左右透镜部11的图像的混合。上述缝隙部20、透镜部11和间隔壁部12等是视听装置10的内部结构，通常时并不露出到外部。另外，优选的是，通常时视听装置10的外壳的一部分像盖子一样覆盖便携信息终端100，形成一种即使用户1的头部上下左右运动时，也能够防止便携信息终端100掉落和错位的结构。另外，视听装置10的外壳上设置了窗口13，将便携信息终端100背面的第三图像输入部135露出到外部。
图9B是说明本实施例中的防误操作处理的图，表示了用户操作便携信息终端100的状态。用户1经由图像显示部131观看从便携信息终端100的第三图像输入部135输入的图像数据，能够得到虚拟观察范围180s。在虚拟观察范围180s内，在规定距离前方位置配置有虚拟操作面板180t。用户1通过用实体的手指200操作虚拟操作面板180t内的图标等，能够对便携信息终端100发出操作指示。
例如，设想搭乘在车辆中的用户1用右手的手指200对虚拟操作面板180t上的目标图标进行触摸操作的情况。由于车辆的摇晃，例如可能导致用户的头部向左晃动，随之虚拟操作面板180t向左晃动，而右手的手指200向右晃动。其结果，导致触摸到虚拟操作面板180t上的其他图标而不是目标图标，发生误操作。
对此，能够应用与上述实施例1同样的防误操作处理。便携信息终端100的第三图像输入部(后置摄像头)135取得要在虚拟操作面板180t上进行触摸操作的手指200的图像。晃动检测部1103对第三图像输入部135取得的手指200的图像进行分析，计算以虚拟操作面板180t的显示位置(或便携信息终端100的外壳位置)为基准的、手指200的相对晃动量。进而，显示控制部1104基于上述计算出的手指200的相对晃动量ΔX进行控制，以使虚拟观察范围180s内的虚拟操作面板180t的显示位置偏移ΔX＇。
该情况下，也能够引入图5B中说明的操作指示物(手指200)有否判断。即，通过使用辅助光发光/红外线测距器136测量从便携信息终端100到手指200的距离，能够计算从虚拟操作面板180t到手指200的距离L。然后，仅在距离L为阈值以下的情况下使防误操作处理有效即可。另外，在本实施例的虚拟操作面板180t的情况下，也可以包括视线方向在内使显示位置三维地发生偏移。其结果，在用户经由视听装置10使用便携信息终端100的情况下，也能够防止因车辆摇晃而引起的误操作。
以上使用实施例1～5说明了本发明的实施方式，但实现本发明的技术的结构当然不限于上述实施例，可以考虑各种变形例。例如，针对触摸屏上显示的图标(对象)静止的情况进行了说明，但在图标运动的情况下也能够应用本发明的防误操作处理，可以得到同样的效果。另外，对象不限于图标，在显示地图等图像并且用户通过触摸操作来指定地图上的某个位置的情况下也是有效的。
在各实施例之间，能够将某个实施例的结构的一部分置换为其他实施例的结构，也能够在某个实施例的结构上添加其他实施例的结构。这些全部属于本发明的范畴。另外，文中和图中出现的数值和消息等只是一例，即使不同也无损本发明的效果。
上述本发明的功能等例如可以通过进行集成电路设计等而由硬件实现其一部分或全部。另外，也可以通过微处理器单元等解释并执行实现各功能等的程序而用软件实现。也可以同时使用硬件和软件。上述软件可以在产品出厂时预先保存在便携信息终端100的ROM103和存储部110等中。也可以在产品出厂后从互联网上的各种服务器装置等获取。另外，也可以获取用存储卡或光盘等提供的上述软件。
另外，图中所示的控制线和信息线仅表示了说明上必要的部分，并不一定表示了产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都相互连接。
附图标记说明
10……视听装置，100……便携信息终端，123……触摸面板，123a、b……操作检测区域，131……图像显示部，133……第一图像输入部(操作指示物拍摄用摄像头)，134……第二图像输入部(前置摄像头)，135……第三图像输入部(后置摄像头)，150……传感器部，180……触摸屏，180a、b、c……显示画面，180i……图标，180m……操作确认用消息，180t……虚拟操作面板，200……用户的手指(操作指示物)，1101……基本动作部，1102……状态检测部，1103……晃动检测部，1104……显示控制部，1105……区域控制部。

Claims (7)

1.一种便携信息终端，包括具有图像显示部和触摸面板部的触摸屏，能利用对所述触摸屏的触摸操作来发出指示，其特征在于，包括：
使所述图像显示部显示对象的显示控制部，其中所述对象能够被实施触摸操作；
取得对所述触摸屏进行触摸操作的操作指示物的影像的图像输入部；和
晃动检测部，其分析由所述图像输入部取得的所述操作指示物的影像，计算以所述便携信息终端的位置为基准的所述操作指示物的相对晃动量，
基于所述晃动检测部计算出的所述操作指示物的相对晃动量，所述显示控制部使显示在所述图像显示部上的对象以追随所述相对晃动量的方式发生偏移。
2.如权利要求1所述的便携信息终端，其特征在于：
包括检测所述便携信息终端的状态的状态检测部，
在所述状态检测部判断为所述便携信息终端的状态是并未搭乘在车辆中、或即使搭乘在车辆中也没有发生摇晃的情况下，所述显示控制部不使显示在所述图像显示部上的对象发生偏移。
3.如权利要求2所述的便携信息终端，其特征在于：
所述晃动检测部根据所述图像输入部取得的所述操作指示物的影像测量所述操作指示物与所述触摸屏的距离，在该距离大于阈值的情况下判断为不存在所述操作指示物，所述显示控制部不使显示在所述图像显示部上的对象发生偏移。
4.如权利要求2所述的便携信息终端，其特征在于：
在所述状态检测部判断为所述便携信息终端的状态是搭乘在车辆中、且正在发生摇晃的情况下，在对所述触摸屏进行了触摸操作时，所述显示控制部在所述图像显示部上显示用于确认触摸操作是否正确的确认画面。
5.一种便携信息终端，包括具有图像显示部和触摸面板部的触摸屏，能利用对所述触摸屏的触摸操作来发出指示，其特征在于，包括：
使所述图像显示部显示对象的显示控制部，其中所述对象能够被实施触摸操作；
区域控制部，其在所述触摸面板部上，控制与显示在所述图像显示部上的对象对应的触摸操作的检测区域；
取得对所述触摸屏进行触摸操作的操作指示物的影像的图像输入部；和
晃动检测部，其分析由所述图像输入部取得的所述操作指示物的影像，计算以所述便携信息终端的位置为基准的所述操作指示物的相对晃动量，
基于所述晃动检测部计算出的所述操作指示物的相对晃动量，所述区域控制部设定与显示在所述图像显示部上的对象对应的触摸操作的检测区域，使其以追随所述相对晃动量的方式发生偏移。
6.如权利要求5所述的便携信息终端，其特征在于：
包括检测所述便携信息终端的状态的状态检测部，
在所述状态检测部判断为所述便携信息终端的状态是并未搭乘在车辆中、或即使搭乘在车辆中也没有发生摇晃的情况下，所述区域控制部设定与显示在所述图像显示部上的对象对应的触摸操作的检测区域使其不发生偏移。
7.一种便携信息终端，包括具有图像显示部和触摸面板部的触摸屏，能利用对所述触摸屏的触摸操作来发出指示，其特征在于，包括：
使所述图像显示部显示对象的显示控制部，其中所述对象能够被实施触摸操作；和
检测所述便携信息终端的状态的状态检测部，
在所述状态检测部判断为所述便携信息终端的状态是搭乘在车辆中、且正在发生摇晃的情况下，所述显示控制部将显示在所述图像显示部上的对象的间隔扩大。
CN201880091123.7A 2018-03-14 2018-03-14 便携信息终端 Pending CN111868674A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/009956 WO2019176009A1 (ja) 2018-03-14 2018-03-14 携帯情報端末

Publications (1)

Publication Number Publication Date
CN111868674A true CN111868674A (zh) 2020-10-30

Family

ID=67907008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880091123.7A Pending CN111868674A (zh) 2018-03-14 2018-03-14 便携信息终端

Country Status (4)

Country Link
US (2) US11301087B2 (zh)
JP (2) JP7155242B2 (zh)
CN (1) CN111868674A (zh)
WO (1) WO2019176009A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112524079A (zh) * 2020-12-11 2021-03-19 珠海格力电器股份有限公司 一种风扇、风扇控制方法、装置及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022167200A (ja) * 2021-04-22 2022-11-04 株式会社豊田中央研究所 表示装置、及び表示プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110246944A1 (en) * 2010-04-06 2011-10-06 Google Inc. Application-independent text entry
CN102693001A (zh) * 2011-01-10 2012-09-26 三星电子株式会社 通过跟踪手指控制移动装置的方法和系统
CN104252267A (zh) * 2013-06-26 2014-12-31 霍尼韦尔国际公司 触摸屏和用于调整其上面触感对象放置的方法
CN107045404A (zh) * 2016-02-09 2017-08-15 波音公司 抗湍流触摸系统

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7474335B2 (en) * 2001-01-31 2009-01-06 International Business Machines Corporation Method, apparatus and program storage device for image position stabilizer
JP2006145616A (ja) * 2004-11-16 2006-06-08 Konica Minolta Photo Imaging Inc 画像表示装置、電子機器、画像表示方法
JP5205187B2 (ja) * 2008-09-11 2013-06-05 株式会社エヌ・ティ・ティ・ドコモ 入力システム及び入力方法
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US8677287B2 (en) * 2008-12-04 2014-03-18 Mitsubishi Electric Corporation Display input device and navigation device
US20110227911A1 (en) * 2010-03-22 2011-09-22 Lg Electronics Inc. Image display device and method for operating the same
US9271027B2 (en) * 2011-01-30 2016-02-23 Lg Electronics Inc. Image display apparatus and method for operating the same
EP2670154A4 (en) * 2011-01-30 2015-07-22 Lg Electronics Inc IMAGE DISPLAY DEVICE AND OPERATING METHOD THEREFOR
DE102011011802A1 (de) * 2011-02-19 2012-08-23 Volkswagen Ag Verfahren und Vorrichtung zum Bereitstellen einer Benutzerschnittstelle, insbesondere in einem Fahrzeug
US20120242587A1 (en) * 2011-03-25 2012-09-27 GM Global Technology Operations LLC Character recognition system
JP5220157B2 (ja) 2011-04-01 2013-06-26 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
CN103782255B (zh) * 2011-09-09 2016-09-28 泰利斯航空电子学公司 交通工具娱乐系统的眼动追踪控制
US9710048B2 (en) * 2011-10-03 2017-07-18 Google Technology Holdings LLC Method for detecting false wake conditions of a portable electronic device
JP5927867B2 (ja) * 2011-11-28 2016-06-01 セイコーエプソン株式会社 表示システム、及び操作入力方法
CA3051912C (en) * 2012-02-24 2023-03-07 Thomas J. Moscarillo Gesture recognition devices and methods
JP2013237320A (ja) * 2012-05-14 2013-11-28 Toshiba Alpine Automotive Technology Corp 違和感軽減表示装置およびその表示制御方法
US20130314328A1 (en) * 2012-05-23 2013-11-28 Honeywell International Inc. Methods and systems for enhancing touch screen operation in a display of an aircraft
US20140035828A1 (en) * 2012-07-31 2014-02-06 Elwha LLC, a limited liability company of the State of Delaware Adjusting a displayed widget or delineated touch-selectable area of a touch screen display in response to an approaching user-appendage
JP5812054B2 (ja) * 2012-08-23 2015-11-11 株式会社デンソー 操作デバイス
US20140062893A1 (en) * 2012-08-28 2014-03-06 Honeywell International Inc. System and method for reducing the probability of accidental activation of control functions on a touch screen
WO2014089202A1 (en) * 2012-12-04 2014-06-12 L3 Communications Corporation Touch sensor controller responsive to environmental operating conditions
WO2014109260A1 (ja) * 2013-01-09 2014-07-17 シャープ株式会社 タッチパネルシステム
US10295826B2 (en) 2013-02-19 2019-05-21 Mirama Service Inc. Shape recognition device, shape recognition program, and shape recognition method
US9041741B2 (en) * 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
KR20130088104A (ko) * 2013-04-09 2013-08-07 삼성전자주식회사 비접촉 방식의 인터페이스를 제공하기 위한 휴대 장치 및 방법
KR102077672B1 (ko) * 2013-04-17 2020-02-14 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작방법
CN104238724B (zh) * 2013-06-09 2019-03-12 Sap欧洲公司 用于电子设备的基于动作的输入方法和系统
KR20150010432A (ko) * 2013-07-19 2015-01-28 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
WO2015030264A1 (ja) 2013-08-30 2015-03-05 国立大学法人山梨大学 クリック動作検出装置，方法およびプログラム
KR20150026336A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
JP2015106915A (ja) 2013-12-02 2015-06-08 信夫 梨花 携帯機器挿入式ヘッドマウント・ディスプレイ
KR101561917B1 (ko) * 2014-04-10 2015-11-20 엘지전자 주식회사 차량 제어 장치 및 그 제어 방법
JP6362391B2 (ja) * 2014-04-10 2018-07-25 キヤノン株式会社 情報処理端末、情報処理方法及びコンピュータプログラム
US10782657B2 (en) * 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
JP2016005125A (ja) * 2014-06-17 2016-01-12 株式会社ネクストシステム ヘッドマウント型装置及びヘッドマウント型情報表示システム
KR102297473B1 (ko) * 2014-07-15 2021-09-02 삼성전자주식회사 신체를 이용하여 터치 입력을 제공하는 장치 및 방법
US10444847B2 (en) * 2014-12-31 2019-10-15 Oath Inc. Stabilizing content display on wearable devices
KR102329124B1 (ko) * 2015-01-05 2021-11-19 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
KR102337216B1 (ko) * 2015-01-05 2021-12-08 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
JP6274134B2 (ja) * 2015-03-10 2018-02-07 京セラドキュメントソリューションズ株式会社 表示入力装置及びこれを備えた画像形成装置
JP2016224666A (ja) * 2015-05-29 2016-12-28 株式会社デンソーウェーブ 入力制御プログラム、入力装置
JP6099850B1 (ja) * 2015-08-17 2017-03-22 日本テレビ放送網株式会社 プログラム、表示装置、表示方法、放送システム及び放送方法
EP3182250B1 (en) * 2015-12-18 2019-10-30 Aptiv Technologies Limited System and method for monitoring 3d space in front of an output unit for the control of the output unit
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US10489978B2 (en) * 2016-07-26 2019-11-26 Rouslan Lyubomirov DIMITROV System and method for displaying computer-based content in a virtual or augmented environment
JP6323960B2 (ja) * 2016-08-02 2018-05-16 本田技研工業株式会社 入力装置
JP6929361B2 (ja) * 2016-11-15 2021-09-01 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 仮想現実システムのための入力コントローラ安定化技術
US20180143693A1 (en) * 2016-11-21 2018-05-24 David J. Calabrese Virtual object manipulation
KR101983725B1 (ko) * 2017-08-03 2019-09-03 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US11163428B1 (en) * 2020-06-15 2021-11-02 Microsoft Technology Licensing, Llc Displaying a hover graphic with a dynamic time delay

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110246944A1 (en) * 2010-04-06 2011-10-06 Google Inc. Application-independent text entry
CN102693001A (zh) * 2011-01-10 2012-09-26 三星电子株式会社 通过跟踪手指控制移动装置的方法和系统
CN104252267A (zh) * 2013-06-26 2014-12-31 霍尼韦尔国际公司 触摸屏和用于调整其上面触感对象放置的方法
CN107045404A (zh) * 2016-02-09 2017-08-15 波音公司 抗湍流触摸系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112524079A (zh) * 2020-12-11 2021-03-19 珠海格力电器股份有限公司 一种风扇、风扇控制方法、装置及存储介质
CN112524079B (zh) * 2020-12-11 2021-09-24 珠海格力电器股份有限公司 一种风扇、风扇控制方法、装置及存储介质

Also Published As

Publication number Publication date
JP2022188192A (ja) 2022-12-20
JP7155242B2 (ja) 2022-10-18
JPWO2019176009A1 (ja) 2021-02-18
US11947757B2 (en) 2024-04-02
US20220236854A1 (en) 2022-07-28
WO2019176009A1 (ja) 2019-09-19
US20210011605A1 (en) 2021-01-14
US11301087B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
CN106850938B (zh) 移动终端及其控制方法
EP3319303A1 (en) Mobile terminal and method for controlling same
KR20170112491A (ko) 이동 단말기 및 그 제어방법
EP3661172A1 (en) Rotation of camera for sliding phone dependent on operational mode
KR20160006053A (ko) 글래스 타입 단말기 및 그것의 제어방법
KR20180099182A (ko) 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
KR102659981B1 (ko) 이동 단말기 및 그 제어방법
KR20170138279A (ko) 이동 단말기 및 그 제어방법
KR20160008372A (ko) 이동 단말기 및 그것의 제어방법
US10331229B2 (en) Mobile terminal and method for controlling the same
KR20160071263A (ko) 이동단말기 및 그 제어방법
US11947757B2 (en) Personal digital assistant
KR20180002208A (ko) 단말기 및 그 제어 방법
KR20170140702A (ko) 이동 단말기
KR102223281B1 (ko) 이동단말기 및 그 제어방법
KR20180005070A (ko) 이동 단말기 및 그 제어방법
KR20170037158A (ko) 이동 단말기 및 그 제어방법
CN110431832B (zh) 移动终端及其控制方法
KR20160001229A (ko) 이동단말기 및 그 제어방법
KR101586914B1 (ko) 이동 단말기
KR20180031208A (ko) 디스플레이 디바이스 및 그 제어방법
KR20150141048A (ko) 이동 단말기 및 이의 제어 방법
KR20160149066A (ko) 이동단말기 및 그 제어방법
KR20180037370A (ko) 이동 단말기 및 그 제어방법
KR20160084208A (ko) 이동 단말기 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Kyoto Japan

Applicant after: MAXELL, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL HOLDINGS, Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20220228

Address after: Kyoto Japan

Applicant after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL, Ltd.

TA01 Transfer of patent application right