CN112334887A - 终端装置、信息处理方法和程序 - Google Patents

终端装置、信息处理方法和程序 Download PDF

Info

Publication number
CN112334887A
CN112334887A CN201980040535.2A CN201980040535A CN112334887A CN 112334887 A CN112334887 A CN 112334887A CN 201980040535 A CN201980040535 A CN 201980040535A CN 112334887 A CN112334887 A CN 112334887A
Authority
CN
China
Prior art keywords
display
image
terminal device
information
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980040535.2A
Other languages
English (en)
Inventor
坂本勇规
中西义人
山内隆伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Healthcare Co Ltd
Original Assignee
Omron Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Healthcare Co Ltd filed Critical Omron Healthcare Co Ltd
Publication of CN112334887A publication Critical patent/CN112334887A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一个方案的终端装置具备：显示装置；拍摄装置，该拍摄装置对在显示画面中显示有包括至少一个显示要素的显示内容的状态的电子设备进行拍摄，生成拍摄图像；提示图像生成部，基于该拍摄图像，生成与显示内容对应的提示图像；第一显示控制部，该第一显示控制部使提示图像显示于显示装置；输入部，该输入部受理选择提示图像中包含的显示要素的用户输入；说明信息获取部，该说明信息获取部获取包含显示要素的说明文的说明信息；以及第二显示控制部，该第二显示控制部使说明文显示于显示装置。

Description

终端装置、信息处理方法和程序
技术领域
本发明涉及例如向用户提供与电子设备相关的说明的技术。
背景技术
在电子设备的显示画面显示有不明的显示要素(例如象形图)的情况这样的对于电子设备存在不明的情况下，一般进行由智能手机等终端装置访问与电子设备关联的Web网站，参照电子设备的电子手册(也称为操作指南)这样的操作。
在上述的方法中，到达至期望的信息(例如说明象形图的含义的说明文)的步骤较多。例如需要进行用于访问Web网站的检索等操作。而且，需要搜索期望的信息在电子手册内的何处。有时在电子手册中能利用关键字检索，但为了进行检索，需要输入关键字。此外，对于象形图等显示要素，用户不知道用什么样的关键字进行检索，即使是能利用关键字检索的电子手册，也需要遍及任意页地搜索期望的信息。而且，存在为了进行查找相应的电子手册的检索，有时需要正确的商品名或型号这样的信息，但不能容易地得到这样的信息的情况很多。
例如，在专利文献1中，公开了显示电子手册的终端装置。该终端装置显示包括多个点的车辆的图像，将表示与用户所点击的点对应的部位的项目的对话框在图像上重叠显示。而且，终端装置对用户点击对话框的动作进行响应，显示与所述的项目相应的手册信息。
现有技术文献
专利文献
专利文献1：日本特开2016-162155号公报
发明内容
发明要解决的问题
在专利文献1中，容易进行对手册信息的访问。然而，需要从手册信息搜索期望的信息，不能容易地到达期望的信息。
本发明是着眼于上述的情况而完成的，其目的在于提供一种能实现用户能容易地得到显示于电子设备的显示要素的说明的终端装置、信息处理方法和程序。
技术方案
为了解决上述问题，本发明采用以下的构成。
一个方案的终端装置具备：显示装置；拍摄装置，该拍摄装置对在显示画面中显示有包括至少一个显示要素的显示内容的状态的电子设备进行拍摄，生成拍摄图像；提示图像生成部，该提示图像生成部基于该拍摄图像，生成与显示内容对应的提示图像；第一显示控制部，该第一显示控制部使提示图像显示于显示装置；输入部，该输入部受理选择提示图像中包含的显示要素的用户输入；说明信息获取部，该说明信息获取部获取包含显示要素的说明文的说明信息；以及第二显示控制部，该第二显示控制部使说明文显示于显示装置。
根据上述的构成，当用户通过终端装置的拍摄装置对电子设备进行拍摄时，将与电子设备正在显示的显示内容对应的提示图像显示于终端装置的显示装置。然后，当用户选择提示图像中包含的任意显示要素时，将所选择的显示要素的说明文显示于终端装置的显示装置。像这样，用户为了得到显示要素的说明，进行包括拍摄和选择的简单的操作即可。因此，用户能容易地得到电子设备正在显示的显示要素的说明。
在一个方案中，所述显示要素可以是象形图。根据该构成，即使是难以用关键字表现的象形图，也能容易地得到其说明。
在一个方案中，所述提示图像生成部可以生成再现了所述显示内容的图像作为所述提示图像。根据该构成，将与电子设备正在显示的显示内容相同的图像显示于终端装置的显示装置，因此能使用户直觉性地进行选择显示要素的操作。
在一个方案中，所述说明信息获取部可以对所述用户输入进行响应，经由网络获取所述说明信息。根据该构成，能在提示说明信息之前经由网络获取说明信息。由此，能设为向用户提示最新的说明信息。
在一个方案中，上述的终端装置还可以具备：型号识别部，基于与所述拍摄图像中包含的所述显示内容对应的部分图像，识别所述电子设备的型号，所述说明信息获取部可以获取与所述型号建立关联的所述说明信息。根据该构成，用户不需要向终端装置输入型号信息。因此，能进一步提高对于用户的便利性。
在一个方案中，所述说明信息还可以包含与所述显示要素关联的Web页面的URL(Uniform Resource Locator：统一资源定位符)，所述第二显示控制部可以还在所述显示装置显示向所述Web页面的超链接。根据该构成，用户能容易地得到显示要素的更详细的说明。
有益效果
根据本发明，能提供一种用户能容易地得到在电子设备中显示的显示要素的说明的终端装置、信息处理方法和程序。
附图说明
图1是举例示出一个实施方式的终端装置的图。
图2是表示一个实施方式的血压计的外观的图。
图3是举例示出一个实施方式的终端装置的硬件构成的框图。
图4是举例示出一个实施方式的终端装置的软件构成的框图。
图5是举例示出一个实施方式的终端装置中显示的拍摄画面的图。
图6是举例示出在一个实施方式的终端装置中显示的选择画面的图。
图7是举例示出在一个实施方式的终端装置中显示的说明画面的图。
图8是举例示出由一个实施方式的终端装置执行的信息处理方法的流程图。
图9是举例示出在一个实施方式的终端装置中显示的选择画面的图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
[应用例]
参照图1，对应用本发明的场景的一个例子进行说明。图1举例示出了一个实施方式的终端装置10。典型的是，终端装置10是搭载有照相机11和触摸屏12的移动设备。终端装置10例如可以是智能手机、平板PC(Personal Computer：个人电脑)、PDA(PersonalDigital Assistant：个人数字助理)、便携电话机等。
终端装置10提供与电子设备相关的使用说明服务。使用说明服务是向用户提示在电子设备的显示画面(显示装置的画面)中显示的显示要素(也称为项目)的说明文的服务。在此，显示要素是指在电子设备的显示画面中显示的显示内容中包含的信息，其单体具有含义。例如，作为电子设备的一个例子的血压计20能显示最高血压(收缩期血压)的测定值、最低血压(扩张期血压)的测定值、日期、时刻、象形图(有时也仅称为“象形”)、错误代码、错误信息等显示要素。象形图通过图像记号表现信息。错误代码是分配给在血压计20产生的错误的种类(内容)的代码。例如用户有时不知道在血压计20的显示画面21中显示的象形图表示何种含义，有时希望获知该象形图的含义。在该情况下，用户使用终端装置10的照相机11拍摄血压计20，由此，能得到该象形图的说明文。
终端装置10除了照相机11和触摸屏12之外，还具备信息处理部13。
照相机11拍摄对象物，生成拍摄图像。对象物是搭载有显示装置的电子设备。电子设备是面向个人或家庭的健康设备，但不限定于此。在健康设备的例子中，包括血压计、心电图仪、体重计、体组成计、计步器、睡眠计等测定与人类的身体相关的指标的测定设备、经皮神经电刺激(TENS)按摩器等进行对人类的身体的治疗的治疗设备。此外，电子设备可以是电话机、音频设备、空气调节器的遥控器等。此外，电子设备可以是在医院或工厂中使用的设备。在图1的例子中，对象物是家庭用的血压计20。照相机11相当于本发明的“拍摄装置”。
触摸屏12具备：显示装置12A；以及触摸面板12B，设于显示装置12A的画面(例如液晶面板)。显示装置12A从信息处理部13接受图像数据，显示与该图像数据对应的图像。触摸面板12B检测手指等物体接触的画面上的位置(接触位置)，向信息处理部13输出表示接触位置的操作信号。信息处理部13基于向显示装置12A提供的图像数据和从触摸面板12B接受的操作信号，判断用户的操作的内容。
信息处理部13从照相机11接受拍摄图像。信息处理部13基于接受的拍摄图像，生成与在血压计20的显示画面21中显示的显示内容对应的提示图像，使提示图像显示于显示装置12A。提示图像例如是再现了在血压计20的显示画面21中显示的显示内容的图像。显示内容至少包含一个显示要素，因此，提示图像至少包含一个显示要素。
信息处理部13受理来自用户的选择提示图像中包含的显示要素的输入，使与该显示要素相关的说明信息显示于显示装置12A。例如当在提示图像显示于显示装置12A的状态下用户点击与任一个显示要素对应的画面上的区域时，信息处理部13响应用户的操作，使与该显示要素相关的说明信息显示于显示装置12A。
像以上这样，在本实施方式的终端装置10中，通过照相机11拍摄血压计20，向用户提示与在血压计20中显示的显示内容对应的提示图像，受理来自用户的选择提示图像中包含的显示要素的输入，向用户提示与该显示要素相关的说明信息。因此，用户为了得到显示要素的说明，进行包括血压计20的拍摄和显示要素的选择的简单的操作即可。因此，用户能容易地得到在血压计20中显示的象形图等显示要素的说明。
接着，对一个实施方式的终端装置进行详细地说明。
[构成例]
<血压计>
首先，对为了说明本实施方式的终端装置而参照的血压计进行说明。
图2举例示出了作为电子设备的血压计200的外观。图2所示的血压计200是示波式的血压计，是主体201与卷绕于用户的上腕的袖带(腕带)分体的放置型的血压计。需要说明的是，在图2中，为了简略化，对袖带和连接主体201与袖带的空气管省略了图示。此外，血压计200可以是一般的血压计，因此省略对血压计200的详细说明。
在主体201印刷有表示血压计200的商标(生产厂家)的商标信息202和表示血压计200的型号的型号信息203。
主体201具备多个按压式按钮211～216作为输入装置。按钮211是用于开始血压测定的按钮。当按下按钮211时，接通血压计200的电源，血压计200开始血压测定。当在血压测定中按下按钮211时，血压计200停止(中断)血压测定。按钮212是用于校对时钟的按钮。按钮213是用于浏览记录(履历)的按钮。按钮215、216在校对时钟，浏览的记录的选择等时使用。按钮214是用于浏览最高血压、最低血压以及脉搏数的平均值的按钮。平均值例如是在最近1周内得到的测定值的平均数。当按下按钮214时，显示与早上实施的测定相关的平均值。当再次按下按钮214时，显示与晚上实施的测定相关的平均值。
主体201还具备显示装置220以及灯231、232。显示装置220能显示日期、时刻、最高血压值、最低血压值、脉搏数、血压值等级显示、体动标记、袖带标记、完成测定显示以及错误代码等多个显示要素。体动标记和袖带标记是象形图的例子。在图2的例子中，显示装置220是分段式的液晶显示装置。因此，显示各显示要素的区域(位置)被确定。在图2中，示出了完成血压测定之后的血压计200，几个显示要素未显示于显示装置220的画面中。
显示装置220的画面具备包括区域221～229的多个区域。日期在区域221中显示，时刻在区域222中显示。测定完成显示在区域223中显示。最高血压值在区域224中显示，最低血压值在区域225中显示，脉搏数在区域226中显示。血压值等级显示在区域227中显示。血压值等级显示以17级表现血压的状态。体动标记在区域228中显示。体动标记表示测定中身体发生了运动。在未检测出在测定中身体发生了运动的情况下，体动标记不点亮。袖带标记在区域229中显示。袖带标记表示袖带是否以适当的强度卷绕。图2所示的袖带标记表示袖带以适当的强度卷绕。
有时也在区域224和/或区域226中显示错误代码。准备与血压计200中产生的错误的种类对应的多个错误代码。例如错误代码“E1”表示袖带未与主体201正确地连接。错误代码“E2”表示由于在测定中手臂或身体发生了运动而导致测定失败。错误代码“Er”表示主体201发生了故障
灯231在袖带的卷绕状态为适当时点亮。灯232在袖带的卷绕状态为不适当时点亮。
血压计200不限定于图2所示的构成。例如显示装置220还可以是点阵式的显示装置。此外，假定血压计200不具有通信功能，但血压计200可以具备Bluetooth(登录商标)模块等无线模块。血压计200还可以是可穿戴型的血压计。
<终端装置>
(硬件构成)
参照图3，对一个实施方式的终端装置100的硬件构成的一个例子进行说明。在图3所示的例子中，终端装置100具备：控制部101、存储部105、显示装置106、输入装置107、通信接口108、照相机109、扬声器110、麦克风111以及电池112。
控制部101包括CPU(Central Processing Unit：中央处理器)102、RAM(RandomAccess Memory：随机存储器)103以及ROM(Read Only Memory：只读存储器)104等，控制各构成要素。存储部105例如是硬盘驱动器(HDD)、半导体存储器(例如闪存)等辅助存储装置，非暂时性地存储由控制部101执行的程序、为了执行程序所需要的设定数据等。存储部105所具备的存储介质是通过电、磁、光学、机械或化学作用来存储程序等信息，以使计算机及其他装置、机械等能读取所记录的该程序等信息的介质。需要说明的是，一些程序都可以存储于ROM104。
显示装置106显示信息。具体而言，显示装置106从控制部101接受图像数据，显示与接受的图像数据对应的图像。显示装置106例如可以是液晶显示装置或有机EL(Electro-Luminescence：电致发光)显示器。有机EL显示器有时也称为OLED(Organic LightEmitting Diode：有机发光二极管)显示器。
输入装置107受理来自用户的对终端装置100的操作。典型的是输入装置107具备设于显示装置106的画面的触摸面板。触摸面板检测手指等物体接触的显示装置106的画面上的位置(接触位置)，向控制部101输出表示接触位置的操作信号。控制部101基于向显示装置106提供的图像数据和从触摸面板接受的操作信号，判断用户进行的操作的内容。触摸面板例如可以是静电容式的触摸面板。输入装置107也可以还具备按压式按钮。
通信接口108是用于与外部装置通信的接口。通信接口108向外部装置发送信息或从外部装置接收信息。通信接口108例如具备包括天线的无线模块。一般而言，通信接口108具备LTE(注册商标)(Long Term Evolution：长期演进)模块和蓝牙模块。由此，终端装置100能使用LTE模块，经由移动通信网络与Web服务器等装置进行通信或使用蓝牙模块与用户持有的其他终端装置直接通信。需要说明的是，通信接口108可以具备微型USB(Universal Serial Bus：通用串行总线)连接器等端子。
照相机109拍摄对象物来生成拍摄图像，将拍摄图像的数据输出至控制部101。照相机109例如包括：CCD(Charge Coupled Device：电荷耦合器件)或CMOS(ComplementaryMetal Oxide Semiconductor：(互补金属氧化物半导体)传感器；以及图像处理电路，基于CCD或CMOS传感器的输出生成拍摄图像。照相机109相当于本发明的“拍摄装置”。需要说明的是，图像处理电路进行的处理的至少一部分可以由控制部101进行。在该情况下，本发明的“拍摄装置”由照相机109和控制部101实现。
扬声器110将从控制部101供给的音响信号转换为声音。麦克风111将声音转换为电信号。麦克风111使用户能通过声音进行对终端装置100的操作(例如文字输入)。
电池112向各构成要素供给电力。电池112例如是可充电的电池。
需要说明的是，根据实施方式，可以对终端装置100的具体的硬件构成适当地进行构成要素的省略、置换以及追加。例如控制部101也可以包括多个处理器。
(软件构成)
参照图4，对终端装置100的软件构成的一个例子进行说明。在图4所示的例子中，终端装置100具备：手册信息获取部151、输入部152、显示控制部153、提示图像生成部154、说明信息获取部155以及手册信息存储部161。手册信息获取部151、输入部152、显示控制部153、提示图像生成部154以及说明信息获取部155通过由终端装置100的控制部101执行存储部105所存储的程序来执行下述的处理。在控制部101执行程序时，控制部101将程序在RAM103中展开。然后，控制部101通过CPU102对在RAM103中展开的程序进行解释以及执行，控制各构成要素。手册信息存储部161由存储部105实现。
手册信息获取部151获取与血压计200相关的手册信息，将该手册信息存储于手册信息存储部161。手册信息包括：说明信息，与血压计200能显示的各显示要素相关；显示位置信息，表示各显示要素显示的显示画面上的位置；以及各显示要素的图像数据。与各显示要素相关的说明信息包含该显示要素的说明文。说明信息还可以包含与该显示要素关联的Web页面的URL(Uniform Resource Locator：统一资源定位符)。例如当用户使用输入装置107输入血压计200的型号信息(例如HEM-XXXXT)时，手册信息获取部151经由通信接口108从网络上的服务器获取与输入的型号信息建立关联的手册信息。
输入部152受理用户输入。用户输入例如是执行使用照相机109的拍摄的指示、选择显示要素的指示、型号信息等。例如输入部152从触摸面板接受操作信号，从显示控制部153接受表示显示装置106正在显示的图像的内容的显示内容信息，基于操作信号和显示内容信息，确定用户输入的指示的内容。输入部152向手册信息获取部151提供型号信息。输入部152向说明信息获取部152提供表示由用户选择的显示要素的信息。
显示控制部153控制显示装置106。显示控制部153使图像显示于显示装置106。例如显示控制部153具备：第一显示控制部1531，使包含提示图像的选择画面(例如图6所示的选择画面600)显示于显示装置106；第二显示控制部1532，使包含说明文的说明画面(例如图7所示的说明画面700)显示于显示装置106。显示控制部153可以在进行由照相机109实现的拍摄的拍摄模式中，使表示应当收入血压计200的显示画面的范围的指南显示于显示装置106。该范围与成为进行后述的由识别部1541实现的识别的识别范围对应。
提示图像生成部154从照相机109接受拍摄图像，基于该拍摄图像生成与血压计200的显示画面中显示的显示内容对应的提示画面。在本实施方式中，提示图像生成部154具备识别部1541以及再现部1542。识别部1541从拍摄图像识别血压计200的显示画面中显示的内容。具体而言，识别部1541基于拍摄图像以及存储于手册信息存储部161的手册信息中包含的显示位置信息和图像数据，识别血压计200的显示装置220中显示的显示要素。例如识别部1541基于显示位置信息，在拍摄图像上划出显示要素分别显示的区域。接着，识别部1541对显示有数值的区域分别进行文字识别。由此，识别部1541能识别日期、时刻、测定值或错误代码。对于显示体动标记等特定的图像的各个区域，识别部1541基于与手册信息中包含的图像数据的比较，判定该区域中是否显示了显示要素。识别部1541例如输出包含与区域221～226有关的文字识别结果和表示是否显示了区域227～229各自对应的显示要素的(例如是否显示了体动标记)图表的识别结果。需要说明的是，识别部1541可以进行使用神经网络等AI(Artificial Intelligence：人工智能)技术的图像识别。
再现部1542基于从识别部1541输出的识别结果与手册信息中包含的显示位置信息和各显示要素的图像数据，生成再现了血压计200的显示装置220中显示的显示内容的图像。通过再现部1542生成的图像作为提示图像在显示装置106中显示。将与血压计200中正在显示的显示内容相同的图像显示于终端装置100的显示装置106，因此用户能直觉性地进行选择显示要素的操作。
需要说明的是，提示图像生成部154可以从拍摄图像提取与显示内容对应的部分图像，将该部分图像作为提示图像输出。
说明信息获取部155获取与由用户选择的显示要素相关的说明信息。具体而言，说明信息获取部155从存储于手册信息存储部161的手册信息提取与由用户选择的显示要素相关的说明信息。
图5表示在拍摄模式中在显示装置106中显示的指南的一个例子。如图5所示，显示控制部153使作为指南的框501和由照相机109拍摄的图像显示于显示装置106。在图5中，未显示由照相机109拍摄的图像。用户以将血压计200的显示画面收入框501内的方式拍摄血压计200。像这样将框501显示于显示装置106，能更容易地进行由识别部1541实现的识别。
图6示出了用于用户选择想知道显示要素的含义的该显示要素的选择画面600的一个例子，图7示出了用于提示与由用户选择的显示要素相关的说明信的说明画面700的一个例子。图6所示的选择画面600在用户通过照相机109拍摄血压计200后显示于显示装置106。选择画面600包含：提示图像601和催促用户选择希望说明文的提示的显示要素的信息602。在用户点击提示图像601上的任意显示要素后，图7所示的说明画面700显示于显示装置106。
说明画面700包含：包含由用户选择的显示要素的提示图像的部分701；以及与该显示要素相关的说明信息702。在图7的例子中，说明信息702包含：与显示要素相关的说明文702A；以及向与该显示要素关联的Web页面的超链接702B。对用户点击超链接702B进行响应，启动浏览器，将Web页面显示于浏览器。可以在Web页面中嵌入动画。与袖带标记关联的Web页面例如包含说明袖带的装接方法的动画。由此，用户能得到比一般记载于使用说明书(例如电子手册)中的与各显示要素相关的说明更详细的说明。
说明画面700还可以包含用于呼叫运营商的按钮703。典型的是按钮703最初为非激活，在用户点击超链接702B后被激活化。对用户点击激活的状态的按钮703进行响应，终端装置100的控制部101向与血压计200相关的呼叫中心发出呼叫。为了防止用户多次连续地呼叫运营商，可以将按钮703设为从一旦按钮703被按下至经过规定时间为非激活。
需要说明的是，在本实施方式中，对终端装置100的功能均通过通用的处理器实现的例子进行了说明。然而，功能的一部分或全部也可以由一个或多个专用的处理器实现。
[动作例]
图8举例示出了终端装置100提供使用说明服务时的动作流程。
在图8的步骤S11中，终端装置100的控制部101从照相机109获取拍摄图像。例如用户为了调查血压计200的显示画面中显示的体动标记的含义，在终端装置100上启动使用说明应用程序。当使用说明应用程序启动时，终端装置100变为拍摄模式。用户通过照相机109拍摄在显示画面中显示有体动标记的状态的血压计200，照相机109将拍摄图像输出至控制部101。
在步骤S12中，控制部101作为提示图像生成部154进行动作，基于获取的拍摄图像，生成与血压计200的显示画面中显示的显示内容对应的提示图像。提示图像包含体动标记。例如控制部101将再现显示于血压计200的显示画面的显示内容的图像作为提示图像生成。
在步骤S13中，控制部101作为第一显示控制部1531进行动作，使生成的提示图像显示于显示装置106。例如控制部101使包含提示图像的选择画面(例如图6所示的选择画面600)显示于显示装置106。
在步骤S14中，控制部101作为输入部152进行动作，接受表示由用户从提示图像中包含的显示要素之中选择的显示要素的用户输入。例如用户触摸显示装置106中显示的体动标记。控制部101从输入装置107接受与用户的触摸对应的操作信号，基于该操作信号，识别出由用户选择的显示要素为体动标记。
在步骤S15中，控制部101作为说明信息获取部155进行动作，获取与由用户选择的显示要素相关的说明信息。例如控制部101从存储于存储部105的手册信息提取与体动标记建立关联的说明信息。
在步骤S16中，控制部101作为第二显示控制部1532进行动作，使获取的说明信息显示于显示装置106。例如控制部101使包含体动标记的说明文的说明画面(例如图7所示的说明画面700)显示于显示装置106。说明画面还可以包含与体动标记关联的Web页面的超链接。
像这样，终端装置100显示与血压计200中显示的显示要素相关的说明信息。
需要说明的是，在步骤S11中，假定了用户以将血压计200的显示画面整体收入照相机109的框内的方式拍摄血压计200。然而，也可以以仅将血压计200的显示画面的一部分收入框内的方式拍摄血压计200。此外，在步骤S16中，说明文也可以进行声音合成，通过扬声器110输出。
[效果]
在上述的终端装置100中，基于通过由由照相机109拍摄在显示画面中显示有显示内容的状态的血压计200而生成的拍摄图像，生成与显示内容对应的提示图像，在显示装置106中显示该提示图像，受理表示用户选择的显示要素的用户输入，获取包含该显示要素的说明文的说明信息，将该说明信息显示于显示装置106。由此，用户通过进行包含血压计200的拍摄和显示要素的选择的简单的操作，能得到与显示要素相关的说明信息。换而言之，用户能以较少的步骤到达与显示要素相关的说明信息。因此，用户能尽早且容易地获知电子设备中显示的显示要素的含义。
显示要素的选择由对触摸面板进行触摸来实现。因此，对于象形图这样的难以由关键字表现的显示要素，也能简单地得到其说明。
[改进例]
需要说明的是，本发明不限定于上述实施方式。
例如，并不一定需要手册信息获取部151和手册信息存储部161。在没有设置手册信息获取部151和手册信息存储部161的实施方式中，终端装置100每当提供使用说明服务时，经由网络访问保持手册信息的服务器。例如提示图像生成部154经由通信接口108从服务器获取与型号信息建立关联的显示位置信息和图像数据，基于获取的显示位置信息以及图像数据和拍摄图像，生成提示图像。说明信息获取部155对输入部152接受用户输入进行响应，经由网络获取与由用户输入示出的显示要素相关的说明信息。例如说明信息获取部155经由通信接口108向服务器发送请求与由用户选择的显示要素相关的说明信息的请求信号，经由通信接口108从服务器接收与该显示要素相关的说明信息。存在说明信息在任意时刻更新的情况。通过每当提供使用说明服务时获取说明信息，能向用户提示最新的说明信息。而且，终端装置100无需保持手册信息，因此能节约存储资源。
此外，在终端装置100每次经由网络获取说明信息的情况下，生产厂家基于通过服务器收集的请求信号，能掌握用户请求了何种信息。即生产厂家能得到在制品(在该例子中为血压计200)的改善中有用的信息。例如在某象形图的说明信息被许多用户请求的情况下，生产厂家判断为对于用户来说该象形图不易理解，变更该象形图的设计。请求信号也可以包含确定由用户选择的显示要素的信息和与用户相关的信息。与用户相关的信息例如包含用户的性别和/或年龄。
在上述的实施方式中，用户输入血压计200的型号信息。在一个实施方式中，终端装置100也可以具备从拍摄图像识别血压计200的型号的型号识别部。型号识别部通过控制部101执行存储部105所存储的程序来执行规定的处理。
在一个例子中，如图2所示在血压计200的显示画面的附近印刷有型号信息203，用户以将显示画面与型号信息203收入照相机109的框内的方式拍摄血压计200。型号识别部对拍摄图像进行文字识别，由此识别血压计200的型号。
在其他例子中，在血压计200的显示画面或壳体中设有用于识别型号的识别符号。识别符号例如可以是二维码。型号识别部解读在拍摄图像中包含的识别符号，由此识别血压计200的型号。识别符号可以包含用于启动使用说明应用程序的命令。在该情况下，当由照相机109读取识别符号时，控制部101启动使用说明应用程序，并且识别血压计200的型号。
在另一个例子中，型号识别部基于拍摄图像中包含的显示要素的配置，识别血压计200的型号。该例子利用显示要素的配置按型号而不同。此外在其他例子中，型号识别部从拍摄图像所包含的血压计200的外观识别血压计200的型号。
在手册信息存储部161中，存储有分别与多个型号建立关联的手册信息。提示图像生成部154内的识别部1541从手册信息存储部161读取与由上述的型号识别部识别出的型号建立关联的手册信息，从拍摄图像提取与识别范围对应的部分图像，基于对提取的部分图像与读取的手册信息中包含的图像数据的比较，识别在电子设备的显示装置中显示的显示要素。而且，提示图像生成部154内的再现部1542基于从识别部1541输出的识别结果生成提示图像。
在终端装置100具备型号识别部的情况下，用户变得需要输入型号信息。因此，提高了对于用户的便利性。
使用说明服务可以是用于记录、管理血压测定结果等的健康管理应用程序的一个功能。例如在健康管理应用程序的用户接口设置用于执行使用说明服务的帮助按钮。
当用户点击该按钮时，执行参照图8说明的处理。
选择显示要素的操作不限定于如图6所示的用户点击与任意显示要素对应的画面上的区域。例如如图9所示，也可以将提示图像901配置于显示画面的中央，通过点击提示图像901的外侧来选择显示要素。例如当用户点击与体动标记连接的标记902时，终端装置100提示与体动标记相关的说明信息。
总之，本发明不限定于上述实施方式，在实施阶段中在不脱离其主旨的范围内能对构成要素进行变形、具体化。此外，通过上述实施方式所公开的多个构成要素的适当的组合，可以形成各种发明。例如，可以从实施方式所示的所有构成要素中删除几个构成要素。而且，也可以适当地组合不同实施方式中的构成要素。
[附记]
上述各实施方式的一部分或全部也可以像在专利请求的范围之外的以下的附记所示那样，但不限定于此。
一种终端装置(100)，其中，具备：
显示装置(106)；
拍摄装置(109)，对在显示画面中显示有包括至少一个显示要素的显示内容的状态的电子设备进行拍摄，生成拍摄图像；
提示图像生成部(154)，基于所述拍摄图像，生成与所述显示内容对应的提示图像；
第一显示控制部(1531)，使所述提示图像显示于所述显示装置；
输入部(152)，受理选择所述提示图像中包含的显示要素的用户输入；
说明信息获取部(155)，获取包含所述显示要素的说明文的说明信息；以及
第二显示控制部(1532)，使所述说明文显示于所述显示装置。
附图标记说明
10……终端装置
11……照相机
12……触摸屏
12A……显示装置
12B……触摸面板
13……信息处理部
20……血压计
21……显示画面
100……终端装置
101……控制部
102……CPU
103……RAM
104……ROM
105……存储部
106……显示装置
107……输入装置
108……通信接口
109……照相机
110……扬声器
111……麦克风
112……电池
151……手册信息获取部
152……输入部
153……显示控制部
1531……第一显示控制部
1532……第二显示控制部
154……提示图像生成部
1541……识别部
1542……再现部
155……说明信息获取部
161……手册信息存储部
200……血压计
201……主体
202……商标信息
203……型号信息
211～216……按钮
220……显示装置

Claims (8)

1.一种终端装置，其中，具备：
显示装置；
拍摄装置，所述拍摄装置对在显示画面中显示有包括至少一个显示要素的显示内容的状态的电子设备进行拍摄，生成拍摄图像；
提示图像生成部，所述提示图像生成部基于所述拍摄图像，生成与所述显示内容对应的提示图像；
第一显示控制部，所述第一显示控制部使所述提示图像显示于所述显示装置；
输入部，所述输入部受理选择所述提示图像中包含的显示要素的用户输入；
说明信息获取部，所述说明信息获取部获取包含所述显示要素的说明文的说明信息；以及
第二显示控制部，所述第二显示控制部使所述说明文显示于所述显示装置。
2.根据权利要求1所述的终端装置，其中，所述显示要素为象形图。
3.根据权利要求1或2所述的终端装置，其中，所述提示图像生成部生成再现了所述显示内容的图像作为所述提示图像。
4.根据权利要求1至3中任一项所述的终端装置，其中，所述说明信息获取部对所述用户输入进行响应，经由网络获取所述说明信息。
5.根据权利要求1至4中任一项所述的终端装置，其中，还具备：
型号识别部，所述型号识别部基于所述拍摄图像中包含与的所述显示内容对应的部分图像，识别所述电子设备的型号，
所述说明信息获取部获取与所述型号建立关联的所述说明信息。
6.根据权利要求1至5中任一项所述的终端装置，其中，所述说明信息还包含与所述显示要素关联的Web页面的统一资源定位符URL，所述第二显示控制部还使所述显示装置显示向所述Web页面的超链接。
7.一种信息处理方法，由终端装置执行，所述终端装置具备：显示装置；以及拍摄装置，所述拍摄装置对在显示画面中显示有包括至少一个显示要素的显示内容的状态的电子设备进行拍摄，生成拍摄图像，其中，所述信息处理方法具备以下过程：
基于所述拍摄图像，生成与所述显示内容对应的提示图像；
使所述提示图像显示于所述显示装置；
受理选择所述提示图像中包含的显示要素的用户输入；
获取包含所述显示要素的说明文的说明信息；以及
使所述说明文显示于所述显示装置。
8.一种程序，
用于使计算机作为权利要求1至6中任一项所述的终端装置所具备的各部来发挥功能。
CN201980040535.2A 2018-07-20 2019-07-01 终端装置、信息处理方法和程序 Pending CN112334887A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018136985A JP7147317B2 (ja) 2018-07-20 2018-07-20 端末装置、情報処理方法、及びプログラム
JP2018-136985 2018-07-20
PCT/JP2019/026075 WO2020017296A1 (ja) 2018-07-20 2019-07-01 端末装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN112334887A true CN112334887A (zh) 2021-02-05

Family

ID=69163540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980040535.2A Pending CN112334887A (zh) 2018-07-20 2019-07-01 终端装置、信息处理方法和程序

Country Status (5)

Country Link
US (1) US20210133453A1 (zh)
JP (1) JP7147317B2 (zh)
CN (1) CN112334887A (zh)
DE (1) DE112019003050T5 (zh)
WO (1) WO2020017296A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115225946A (zh) * 2021-03-30 2022-10-21 精工爱普生株式会社 显示控制方法以及显示系统
EP4431011A1 (en) 2023-03-14 2024-09-18 Yasee Biomedical Co., Ltd. Sphygmomanometer

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1855991A (zh) * 2005-02-21 2006-11-01 国际商业机器公司 显示装置、显示系统、显示方法和程序
US20110138416A1 (en) * 2009-12-04 2011-06-09 Lg Electronics Inc. Augmented remote controller and method for operating the same
US20140146179A1 (en) * 2012-11-28 2014-05-29 Brother Kogyo Kabushiki Kaisha Controller for imaging terminal
JP2015106862A (ja) * 2013-12-02 2015-06-08 日本放送協会 コンテンツ情報取得装置およびそのプログラム、ならびに、コンテンツ配信装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5983053B2 (ja) * 2012-06-01 2016-08-31 コニカミノルタ株式会社 ガイダンス表示システム、ガイダンス表示装置、ガイダンス表示方法、およびガイダンス表示プログラム
JP2014064115A (ja) * 2012-09-20 2014-04-10 Sharp Corp 端末装置、遠隔操作システム及び遠隔操作方法
JP6804293B2 (ja) * 2016-12-28 2020-12-23 オムロンヘルスケア株式会社 端末装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1855991A (zh) * 2005-02-21 2006-11-01 国际商业机器公司 显示装置、显示系统、显示方法和程序
US20110138416A1 (en) * 2009-12-04 2011-06-09 Lg Electronics Inc. Augmented remote controller and method for operating the same
US20140146179A1 (en) * 2012-11-28 2014-05-29 Brother Kogyo Kabushiki Kaisha Controller for imaging terminal
JP2015106862A (ja) * 2013-12-02 2015-06-08 日本放送協会 コンテンツ情報取得装置およびそのプログラム、ならびに、コンテンツ配信装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115225946A (zh) * 2021-03-30 2022-10-21 精工爱普生株式会社 显示控制方法以及显示系统
CN115225946B (zh) * 2021-03-30 2024-01-12 精工爱普生株式会社 显示控制方法以及显示系统
EP4431011A1 (en) 2023-03-14 2024-09-18 Yasee Biomedical Co., Ltd. Sphygmomanometer

Also Published As

Publication number Publication date
DE112019003050T5 (de) 2021-04-08
WO2020017296A1 (ja) 2020-01-23
JP2020013487A (ja) 2020-01-23
US20210133453A1 (en) 2021-05-06
JP7147317B2 (ja) 2022-10-05

Similar Documents

Publication Publication Date Title
CN108463832B (zh) 电子设备和基于硬件诊断结果的过程执行方法
CN108153446B (zh) 包含显示器的电子装置以及制造显示器的方法
CN106293907B (zh) 用于应用程序的操作方法以及支持其的电子设备
KR102393683B1 (ko) 센서를 포함하는 전자 장치 및 그의 동작 방법
EP3179388A1 (en) Web page operation method and electronic device for supporting the same
KR102560635B1 (ko) 컨텐트 인식 장치 및 그 동작 방법
CN108475329B (zh) 电子设备及其操作方法
KR102356889B1 (ko) 음성 인식을 수행하는 방법 및 이를 사용하는 전자 장치
WO2018139792A1 (ko) 헬스케어 프로그램 관리 방법 및 그 전자 장치
KR20160126802A (ko) 인체 정보를 측정하는 방법 및 그 전자 장치
WO2018021764A1 (ko) 어플리케이션에 대한 알림을 관리하는 방법 및 그 전자 장치
US20210133453A1 (en) Terminal device, information processing method, and non-transitory storage medium recording program
US9990912B2 (en) Electronic device and method for reproducing sound in the electronic device
US10645211B2 (en) Text input method and electronic device supporting the same
US20170185750A1 (en) Electronic device and method for linking exercise schedule thereof
JP7147318B2 (ja) 端末装置、情報処理方法、及びプログラム
US11188877B2 (en) Method for providing medical service and electronic device supporting the same
WO2018174551A1 (ko) 결제를 수행하는 전자 장치 및 그 동작 방법
EP3379431A1 (en) Electronic device and method for capturing contents
CN114283453A (zh) 流浪动物的信息获取方法、装置、存储介质及电子设备
KR20160112217A (ko) 전자 장치 및 전자 장치에서의 정보 처리 방법
WO2018021649A1 (ko) 전자 장치 및 그의 동작 방법
KR20180042550A (ko) 컨텐츠 처리 방법 및 이를 지원하는 전자 장치
WO2020017294A1 (ja) 電子機器、情報端末装置、システム、方法及びプログラム
CN113138994A (zh) 术语更新方法以及相关设备、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210205