CN110100284A

CN110100284A - 终端装置

Info

Publication number: CN110100284A
Application number: CN201780076308.6A
Authority: CN
Inventors: 出野彻; 北村隆
Original assignee: Omron Corp; Omron Healthcare Co Ltd
Current assignee: Omron Corp; Omron Healthcare Co Ltd
Priority date: 2016-12-28
Filing date: 2017-10-20
Publication date: 2019-08-06
Anticipated expiration: 2037-10-20
Also published as: CN110100284B; JP6804293B2; RU2727462C1; JP2018109802A; MX2019007043A; WO2018123227A1

Abstract

终端装置(10)具备：拍摄部(202)，其拍摄作为被摄体的健康设备(21)；识别部(206)，其从由拍摄部(202)生成的拍摄图像所包含的健康设备(21)的图像来识别健康设备(21)的显示器(24)所显示的表示测定结果的字符串；以及显示控制部(204)，其使终端装置(10)的显示器(158)显示由拍摄部(202)生成的拍摄图像和在识别部(206)对表示测定结果的字符串进行识别时用于辅助用户的操作的指引。指引包括表示识别部(206)的识别范围的第1对象(510、540)。

Description

终端装置

技术领域

本公开涉及终端装置，特别是涉及用于通过拍摄健康设备从而取入该健康设备的测定结果的终端装置。

背景技术

已开发了测定诸如血压和脉搏等与人体的健康状态有关的各种生物信息的各种测定设备。将这样的测定设备的测定数据取入到用于对其进行收集的终端装置，进行用户的健康状态的确认等。

例如，特开2001-224557号公报(专利文献1)公开了一种数据输入装置。数据输入装置包括：图像取得单元，其得到在测量仪器的数据显示部中显示的数据的图像；数字读取单元，其读取所得到的图像中的数字；以及显示单元，其显示读取到的数字。

现有技术文献

专利文献

专利文献1：特开2001-224557号公报

发明内容

发明要解决的问题

专利文献1的显示数据解析装置为了易于从拍摄图像来进行测量数据的检测，而研究了使用贴于测量装置的各种标记。但是，在专利文献1中，存在产生用户将各种标记贴于测量装置的麻烦的问题。

本公开是鉴于上述情况而完成的，某方面的目的在于提供能更简单地取得健康设备的显示部所显示的测定结果的终端装置。

用于解决问题的方案

根据某实施方式的终端装置具备：拍摄部，其拍摄作为被摄体的健康设备；识别部，其从由拍摄部生成的拍摄图像所包含的健康设备的图像来识别健康设备的显示器所显示的表示测定结果的字符串；以及显示控制部，其使终端装置的显示器显示由拍摄部生成的拍摄图像和在识别部对表示测定结果的字符串进行识别时用于辅助用户的操作的指引。指引包括表示识别部的识别范围的第1对象。

优选测定结果包括健康设备的测定值。表示测定值的字符串由7段显示方式的字符构成。指引还包括存在于第1对象内的、表示7段中的各段的第2对象。

优选指引还包括表示健康设备的形状的第3对象。

优选显示控制部在作为表示测定值的字符串的识别结果的识别字符串所表示的数值是规定范围外的情况下，使终端装置的显示器显示异常信息。

优选显示控制部使终端装置的显示器将作为表示测定值的字符串的识别结果的识别字符串所包含的多个识别字符中的每一个识别字符以与表示该识别字符的识别的正确性的准确度相应的规定的颜色进行显示。

优选显示控制部针对作为表示测定值的字符串的识别结果的识别字符串所包含的多个识别字符中的每一个识别字符，使终端装置的显示器对表示准确度的信息进行显示，准确度表示该识别字符的识别的正确性。

发明效果

根据本公开，能更简单地取得健康设备的显示部所显示的测定结果。

附图说明

图1是表示包括终端装置和健康设备的系统的概略性构成的图。

图2是表示终端装置的硬件构成的一例的框图。

图3是表示血压计的主体部的外观的一例的图。

图4是用于说明指引的显示方式(之一)的图。

图5是用于说明指引的显示方式(之二)的图。

图6是用于说明指引的显示方式(之三)的图。

图7是表示实时地显示识别结果的画面例的图。

图8是用于说明多个图像的合成方法的图。

图9是用于说明拍摄方向的通知功能的图。

图10是用于说明使用了HDR功能的拍摄图像的生成方法的图。

图11是表示终端装置的功能构成的框图。

图12是表示终端装置的处理过程的一例的流程图。

图13是表示终端装置的处理过程的变形例的流程图。

具体实施方式

以下，参照附图说明本发明的实施方式。在以下的说明中，对同一部件标注有同一附图标记。它们的名称和功能也是相同的。因而，不重复进行关于上述内容的详细说明。

＜整体构成＞

图1是表示包括终端装置和健康设备的系统1的概略性构成的图。

参照图1，系统1包括：作为用户终端的终端装置10、作为用于测定用户的生物信息的健康设备的一例的血压计20、21、以及体重/体成分仪23。此外，健康设备不限于血压计20、21和体重/体成分仪23，也可以是能显示测定结果的睡眠计、计步器、温度计等。

血压计20是主体与袖带(臂带)分开的固定型的上臂式血压计。血压计21是主体与袖带成为一体的手表型的手腕式血压计。血压计21具有如手表那样长时间佩戴在手臂上而二十四小时连续按每一搏动来测定脉动的功能、常时佩戴而只要按下测定开始按钮就能进行测定的功能等。由此，血压计21能常时测定用户的血压。体重/体成分仪23能测定体重、体脂率、内脏脂肪水平、皮下脂肪率等，将测定结果显示于显示器。此外，以下为了便于说明，以血压计20为“健康设备”的代表例进行说明。

终端装置10例如是具有照相机和触摸面板的智能手机。终端装置10具有如下功能：从使用照相机拍摄各健康设备从而生成的拍摄图像之中检测(识别)各健康设备的显示器所显示的测定结果。以下，以作为便携设备的智能手机为“终端装置”的代表例进行说明。不过，终端装置也可以是折叠式手机、平板终端装置、PDA(Personal Data Assistance：个人数据助理)等具有拍摄功能的其它终端装置。

详细后述，但终端装置10使用照相机对显示有测定结果的状态的健康设备进行拍摄(摄像)。终端装置10从生成的拍摄图像之中使用各种识别方式来识别测定结果，并输出识别到的测定结果。例如，终端装置10将识别到的测定值(最高血压值等)显示于本装置的显示器。

＜硬件构成＞

(终端装置)

图2是表示终端装置10的硬件构成的一例的框图。参照图2，在终端装置10中，作为主要的构成要素而包括：处理器152、存储器154、输入装置156、显示器158、无线通信部160、通信天线162、照相机163、存储器接口(I/F)164、通信接口(I/F)166、扬声器168、麦克风170以及方向传感器172。另外，终端装置10还包括用于对时刻进行计时的计时部。

处理器152典型地是CPU(Central Processing Unit：中央处理单元)或MPU(MultiProcessing Unit：多处理单元)这样的运算处理部。处理器152读出存储器154所存储的程序并执行该程序，从而作为控制终端装置10的各部的动作的控制部发挥功能。处理器152通过执行该程序，从而实现后述的终端装置10的每一处理(步骤)。

存储器154由RAM(Random Access Memory：随机存取存储器)、ROM(Read-OnlyMemory：只读存储器)、闪存等实现。存储器154存储由处理器152执行的程序、或者由处理器152使用的数据等。

输入装置156受理针对终端装置10的操作输入。典型地，输入装置156由触摸面板来实现。触摸面板设置于具有作为显示部的功能的显示器158上，例如是静电电容方式类型。触摸面板按每一规定时间探测外部物体对触摸面板的触摸操作，将触摸坐标输入到处理器152。不过，输入装置156也可以包括按钮等。

无线通信部160经由通信天线162连接到移动通信网并发送、接收用于进行无线通信的信号。由此，终端装置10例如能经由LTE(Long Term Evolution：长期演进)等移动通信网与其它通信装置进行通信。

照相机163例如由CCD(Charge Coupled Device：电荷耦合器件)方式、CMOS(Complementary Mental Oxide Semiconductor：互补金属氧化物半导体)方式或其它方式来实现。

存储器接口164从外部的存储介质165读出数据。处理器152经由存储器接口164读出存储介质165所保存的数据，将该数据保存到存储器154。处理器152从存储器154读出数据，经由存储器接口164将该数据保存到外部的存储介质165。

存储介质165包括CD(Compact Disc：光盘)、DVD(Digital Versatile Disk：数字多功能磁盘)、BD(Blu-ray(注册商标)Disc：蓝光光盘)、USB(Universal Serial Bus：通用串行总线)存储器、SD(Secure Digital：安全数字)存储卡等非易失性地保存程序的介质。

通信接口(I/F)166是用于与其它装置之间交换各种数据的通信接口，由适配器或连接器等实现。在本实施方式中，作为通信方式，采用BLE(Bluetooth(注册商标)lowenergy：蓝牙低能耗)。不过，通信方式也可以是基于无线LAN等的无线通信方式，还可以是利用了USB(Universal Serial Bus)等的有线通信方式。

扬声器168将从处理器152提供的声音信号转换为声音并向终端装置10的外部输出。麦克风170受理针对终端装置10的声音输入，将与该声音输入对应的声音信号提供到处理器152。

方向传感器172检测终端装置10所朝向的方向。具体地，方向传感器172检测显示器158的显示面朝向哪一方向。例如，方向传感器172具有3轴加速度传感器、3轴陀螺仪传感器以及3轴地磁传感器中的至少1个。由此，终端装置10通过使用方向传感器172以3轴检测本装置的倾斜度，从而能取得用户把持着终端装置10时的终端装置10的姿势信息。此外，终端装置10也可以通过3轴地磁传感器以3轴检测地磁矢量，而取得方位信息。

(健康设备)

健康设备只要能将后述的信息处理作为整体来提供即可，关于其硬件构成能采用公知的构成。例如，健康设备包括：用于执行各种处理的处理器、用于保存程序或数据等的存储器、用于显示测定结果等的显示器、用于受理来自用户的指示的输入接口、用于对时刻进行计时的计时部、以及在生物信息的测定中使用的各种硬件。例如，在血压计20中，作为该各种硬件而包括：袖带，其能卷绕于用户的上臂(或者手腕)；压电泵和排气阀等袖带压力的调整机构；压力传感器，其用于检测袖带压力；以及温度传感器，其检测外部气体温度。

图3是表示血压计20的主体部的外观的一例的图。参照图3，血压计20的主体部22包括显示器24、前进/后退按钮26、灯27、用户编号开关28以及血压测定的开始/停止按钮29。此外，在主体部22的外表面设置有品牌信息41(例如品牌“AAA”)和血压计20的型号信息43(例如型号“XYZ-ABC”)。用户编号开关28在将2个人的测定结果分别存储时使用。在图3的例子中，选择了编号为“1”的用户。灯27是表示袖带的卷绕状况是否合适的灯，在图3的例子中表示是合适的。

在显示器24中显示测定结果。具体地，测定结果包括：测定值，其包括在区域50中显示的最高血压值(例如118mmHg)、最低血压值(例如78mmHg)以及脉搏数(例如70次/分)；测定日期时间(例如7月1日7点30分)，其显示于区域52；用户编号(例如“1”)，其显示于区域54；当前的气温(例如24度)，其显示于区域56；以及各种消息(例如表示测定完成的消息)，其显示于区域58。此外，测定结果也可以包括表示脉搏波状态的信息、表示袖带的卷绕状况是否合适的信息等。

＜测定结果的识别＞

根据本实施方式的终端装置10具有为了识别健康设备所显示的测定结果而使用的各种功能。以下说明各种功能。

(指引的显示)

说明在使终端装置10对表示血压计20的测定值的字符串进行识别时为了辅助用户的操作而使用的指引(Guide)的显示方式。此外，本实施方式的“字符”是指为了传递并记录单词(语言)而将线、点等组合而成的符号，不仅包括英文字母数字符号、汉字、假名字符等，还包括对图画文字、图章等任意的图形附上识别码而成的字符。

图4是用于说明指引的显示方式(之一)的图。此外，终端装置10在经由输入装置156从用户受理了向字符识别模式的转移指示时，使终端装置10的动作模式转移到该识别模式，开始拍摄图像所包含的字符串的识别。终端装置10在字符识别模式中按照规定周期自动地反复进行拍摄图像的生成、所生成的拍摄图像的显示以及字符识别处理。参照图4，在显示方式(之一)中，在字符识别模式中，包含框510的画面500被显示于显示器158，框510用于提示将血压计20的测定值(最高血压、最低血压、脉搏)收进其中的范围。在此，图4中的画面500是使血压计20的拍摄图像与框510相互重叠而成的画面。

框510是作为表示能识别字符串的识别范围(解析范围)的外周四个角的框而显示的。因此，框510的内侧成为识别范围。终端装置10执行对以收于识别范围的方式所拍摄的测定结果进行识别的处理。具体地，终端装置10识别该测定结果所包含的各种字符串。

在此，终端装置10在存储器154中存储有表示在血压计20的显示器24的哪一区域显示哪种信息的画面信息。因此，例如在以使显示器24收于作为识别范围的框510内的方式进行了拍摄的情况下，终端装置10通过使用画面信息而能确定识别到的各字符串是哪种信息。例如，终端装置10能确定在收于框510内的显示器24的区域50中识别到的多个字符串“118”、“78”、“70”分别是表示最高血压值、最低血压值、脉搏数的字符串。

另外，终端装置10受理来自用户的指示来确定成为被摄体的健康设备是血压计20。或者也可以是，终端装置10通过从拍摄图像中提取健康设备的特征信息(形状、型号、品牌)等，并对提取到的特征信息和预先存储的各健康设备的特征信息进行比较，来确定成为被摄体的健康设备是血压计20。

根据显示方式(之一)，用户能掌握框510内是识别范围，因此，能使终端装置10对测定值的识别变得容易。

图5是用于说明指引的显示方式(之二)的图。参照图5，在显示方式(之二)中，在字符识别模式中，包含表示血压计20的形状的轮廓的对象520的画面530被显示于显示器158。此外，终端装置10也可以进一步显示表示设置于血压计20的外表面的字符(品牌信息41等)的对象。此外，在图5的例子中，为了使对象520易于观看，未显示血压计20的拍摄图像。

用户通过使终端装置10移动而以使血压计20与对象520重叠的方式进行拍摄。终端装置10在以使血压计20与对象520重叠的方式进行了拍摄的情况下，终端装置10识别测定结果所包含的各种字符串。

根据显示方式(之二)，终端装置10能引导用户在易于识别测定结果的位置拍摄血压计20。

图6是用于说明指引的显示方式(之三)的图。参照图6，在显示方式(之三)中，在字符识别模式中，包含四边形状的半透明对象540和表示7段中的各段的半透明对象542、544、546的画面550被显示于显示器158。

如图3所示，表示血压计20的测定值(最高血压值、最低血压值、脉搏数)的字符串由7段显示方式的字符构成。因此，如图6的例子那样显示：表示针对最高血压值的各段的半透明对象542、表示针对最低血压值的各段的半透明对象544、以及表示针对脉搏数的各段的半透明对象546。另外，半透明对象540示出了识别范围，相当于图4的框510的内侧部分。此外，在图6的例子中，为了使半透明的各对象易于观看，未示出血压计20的拍摄图像。

用户通过使终端装置10移动，从而以使血压计20的显示器24所显示的测定值与各对象542、544、546重叠的方式进行拍摄。在以使各测定值与各对象542、544、546重叠的方式进行了拍摄的情况下，终端装置10识别测定结果所包含的各种字符串。

此外，终端装置10通过使用血压计20的画面信息而能掌握各测定值显示在显示器24的哪一区域中。因此，终端装置10在以使各测定值与各半透明对象542、544、546重叠的方式进行了拍摄的情况下，能以使半透明对象540所示的识别范围包含拍摄图像所包含的整个显示器24的方式来设定各半透明对象的位置、大小等。

根据显示方式(之三)，能引导用户在终端装置10易于识别测定结果的位置拍摄血压计20。在7段显示方式的情况下，各段易于读取，因此，还有用户易于使各测定值与各半透明对象542、544、546对准的优点。不过，在表示血压计20的测定值的字符串是用7段显示方式以外的显示方式(例如点阵显示方式)显示的情况下，各半透明对象542、544、546也用点阵显示方式显示。

此外，终端装置10也可以使用将上述显示方式(之一)～显示方式(之三)中的至少2个组合而成的显示方式。

(识别准确度的使用)

终端装置10从拍摄图像来对血压计20的显示器24所显示的表示测定值(以下也称为“显示测定值”。)的字符串进行识别，将该识别到的字符串视为血压计20的测定值。此时，为了尽量提高显示器158所显示的测定值的正确性(即，显示测定值所示的数值与识别到的字符串所示的数值的一致度)，终端装置10使用表示识别到的字符(识别字符)的识别的正确性的准确度。

首先，终端装置10执行从拍摄图像来识别显示测定值的处理。由此，终端装置10取得从拍摄图像识别到的识别字符串和关于该识别字符串所包含的各识别字符的准确度。此外，准确度只要使用公知的技术算出即可，例如，通过对字符图像的特征量和在存储器154中预先登记的词典模式(dictionary pattern)进行比较来算出。

接着，终端装置10针对作为表示显示测定值的字符串的识别结果的识别字符串所包含的多个识别字符中的每一个识别字符，判断关于该识别字符的准确度是否不到阈值Th1(例如90％)。例如，假设如图4所示，表示最高血压值的字符串“118”包含于拍摄图像，通过字符识别得到了识别字符串“118”。在该情况下，所取得的关于各识别字符“1”、“1”、“8”的准确度例如分别为“85”、“90”、“95”。终端装置10判断各准确度“85”、“90”、“95”是否不到阈值Th1。此外，终端装置10针对表示最低血压值的字符串和表示脉搏数的字符串也进行同样的判断。

终端装置10在判断为关于与显示测定值对应的所有的识别字符的准确度是阈值Th1以上的情况下，将由这些识别字符构成的识别字符串作为血压计20的测定值显示于显示器158。例如，关于与最高血压值对应的多个识别字符各自的准确度“85”、“90”、“95”均是阈值Th1以上，因此，终端装置10决定为(视为)用血压计20测定出的最高血压值是“118”，将该决定结果(例如最高血压值“118”)显示于显示器158。

另一方面，终端装置10在关于多个识别字符中的至少1个识别字符的准确度不到阈值Th1的情况下，执行从规定次数(例如2次)的拍摄图像中的每一次的拍摄图像来识别表示显示测定值的字符串的处理。例如假设，表示最高血压值的字符串“118”包含于拍摄图像，通过识别处理得到了识别字符串“110”，关于各识别字符“1”、“1”、“0”的准确度分别是“85”、“90”、“60”。在该情况下，关于识别字符“0”的准确度“60”不到阈值Th1，因此，终端装置10执行从规定次数的拍摄图像中的每一次的拍摄图像来识别表示显示测定值的字符串的处理。

接着，终端装置10基于表示最初的拍摄图像所包含的显示测定值的字符串的识别结果和追加进行的2次的拍摄图像各自所包含的该字符串的识别结果，决定作为血压计20的测定值而采用的识别字符串。

例如假设，最初的拍摄图像所包含的该字符串的多个字符分别被识别为“1”、“1”、“0”，第2次的拍摄图像中的该多个字符分别被识别为“1”、“1”、“8”，第3次的拍摄图像中的该多个字符分别被识别为“1”、“1”、“8”。在该情况下，通过识别百位的字符而得到的识别字符仅是“1”，作为识别字符“1”被识别到的次数是3次。同样地，通过识别十位的字符而得到的识别字符仅为“1”，作为识别字符“1”被识别到的次数是3次。另一方面，通过识别个位的字符而得到的识别字符存在“0”和“8”，作为识别字符“0”被识别到的次数是1次，作为识别字符“8”被识别到的次数是2次。

在此，终端装置10确定作为个位的字符的识别结果的多个识别字符“0”、“8”中的、被识别到的次数最多的识别字符是“8”。此外，关于百位的字符和十位的字符，分别确定为识别字符“1”。终端装置10将由这样确定出的各识别字符“1”、“1”、“8”构成的识别字符串“118”决定为最高血压值，将该决定结果显示于显示器158。

这样，终端装置10在判断为关于识别字符的准确度低的情况下，再次执行规定次数的识别处理，将通过多数决定而采用的各识别字符决定为血压计20的测定值。因此，不会将由准确度低的识别字符构成的识别字符串作为血压计20的测定值而采用。因此，能更正确地取得血压计20的显示器24所显示的测定值。

(识别结果的实时显示)

在此，设想终端装置10对表示拍摄图像所包含的显示测定值的字符串进行了误识别的情况。在该情况下，终端装置10将错误的识别字符串决定为血压计20的测定值，并显示决定结果。用户通过对血压计20的显示器24所显示的测定值和终端装置10的显示器158所显示的测定值进行比较，来掌握终端装置10错误地识别了测定值的情况。因此，用户需要进行使终端装置10识别血压计20的显示器24所显示的测定值的作业。

说明为了尽量避免上述作业而将拍摄图像所包含的显示测定值的识别结果实时地显示于显示器158的功能。

图7是表示实时地显示识别结果的画面例的图。在此，终端装置10在字符识别模式中按规定周期反复进行拍摄图像的生成、拍摄图像的显示、以及拍摄图像所包含的字符串的识别。此外，假设在血压计20的显示器24中显示有最高血压值“133”、最低血压值“106”、脉搏数“82”。图7中的区域570表示由于外光等的映入而画面亮度变高的区域。

参照图7，终端装置10从拍摄图像识别最高血压值、最低血压值、脉搏数各自的字符串“133”、“106”、“82”。终端装置10显示包括拍摄图像、框510以及作为其识别结果的对象562、564、566的画面600。此外，为了易于说明，在画面600中仅示出了血压计20的显示器24的部分的拍摄图像。另外，还省略了显示器24所显示的测定值以外的字符串等。

对象562示出了表示最高血压值的字符串的识别结果(即，识别字符串“133”)，对象564示出了表示最低血压值的字符串的识别结果(即，识别字符串“106”)，对象566示出了表示脉搏数的字符串的识别结果(即，识别字符串“82”)。因此，用户能掌握血压计20的显示器24所显示的测定值被终端装置10正确地识别了。其后，用户例如通过按下决定按钮等，能将识别到的字符串决定为血压计20的测定值。

另外，如图7的例子所示，终端装置10也可以将多个识别字符分别用与关于该识别字符的准确度相应的规定的颜色进行显示。具体地，关于作为表示最高血压值的字符串的识别结果的对象562中的百位的数字“1”的准确度是70％以上且不到90％，关于其中的十位和个位的数字“3”的准确度是90％以上。因此，终端装置10用不同的颜色显示对象562中的百位的数字“1”和十位及个位的数字“3”。由此，用户能一边确认识别字符串和该识别字符串的颜色，一边进行改变终端装置10的照相机163的朝向等的操作。

(图像的合成)

在此，说明合成多个拍摄图像的功能。图8是用于说明多个图像的合成方法的图。在此，说明将在某周期p内生成的拍摄图像和在该周期p的下一个周期p+1内生成的拍摄图像进行合成的方法。此外，为了易于说明，拍摄图像722、726表示的是血压计20的显示器24的部分的拍摄图像。另外，还省略了显示器24所显示的、测定值以外的字符串等。

参照图8，在周期p内生成的拍摄图像722中，表示最高血压值的个位、最低血压值的个位、以及脉搏数的各区域与由于外光的映入等而画面亮度高的区域752重叠了。因此，关于作为表示最高血压值的个位、最低血压值的个位、以及脉搏数的各字符的识别结果的各识别字符的准确度变低，例如不到阈值Th2(例如40％)。

在该情况下，终端装置10生成从拍摄图像722切取了包含与具有不到阈值Th2的准确度的该各识别字符以外的剩余的各识别字符对应的各字符(在该情况下，是最高血压值的百位和十位的字符、以及最低血压值的十位的字符)的区域而成的局部图像724。终端装置10将局部图像724保存到存储器154。

接着，在周期p+1内生成的拍摄图像726中，表示最高血压值的个位的区域与画面亮度高的区域754重叠了。在该情况下，终端装置10生成从拍摄图像726切取了包含与具有不到阈值Th2的准确度的识别字符以外的剩余的各识别字符对应的各字符(在该情况下，是最高血压值的百位的字符以外的各字符)的区域而成的局部图像728。终端装置10将局部图像728保存到存储器154。

然后，终端装置10将存储器154所保存的局部图像724和局部图像728进行合成来生成合成图像730。终端装置10根据合成图像再次执行对表示显示测定值的字符串进行识别的处理。由于合成图像仅包含与具有比较高的准确度的识别字符对应的字符，因此，能提高表示显示测定值的字符串的识别精度。

(拍摄方向的通知)

图9是用于说明拍摄方向的通知功能的图。此外，为了易于说明，在图9中，仅示出了显示器158的画面所显示的拍摄图像中的、血压计20的显示器24的部分的拍摄图像。此外，还省略了显示器24所显示的、测定值以外的字符串等。

参照图9，终端装置10对显示器158所显示的画面810所包含的拍摄图像702和基准图像700进行比较，检测拍摄图像702相对于基准图像700的倾斜度。例如，通过对基准图像700和拍摄图像702所包含的显示器24的形状、大小等进行比较来检测该倾斜度。另外，在图9的例子中，将显示器24的进深方向、短边方向、长边方向分别定义为X轴方向、Y轴方向、Z轴方向。

终端装置10检测出拍摄图像702相对于基准图像700是绕X轴倾斜的。终端装置10为了减小相对于基准图像700的倾斜度，而将提醒使终端装置10绕X轴旋转的对象772显示于画面810。当使终端装置10旋转时，可得到包含拍摄图像708的画面840。此外，终端装置10在算出用于减小相对于基准图像700的倾斜度的旋转方向时，也可以使用经由方向传感器172检测出的本装置的3轴的姿势信息。

另外，终端装置10对画面820所包含的拍摄图像704和基准图像700进行比较，检测拍摄图像704相对于基准图像700的倾斜度。接下来，终端装置10检测出拍摄图像704相对于基准图像700是绕Y轴倾斜的。终端装置10为了减小相对于基准图像700的倾斜度，而将提醒使终端装置10绕Y轴旋转的对象774显示于画面820。当使终端装置10旋转时，可得到包含拍摄图像708的画面840。

另外，终端装置10对画面830所包含的拍摄图像706和基准图像700进行比较，检测拍摄图像706相对于基准图像700的倾斜度。接下来，终端装置10检测出拍摄图像706相对于基准图像700是绕Z轴倾斜的。终端装置10为了减小相对于基准图像700的倾斜度，而将提醒使终端装置10绕Z轴旋转的对象776显示于画面830。当使终端装置10旋转时，可得到包含拍摄图像708的画面840。由此，能提高表示显示测定值的字符串的识别精度。

(高动态范围合成)

在亮白多的拍摄图像、或者暗黑多的拍摄图像的情况下，只能根据该拍摄图像执行整体上准确度低的识别的可能性高。因此，终端装置10也可以使用HDR(high dynamicrange imaging：高动态范围成像)功能来生成图像。在图10中，仅示出了血压计20的显示器24的部分的拍摄图像。此外，还省略了显示器24所显示的、测定值以外的字符串等。

图10是用于说明使用了HDR功能的拍摄图像的生成方法的图。参照图10，终端装置10在拍摄血压计20的显示器24时，调整曝光量来生成亮白少的拍摄图像742和暗黑少的拍摄图像744。然后，终端装置10通过将拍摄图像742和拍摄图像744进行合成，来生成高动态范围合成图像746。

＜其它＞

根据本实施方式的终端装置10还具有以下的功能。

(型号等的确定)

终端装置10将健康设备的识别信息(设备ID)与特征信息相关联并存储到存储器154，其中，特征信息是该健康设备的箱体的形状、设置于箱体的字符信息、显示器的配置位置、按钮或开关的配置位置等信息。

终端装置10通过对从健康设备的拍摄图像提取的特征信息和存储器154所存储的各种健康设备的特征信息进行比较，从而能确定拍摄图像所包含的健康设备的种类、型号、品牌等。

(异常值的判定)

终端装置10也可以在通过识别拍摄图像所包含的显示测定值的字符串而取得的最高血压值、最低血压值以及脉搏数各自是异常值的情况下，通知异常。具体地，终端装置10在所取得的最高血压值没有包含于规定范围Ra(例如40～260mmHg)的情况下，通知最高血压值是异常的这一情况。终端装置10在所取得的最低血压值没有包含于规定范围Rb(例如40～260mmHg)的情况下，通知最低血压值是异常的这一情况。终端装置10在所取得的脉搏数没有包含于规定范围Rc(例如40～180次/分)的情况下，通知脉搏数是异常的这一情况。另外，终端装置10在最低血压值高于最高血压值的情况下，通知这些值是异常的这一情况。

(重复数据的排除)

终端装置10为了确保测定结果的可靠性以及有效利用存储器154而构成为不重复存储同一测定结果。具体地，终端装置10对所取得的测定结果和在存储器154中已经存储的测定结果进行比较来判断它们是否一致。例如，终端装置10对各测定结果所包含的用户编号、测定日期时间和测定值、以及通过图像识别确定的型号相互进行比较。然后，终端装置10在所取得的测定结果的各信息与已经存储的测定结果的各信息完全一致的情况下，不将所取得的测定结果存储到存储器154。由此，终端装置10能防止测定结果被重复存储。

＜功能构成＞

图11是表示终端装置10的功能构成的框图。参照图10，终端装置10包括拍摄部202、输出控制部204、识别部206、判断部208、决定部210、异常判定部212、图像生成部214、合成部216以及倾斜度检测部218。

拍摄部202按每一规定周期对被摄体进行拍摄而生成拍摄图像。在本实施方式中，拍摄部202生成包含作为被摄体的血压计20的图像的拍摄图像。拍摄部202是主要通过处理器152和照相机163配合动作而实现的功能。拍摄部202将生成的拍摄图像依次输出到输出控制部204、识别部206以及图像生成部214。

输出控制部204将由拍摄部202依次拍摄而生成的拍摄图像显示于显示器158。在某方面中，输出控制部204将由拍摄部202生成的拍摄图像和用于辅助用户的操作的指引显示于显示器158。

指引是在通过识别部206对血压计20的显示器24所显示的表示测定结果的字符串进行识别时，以使该识别处理变得容易为目的，为了辅助用户的拍摄操作而显示的。指引包括表示识别部206的识别范围的对象(例如框510、半透明对象540)。另外，指引还包括存在于表示该识别范围的对象内的、表示7段中的各段的对象(例如半透明对象542、544、546)。而且，指引也可以包括表示血压计20的形状的对象(例如对象520)。

识别部206从由拍摄部202生成的拍摄图像所包含的血压计20的图像之中识别血压计20的显示器24所显示的表示测定结果的字符串。测定结果例如包括测定值(最高血压值、最低血压值、脉搏数)、测定日期时间、气温、用户编号、各种消息、表示袖带的卷绕状况是否合适的信息(符号)以及表示脉搏波状态的信息(符号)。另外，识别部206针对作为表示显示器24所显示的测定值(显示测定值)的字符串(例如表示最高血压值的字符串)的识别结果的识别字符串所包含的多个识别字符中的每一个识别字符，算出表示该识别字符的识别的正确性的准确度。识别部206将识别结果(各识别字符和准确度)输出到判断部208和决定部210。

判断部208针对该多个识别字符中的每一个识别字符，判断关于该识别字符的准确度是否不到阈值Th1。

在判断部208判断为关于该多个识别字符中的至少1个识别字符的准确度不到阈值Th1的情况下，识别部206进一步执行从由拍摄部202进一步生成的N个(N为1以上的整数)拍摄图像中的每一个拍摄图像来识别表示显示测定值的字符串的处理。

决定部210基于规定条件将作为表示显示测定值的字符串的识别结果的识别字符串决定为血压计20的测定值。

具体地，在判断部208判断为关于该多个识别字符中的至少1个识别字符的准确度不到阈值Th1的情况下，决定部210基于表示显示测定值的字符串(例如表示最高血压值的字符串“118”)的N+1次的识别结果(即N+1个识别字符串)，关于该字符串所包含的各字符(字符“1”、“1”、“8”)，来确定作为该字符的识别结果而得到的至少1个识别字符(例如作为字符“8”的识别结果而得到的2个识别字符“8”、“0”)中的、识别次数最多的识别字符。

决定部210将由该确定的各识别字符(例如，针对百位的字符“1”确定出的识别字符“1”、针对十位的字符“1”确定出的识别字符“1”、针对个位的字符“8”确定出的识别字符“8”)构成的识别字符串(例如识别字符串“118”)决定为血压计20的测定值。

另一方面，在判断部208判断为关于多个识别字符各自的准确度是阈值Th1以上的情况下，决定部210将由该多个识别字符构成的识别字符串决定为血压计20的测定值。换句话说，决定部210在关于由识别部206最初识别到的识别字符串所包含的各识别字符的准确度是阈值Th1以上的情况下，将该最初被识别到的识别字符串决定为血压计20的测定值。

决定部210将决定结果存储到存储器154，并且将其输出到输出控制部204和异常判定部212。输出控制部204输出决定部210的决定结果。例如，输出控制部204使显示器158显示该决定结果。此外，输出控制部204也可以经由通信接口166(或无线通信部160)将该决定结果输出到外部装置，还可以经由扬声器168将该决定结果以声音进行输出。

异常判定部212基于由决定部210决定为血压计20的测定值的识别字符串所表示的数值来判定异常的有无。例如，异常判定部212在该数值是规定范围内的情况下，判定为无异常，在该数值是规定范围外的情况下，判定为有异常。异常判定部212将判定结果输出到输出控制部204。输出控制部204在由异常判定部212判定为有异常的情况下，输出异常信息。例如，输出控制部204使显示器158显示表示该数值是规定范围外这一情况的错误通知。

在此，在另一方面中，也可以是，判断部208针对作为表示显示测定值的字符串的识别结果的识别字符串所包含的多个识别字符中的每一个识别字符，判断关于该识别字符的准确度是否不到阈值Th2(＜阈值Th1)。判断部208将该判断结果输出到图像生成部214或者倾斜度检测部218。

在判断部208判断为关于多个识别字符(例如识别字符“1”、“2”、“0”)中的至少1个识别字符(例如识别字符“0”)的准确度不到阈值Th2的情况下，图像生成部214生成从由拍摄部202生成的拍摄图像切取了包含与该至少1个识别字符以外的剩余的各识别字符(例如识别字符“1”、“2”)对应的各字符(例如字符“1”、“2”)的区域而成的局部图像(例如局部图像724、728)。图像生成部214将局部图像输出到合成部216。

合成部216将由图像生成部214生成的多个局部图像进行合成。合成部216将合成图像输出到识别部206。识别部206执行从由合成部216合成后的合成图像(例如合成图像730)来识别表示显示测定值的字符串的处理。

另外，在再一方面中，在判断部208判断为关于多个识别字符中的至少1个识别字符的准确度不到阈值Th2的情况下，倾斜度检测部218检测相对于基准图像的、由拍摄部202生成的拍摄图像的倾斜度。输出控制部204使显示器158显示用于减小拍摄图像相对于基准图像的倾斜度的旋转方向。

此外，输出控制部204也可以使显示器158将作为表示显示测定值的字符串的识别结果的识别字符串所包含的多个识别字符的每一个识别字符以与关于该识别字符的准确度相应的规定的颜色进行显示。另外，输出控制部204也可以使显示器158显示表示关于该识别字符的准确度的信息。例如，表示该准确度的信息被显示于框510内的预定的位置。另外，输出控制部204也可以在该识别字符的附近显示表示该识别字符的准确度的信息。

＜处理过程＞

图12是表示终端装置10的处理过程的一例的流程图。

参照图12，终端装置10的处理器152生成使用照相机163拍摄到的血压计20的拍摄图像，将该拍摄图像显示于显示器158(步骤S10)。处理器152将用于辅助用户的操作的指引显示于显示器158(步骤S12)。处理器152从拍摄图像之中识别血压计20的显示器24所显示的表示测定值(显示测定值)的字符串(步骤S14)。

处理器152判断关于作为表示显示测定值的字符串的识别结果的识别字符串所包含的多个识别字符各自的准确度是否是阈值Th1以上(即，关于各识别字符的准确度是否均为阈值Th1以上)(步骤S16)。在关于多个识别字符各自的准确度是阈值Th1以上的情况下(在步骤S16中为“是”)，处理器152将由该多个识别字符构成的识别字符串决定为血压计20的测定值(步骤S24)，将决定结果(识别字符串所示的数值)显示于显示器158(步骤S26)，并结束处理。

在关于多个识别字符中的至少1个识别字符的准确度不到阈值Th1的情况下(在步骤S16中为“否”)，处理器152根据与成为了识别处理的对象的拍摄图像不同的拍摄图像，再次执行表示显示测定值的字符串的识别处理(步骤S18)。处理器152判断表示显示测定值的字符串的识别处理是否被执行了规定次数(步骤S20)。

在该识别处理未被执行规定次数的情况下(在步骤S20中为“否”)，处理器152反复进行步骤S18的处理。在该识别处理被执行了规定次数的情况下(在步骤S20中为“是”)，处理器152将由基于规定次数量的识别结果而确定出的各识别字符构成的识别字符串决定为血压计20的测定值(步骤S22)。具体地，处理器152关于表示显示测定值的字符串所包含的各字符，确定通过识别到该字符而得到的至少1个识别字符中的、识别次数最多的识别字符。然后，处理器152将决定结果显示于显示器158(步骤S26)，并结束处理。

(变形例)

图13是表示终端装置10的处理过程的变形例的流程图。

参照图13，步骤S50～S56的处理分别与图12中的步骤S10～S16的处理是同样的，因此不重复其详细说明。在关于作为表示显示测定值的字符串的识别结果的识别字符串所包含的多个识别字符各自的准确度不到阈值Th1(例如90％)的情况下(在步骤S56中为“否”)，执行步骤S66、S68的处理。步骤S66、S68的处理分别与图12中的步骤S24、S26的处理是同样的，因此不重复其详细说明。

在关于多个识别字符中的至少1个识别字符的准确度不到阈值Th1的情况下(在步骤S56中为“是”)，处理器152判断关于该多个识别字符各自的准确度是否是阈值Th2(例如40％)以上(步骤S58)。在关于多个识别字符各自的准确度是阈值Th2以上的情况下(在步骤S58中为“是”)，执行步骤S60～S64、S68的处理。步骤S60～S64、S68的处理分别与图12中的步骤S18～S22、S26的处理是同样的，因此不重复其详细说明。

在关于多个识别字符中的至少1个识别字符的准确度不到阈值Th2的情况下(在步骤S58中为“否”)，处理器152根据所生成的拍摄图像，生成切取了包含与至少1个识别字符以外的剩余的各识别字符(即，具有阈值Th2以上的比较高的准确度的识别字符)对应的各字符的区域而成的局部图像(步骤S70)。处理器152将所生成的局部图像保存到存储器154。

处理器152判断存储器154是否保存了规定数量的局部图像(步骤S72)。在尚未保存规定数量的局部图像的情况下(在步骤S72中为“否”)，处理器152反复进行从步骤S50开始的处理。在保存了规定数量的局部图像的情况下(在步骤S72中为“是”)，处理器152将该规定数量的局部图像进行合成(步骤S74)。处理器152执行从合成图像来识别表示显示测定值的字符串的处理(步骤S76)。

处理器152判断关于从合成图像识别到的识别字符串所包含的多个识别字符各自的准确度是否是阈值Th1以上(步骤S78)。在关于该多个识别字符各自的准确度是阈值Th1以上的情况下(在步骤S78中为“是”)，处理器152执行步骤S66的处理。在关于该多个识别字符中的至少1个识别字符的准确度不到阈值Th1的情况下(步骤S78中为“否”)，处理器152进行错误通知(步骤S80)，并结束处理。

＜优点＞

根据本实施方式，终端装置10在判断为关于识别字符的准确度低的情况下，再次执行规定次数的识别处理，将由通过多数决定而采用的各识别字符构成的识别字符串决定为测定值，并将该决定的识别字符串显示于显示器158。因此，准确度低的识别字符不会直接显示于显示器158，能提高显示器158所显示的测定值的正确性。

另外，根据本实施方式，在识别表示显示测定值的字符串时，显示用于辅助用户的操作的指引。另外，作为指引，显示有表示框、识别范围、7段显示方式的各段等的对象，因此，能引导用户在最佳的位置拍摄血压计20。

＜其它实施方式＞

(1)在上述的实施方式中，终端装置10也可以利用测定结果所包含的各种信息来评价测定值的可靠性。例如，终端装置10的处理器152(评价部)算出从测定日期时间到拍摄日期时间为止的期间，判断该算出的期间是否是规定期间内。处理器152在该算出的期间不是规定期间内的情况下，评价为测定结果的可靠性低。在该情况下，处理器152也可以输出表示该算出的期间不是规定期间内的错误通知。

(2)在上述的实施方式中，在图9中，说明了基于拍摄图像702相对于基准图像700的倾斜度向用户通知合适的拍摄方向的构成，但不限于该构成。具体地，也可以执行以下的步骤A～F的处理。

终端装置10检测拍摄图像702相对于基准图像700的倾斜度(步骤A)。终端装置10基于该倾斜度以使相对于基准图像700的倾斜度减小的方式校正拍摄图像702(步骤B)。终端装置10执行从校正后的拍摄图像702来识别表示显示测定值的字符串的处理(步骤C)。终端装置10判断关于与显示测定值对应的所有的识别字符的准确度是否是规定阈值(例如阈值Th1)以上(步骤D)。

在对关于与显示测定值对应的所有的识别字符的准确度进行了规定阈值判断的情况下，终端装置10将由这些识别字符构成的识别字符串作为血压计20的测定值显示于显示器158(步骤E)。

另一方面，在关于多个识别字符中的至少1个识别字符的准确度不到规定阈值的情况下，终端装置10为了减小相对于基准图像700的倾斜度，而将提醒使终端装置10向合适的方向旋转的对象(例如对象772、774、776)显示于显示器158(步骤F)，再次反复进行从步骤A开始的处理。

(3)在上述的实施方式中，还能提供使计算机发挥功能来执行在上述的流程图中说明的控制的程序。这种程序也能记录在附属于计算机的软盘、CD(Compact Disk ReadOnly Memory：光盘只读存储器)、二次存储装置、主存储装置以及存储卡等非暂时性的计算机可读取的记录介质中，作为程序产品来提供。或者，也能记录在内置于计算机的硬盘等记录介质中来提供程序。另外，还能通过经由网络的下载来提供程序。

程序也可以是按规定的排列并按规定的定时调出作为计算机的操作系统(OS)的一部分提供的程序模块中的所需要的模块来执行处理的程序。在该情况下，程序自身不包含上述模块，而是与OS协作来执行处理。这种不包含模块的程序也能包含在本实施方式的程序中。

另外，本实施方式的程序也可以嵌入到其它程序的一部分来提供。在该情况下，程序自身也不包含上述其它程序所包含的模块，而是与其它程序协作来执行处理。这种嵌入到其它程序的程序也能包含于本实施方式的程序。

(4)作为上述的实施方式例示的构成是本发明的构成的一例，既能与其它公知的技术组合，也能在不脱离本发明的宗旨的范围内进行将一部分省略等的变更来构成。另外，在上述的实施方式中，也可以是适当地采用在其它实施方式中说明的处理或构成来实施的情况。

应认为此次公开的实施方式在全部方面均是例示而非限制性的。本发明的范围不是由上述的说明而是由权利要求书给出，旨在包含与权利要求书等同的含义和范围内的所有变更。

附图标记说明

1：系统；10：终端装置；20、21：血压计；22：主体部；23：体成分仪；24、158：显示器；26：前进/后退按钮；27：灯；28：用户编号开关；29：开始/停止按钮；41：品牌信息；43：型号信息；152：处理器；154：存储器；156：输入装置；160：无线通信部；162：通信天线；163：照相机；164：存储器接口；165：存储介质；166：通信接口；168：扬声器；170：麦克风；172：方向传感器；202：拍摄部；204：输出控制部；206：识别部；208：判断部；210：决定部；212：异常判定部；214：图像生成部；216：合成部；218：倾斜度检测部。

Claims

1.一种终端装置，其特征在于，具备：

拍摄部，其拍摄作为被摄体的健康设备；

识别部，其从由上述拍摄部生成的拍摄图像所包含的上述健康设备的图像来识别上述健康设备的显示器所显示的表示测定结果的字符串；以及

显示控制部，其使上述终端装置的显示器显示由上述拍摄部生成的拍摄图像和在上述识别部对表示上述测定结果的字符串进行识别时用于辅助用户的操作的指引，

上述指引包括表示上述识别部的识别范围的第1对象。

2.根据权利要求1所述的终端装置，

上述测定结果包括上述健康设备的测定值，

表示上述测定值的字符串由7段显示方式的字符构成，

上述指引还包括存在于上述第1对象内的、表示7段中的各段的第2对象。

3.根据权利要求2所述的终端装置，

上述指引还包括表示上述健康设备的形状的第3对象。

4.根据权利要求2或3所述的终端装置，

上述显示控制部在作为表示上述测定值的字符串的识别结果的识别字符串所表示的数值是规定范围外的情况下，使上述终端装置的显示器显示异常信息。

5.根据权利要求2～4中的任意一项所述的终端装置，

上述显示控制部使上述终端装置的显示器将作为表示上述测定值的字符串的识别结果的识别字符串所包含的多个识别字符中的每一个识别字符以与表示该识别字符的识别的正确性的准确度相应的规定的颜色进行显示。

6.根据权利要求2～4中的任意一项所述的终端装置，

上述显示控制部针对作为表示上述测定值的字符串的识别结果的识别字符串所包含的多个识别字符中的每一个识别字符，使上述终端装置的显示器对表示准确度的信息进行显示，该准确度表示该识别字符的识别的正确性。