JP2018109801A - Terminal device - Google Patents

Terminal device Download PDF

Info

Publication number
JP2018109801A
JP2018109801A JP2016256224A JP2016256224A JP2018109801A JP 2018109801 A JP2018109801 A JP 2018109801A JP 2016256224 A JP2016256224 A JP 2016256224A JP 2016256224 A JP2016256224 A JP 2016256224A JP 2018109801 A JP2018109801 A JP 2018109801A
Authority
JP
Japan
Prior art keywords
terminal device
recognized
recognition
character string
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016256224A
Other languages
Japanese (ja)
Other versions
JP6804292B2 (en
JP2018109801A5 (en
Inventor
出野 徹
Toru Ideno
徹 出野
北村 隆
Takashi Kitamura
隆 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Omron Healthcare Co Ltd
Original Assignee
Omron Corp
Omron Healthcare Co Ltd
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Healthcare Co Ltd, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2016256224A priority Critical patent/JP6804292B2/en
Priority to MX2019007047A priority patent/MX2019007047A/en
Priority to RU2019118662A priority patent/RU2727464C1/en
Priority to CN201780076261.3A priority patent/CN110088770B/en
Priority to PCT/JP2017/037990 priority patent/WO2018123229A1/en
Publication of JP2018109801A publication Critical patent/JP2018109801A/en
Publication of JP2018109801A5 publication Critical patent/JP2018109801A5/ja
Application granted granted Critical
Publication of JP6804292B2 publication Critical patent/JP6804292B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a terminal device that can more accurately acquire a measurement result displayed on a display part of a health appliance.SOLUTION: A terminal device executes processing to recognize, from an image of a health appliance included in a picked-up image, character strings indicating measured values displayed on a display of the health appliance, and determines, for each of a plurality of recognized characters included in the recognized character strings that are a result of recognition of the displayed character strings indicating the measured values, whether or not the probability indicating the accuracy of recognition of the recognized characters is less than a first threshold. When the probability is less than the first threshold, the terminal device further executes processing to recognize, from each of N (N is an integer of 1 or more) picked-up images further created by imaging means, the displayed character strings indicating measured values. The terminal device determines, as measured values from the health appliance, the recognized character strings consisting of recognized characters that are specified on the basis of results of N+1 times of recognition of the displayed character strings indicating the measured values, and outputs a determined result.SELECTED DRAWING: Figure 11

Description

本開示は、端末装置に関し、特に、健康機器を撮像することにより、当該健康機器の測定結果を取り込むことが可能な端末装置に関する。   The present disclosure relates to a terminal device, and more particularly, to a terminal device capable of capturing a measurement result of the health device by imaging the health device.

血圧および脈拍等のような人体の健康状態に関する様々な生体情報を測定する各種の測定機器が開発されている。このような測定機器の測定データを収集するための端末装置に取り込んで、ユーザの健康状態の確認等が行われている。   Various measuring devices for measuring various biological information relating to the health condition of the human body such as blood pressure and pulse have been developed. The user's health condition is confirmed by taking it into a terminal device for collecting measurement data of such a measuring instrument.

例えば、特開2001−224557号公報(特許文献1)は、データ入力装置を開示している。データ入力装置は、計測器のデータ表示部に表示されたデータの画像を得る画像取得手段と、得られた画像中の数字を読みとる数字読みとり手段と、読みとった数字を表示する表示手段とを含む。   For example, Japanese Patent Laid-Open No. 2001-224557 (Patent Document 1) discloses a data input device. The data input device includes image acquisition means for obtaining an image of data displayed on the data display unit of the measuring instrument, number reading means for reading the numbers in the obtained image, and display means for displaying the read numbers. .

特開2001−224557号公報JP 2001-224557 A

特許文献1に係る表示データ解析装置は、撮像画像から計測データの検出を行ない易くするために、計測装置に貼られる各種マーカ、計測データが表示される表示部の色および反射率情報等を利用することを検討している。しかしながら、特許文献1では、実際に検出された計測データの正確性については何ら検討されていないため、表示データ解析装置は、計測装置の表示部に表示されている計測データとは異なる計測データを出力してしまう可能性がある。   The display data analysis apparatus according to Patent Document 1 uses various markers attached to the measurement apparatus, the color of the display unit on which the measurement data is displayed, reflectance information, and the like in order to facilitate detection of measurement data from the captured image. I'm considering doing that. However, in Patent Document 1, since the accuracy of the actually detected measurement data is not studied at all, the display data analysis device displays measurement data different from the measurement data displayed on the display unit of the measurement device. There is a possibility of output.

本開示は、上記に鑑みてなされたものであって、ある局面における目的は、健康機器の表示部に表示された測定結果をより正確に取得することが可能な端末装置を提供することである。   The present disclosure has been made in view of the above, and an object in one aspect is to provide a terminal device capable of more accurately acquiring a measurement result displayed on a display unit of a health device. .

ある実施の形態に従う端末装置は、被写体として健康機器を撮像する撮像手段と、撮像手段により生成された撮像画像に含まれる健康機器の画像から、健康機器のディスプレイに表示された測定値を示す文字列を認識する処理を実行する認識手段と、表示された測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字の認識の正確さを表わす確度が第1閾値未満であるか否かを判断する判断手段とを備える。複数の認識文字のうちの少なくとも1つの認識文字についての確度が第1閾値未満である場合、認識手段は、撮像手段によりさらに生成されたN個(Nは1以上の整数)の撮像画像の各々から、表示された測定値を示す文字列を認識する処理をさらに実行する。端末装置は、表示された測定値を示す文字列のN+1回分の認識結果に基づいて、当該文字列に含まれる各文字について、当該文字が認識されることにより得られた少なくとも1つの認識文字のうち、最も認識回数の多い認識文字を特定し、当該特定された各認識文字から構成される認識文字列を、健康機器の測定値として決定する決定手段と、決定手段の決定結果を出力する出力制御手段とをさらに備える。   A terminal device according to an embodiment includes an imaging unit that images a health device as a subject, and a character that indicates a measurement value displayed on the display of the health device from an image of the health device included in a captured image generated by the imaging unit. Recognizing means for executing processing for recognizing a column, and each of a plurality of recognized characters included in a recognized character string that is a recognition result of the character string indicating the displayed measurement value represents the recognition accuracy of the recognized character Determining means for determining whether or not the accuracy is less than the first threshold value. When the accuracy of at least one recognized character among the plurality of recognized characters is less than the first threshold, the recognizing unit further includes each of N (N is an integer of 1 or more) captured images further generated by the imaging unit. Then, a process of recognizing the character string indicating the displayed measurement value is further executed. Based on the recognition result for N + 1 times of the character string indicating the displayed measurement value, the terminal device recognizes at least one recognized character obtained by recognizing the character for each character included in the character string. Of these, a recognition unit that identifies the recognition character with the highest number of times of recognition, and a determination unit that determines a recognition character string composed of the identified recognition characters as a measurement value of the health device, and an output that outputs a determination result of the determination unit And a control means.

好ましくは、複数の認識文字の各々についての確度が第1閾値以上である場合、決定手段は、複数の認識文字から構成される認識文字列を、健康機器の測定値として決定する。   Preferably, when the accuracy for each of the plurality of recognized characters is equal to or greater than the first threshold, the determining unit determines a recognized character string including the plurality of recognized characters as a measurement value of the health device.

好ましくは、出力制御手段は、表示された測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々を、当該認識文字についての確度に応じた所定色で端末装置のディスプレイに表示させる。   Preferably, the output control means displays each of the plurality of recognized characters included in the recognized character string, which is a recognition result of the character string indicating the displayed measurement value, in a predetermined color according to the accuracy of the recognized character. On the display.

好ましくは、出力制御手段は、表示された測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字についての確度を示す情報を端末装置のディスプレイに表示させる。   Preferably, the output control means displays information indicating the accuracy of the recognized character for each of the plurality of recognized characters included in the recognized character string, which is a recognition result of the character string indicating the displayed measurement value. To display.

好ましくは、判断手段は、表示された測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字についての確度が第1閾値よりも小さい第2閾値未満であるか否かをさらに判断する。端末装置は、複数の認識文字のうちの少なくとも1つの認識文字についての確度が第2閾値未満である場合、撮像手段により生成された撮像画像から、少なくとも1つの認識文字以外の残余の各認識文字に対応する各文字を含む領域を切り取った部分画像を生成する生成手段と、生成手段により生成された複数の部分画像を合成する合成手段とをさらに備える。認識手段は、合成手段により合成された画像から、表示された測定値を示す文字列を認識する処理を実行する。   Preferably, the determination means has a second accuracy smaller than the first threshold value for each of the plurality of recognized characters included in the recognized character string that is a recognition result of the character string indicating the displayed measurement value. It is further determined whether or not it is less than the threshold value. When the accuracy of at least one recognized character among the plurality of recognized characters is less than the second threshold, the terminal device determines, from the captured image generated by the imaging unit, each remaining recognized character other than at least one recognized character The image forming apparatus further includes a generating unit that generates a partial image obtained by cutting out a region including each character corresponding to, and a combining unit that combines a plurality of partial images generated by the generating unit. The recognition unit executes a process of recognizing a character string indicating the displayed measurement value from the image combined by the combining unit.

好ましくは、出力制御手段は、健康機器の測定値として決定された認識文字列が表わす数値が所定範囲外である場合、異常情報を出力する。   Preferably, the output control means outputs abnormality information when the numerical value represented by the recognized character string determined as the measurement value of the health device is out of the predetermined range.

本開示によると、健康機器の表示部に表示された測定結果をより正確に取得することが可能となる。   According to the present disclosure, the measurement result displayed on the display unit of the health device can be acquired more accurately.

端末装置および健康機器を含むシステムの概略的な構成を示す図である。It is a figure which shows schematic structure of the system containing a terminal device and health equipment. 端末装置のハードウェア構成の一例を表わすブロック図である。It is a block diagram showing an example of the hardware constitutions of a terminal device. 血圧計の本体部の外観の一例を示す図である。It is a figure which shows an example of the external appearance of the main-body part of a blood pressure meter. ガイドの表示方式(その1)を説明するための図である。It is a figure for demonstrating the display method (the 1) of a guide. ガイドの表示方式(その2)を説明するための図である。It is a figure for demonstrating the display method (the 2) of a guide. ガイドの表示方式(その3)を説明するための図である。It is a figure for demonstrating the display system (the 3) of a guide. 認識結果をリアルタイムで表示した画面例を示す図である。It is a figure which shows the example of a screen which displayed the recognition result in real time. 複数の画像の合成方法を説明するための図である。It is a figure for demonstrating the synthetic | combination method of a some image. 撮像方向の報知機能の説明するための図である。It is a figure for demonstrating the alerting | reporting function of an imaging direction. HDR機能を用いた撮像画像の生成方法を説明するための図である。It is a figure for demonstrating the production | generation method of the captured image using a HDR function. 端末装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of a terminal device. 端末装置の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of a terminal device. 端末装置の処理手順の変形例を示すフローチャートである。It is a flowchart which shows the modification of the process sequence of a terminal device.

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.

<全体構成>
図1は、端末装置および健康機器を含むシステム1の概略的な構成を示す図である。
<Overall configuration>
FIG. 1 is a diagram illustrating a schematic configuration of a system 1 including a terminal device and a health device.

図1を参照して、システム1は、ユーザ端末である端末装置10と、ユーザの生体情報を測定するための健康機器の一例である血圧計20、21、および体重・体組成計23を含む。なお、健康機器は、血圧計20、21および体重・体組成計23に限られず、測定結果を表示可能な睡眠計、歩数計、体温計等であってもよい。   Referring to FIG. 1, system 1 includes a terminal device 10 that is a user terminal, blood pressure monitors 20 and 21 that are examples of health equipment for measuring the user's biological information, and a weight / body composition meter 23. . The health equipment is not limited to the sphygmomanometers 21 and 21 and the body weight / body composition meter 23, and may be a sleep meter, a pedometer, a thermometer or the like capable of displaying the measurement results.

血圧計20は、本体とカフ(腕帯)とが別体である据置型の上腕式血圧計である。血圧計21は、本体とカフとが一体となった腕時計型の手首式血圧計である。血圧計21は、腕時計のように長時間腕に装着して、24時間連続して脈動を1拍ごとに測定する機能や、常時装着して測定開始ボタンを押すだけで測定できる機能等を有する。これにより、血圧計21は、ユーザの血圧の常時測定が可能となっている。体重・体組成計23は、体重、体脂肪率、内臓脂肪レベル、皮下脂肪率等を測定可能であり、測定結果をディスプレイに表示する。なお、以下では、説明の便宜上、血圧計20を「健康機器」の代表例として説明を行なう。   The sphygmomanometer 20 is a stationary upper arm sphygmomanometer in which a main body and a cuff (arm band) are separate bodies. The sphygmomanometer 21 is a wrist watch type sphygmomanometer in which a main body and a cuff are integrated. The sphygmomanometer 21 has a function of wearing a wrist for a long time like a wristwatch and measuring a pulsation every beat for 24 hours continuously, a function capable of being measured by simply wearing a wristwatch and pressing a measurement start button. . Thereby, the sphygmomanometer 21 can always measure the blood pressure of the user. The body weight / body composition meter 23 can measure body weight, body fat percentage, visceral fat level, subcutaneous fat percentage, and the like, and displays the measurement results on a display. In the following, for convenience of explanation, the blood pressure monitor 20 will be described as a representative example of “health equipment”.

端末装置10は、例えば、カメラと、タッチパネルとを有するスマートフォンである。端末装置10は、カメラを用いて各健康機器を撮像することにより生成した撮像画像の中から、各健康機器のディスプレイに表示された測定結果を検出(認識)する機能を有する。以下では、携帯機器であるスマートフォンを「端末装置」の代表例として説明を行なう。ただし、端末装置は、折り畳み式携帯電話、タブレット端末装置、PDA(Personal Data Assistance)などのような撮像機能を有する他の端末装置であってもよい。   The terminal device 10 is, for example, a smartphone having a camera and a touch panel. The terminal device 10 has a function of detecting (recognizing) a measurement result displayed on the display of each health device from captured images generated by capturing each health device using a camera. In the following description, a smartphone that is a portable device will be described as a representative example of a “terminal device”. However, the terminal device may be another terminal device having an imaging function such as a foldable mobile phone, a tablet terminal device, and a PDA (Personal Data Assistance).

詳細は後述するが、端末装置10は、カメラを用いて、測定結果を表示している状態の健康機器を撮像(撮影)する。端末装置10は、生成した撮像画像の中から、各種の認識方式を用いて測定結果を認識し、認識した測定結果を出力する。例えば、端末装置10は、認識された測定値(最高血圧値等)を自装置のディスプレイに表示する。   Although details will be described later, the terminal device 10 images (photographs) a health device in a state where the measurement result is displayed using a camera. The terminal device 10 recognizes the measurement results from the generated captured images using various recognition methods, and outputs the recognized measurement results. For example, the terminal device 10 displays the recognized measurement value (maximum blood pressure value or the like) on the display of the own device.

<ハードウェア構成>
(端末装置)
図2は、端末装置10のハードウェア構成の一例を表わすブロック図である。図2を参照して、端末装置10は、主な構成要素として、プロセッサ152と、メモリ154と、入力装置156と、ディスプレイ158と、無線通信部160と、通信アンテナ162と、カメラ163と、メモリインターフェイス(I/F)164と、通信インターフェイス(I/F)166と、スピーカ168と、マイク170と、方向センサ172とを含む。また、端末装置10は、時刻を計時するための計時部をさらに含む。
<Hardware configuration>
(Terminal device)
FIG. 2 is a block diagram illustrating an example of a hardware configuration of the terminal device 10. Referring to FIG. 2, the terminal device 10 includes, as main components, a processor 152, a memory 154, an input device 156, a display 158, a wireless communication unit 160, a communication antenna 162, a camera 163, A memory interface (I / F) 164, a communication interface (I / F) 166, a speaker 168, a microphone 170, and a direction sensor 172 are included. Moreover, the terminal device 10 further includes a timer unit for measuring time.

プロセッサ152は、典型的には、CPU(Central Processing Unit)やMPU(Multi Processing Unit)といった演算処理部である。プロセッサ152は、メモリ154に記憶されたプログラムを読み出して実行することで、端末装置10の各部の動作を制御する制御部として機能する。プロセッサ152は、当該プログラムを実行することによって、後述する端末装置10の処理(ステップ)の各々を実現する。   The processor 152 is typically an arithmetic processing unit such as a CPU (Central Processing Unit) or an MPU (Multi Processing Unit). The processor 152 functions as a control unit that controls the operation of each unit of the terminal device 10 by reading and executing the program stored in the memory 154. The processor 152 implements each process (step) of the terminal device 10 to be described later by executing the program.

メモリ154は、RAM(Random Access Memory)、ROM(Read-Only Memory)、フラッシュメモリなどによって実現される。メモリ154は、プロセッサ152によって実行されるプログラム、またはプロセッサ152によって用いられるデータなどを記憶する。   The memory 154 is realized by a RAM (Random Access Memory), a ROM (Read-Only Memory), a flash memory, or the like. The memory 154 stores a program executed by the processor 152, data used by the processor 152, and the like.

入力装置156は、端末装置10に対する操作入力を受け付ける。典型的には、入力装置156は、タッチパネルによって実現される。タッチパネルは、表示部としての機能を有するディスプレイ158上に設けられており、例えば、静電容量方式タイプである。タッチパネルは、所定時間毎に外部物体によるタッチパネルへのタッチ操作を検知し、タッチ座標をプロセッサ152に入力する。ただし、入力装置156は、ボタンなどを含んでいてもよい。   The input device 156 receives an operation input to the terminal device 10. Typically, the input device 156 is realized by a touch panel. The touch panel is provided on a display 158 having a function as a display unit, and is, for example, a capacitance type. The touch panel detects a touch operation on the touch panel by an external object every predetermined time, and inputs touch coordinates to the processor 152. However, the input device 156 may include a button or the like.

無線通信部160は、通信アンテナ162を介して移動体通信網に接続し無線通信のための信号を送受信する。これにより、端末装置10は、たとえば、LTE(Long Term Evolution)などの移動体通信網を介して他の通信装置との通信が可能となる。   The wireless communication unit 160 connects to the mobile communication network via the communication antenna 162 and transmits and receives signals for wireless communication. Thereby, the terminal device 10 can communicate with other communication devices via a mobile communication network such as LTE (Long Term Evolution), for example.

カメラ163は、例えばCCD(Charge Coupled Device)方式、CMOS(Complementary Mental Oxide Semiconductor)方式その他の方式により実現される。   The camera 163 is realized by, for example, a charge coupled device (CCD) method, a complementary mental oxide semiconductor (CMOS) method, or other methods.

メモリインターフェイス164は、外部の記憶媒体165からデータを読み出す。プロセッサ152は、メモリインターフェイス164を介して記憶媒体165に格納されているデータを読み出して、当該データをメモリ154に格納する。プロセッサ152は、メモリ154からデータを読み出して、メモリインターフェイス164を介して当該データを外部の記憶媒体165に格納する。   The memory interface 164 reads data from the external storage medium 165. The processor 152 reads data stored in the storage medium 165 via the memory interface 164 and stores the data in the memory 154. The processor 152 reads data from the memory 154 and stores the data in the external storage medium 165 via the memory interface 164.

記憶媒体165は、CD(Compact Disc)、DVD(Digital Versatile Disk)、BD(Blu-ray(登録商標) Disc)、USB(Universal Serial Bus)メモリ、SD(Secure Digital)メモリカードなどの不揮発的にプログラムを格納する媒体を含む。   The storage medium 165 is non-volatile such as a CD (Compact Disc), a DVD (Digital Versatile Disk), a BD (Blu-ray (registered trademark) Disc), a USB (Universal Serial Bus) memory, and an SD (Secure Digital) memory card. Includes media for storing programs.

通信インターフェイス(I/F)166は、他の装置との間で各種データをやり取りするための通信インターフェイスであり、アダプタやコネクタなどによって実現される。本実施の形態では、通信方式として、BLE(Bluetooth(登録商標) low energy)が採用される。ただし、通信方式は、無線LANなどによる無線通信方式であってもよいし、USB(Universal Serial Bus)などを利用した有線通信方式であってもよい。   The communication interface (I / F) 166 is a communication interface for exchanging various data with other devices, and is realized by an adapter, a connector, or the like. In this embodiment, BLE (Bluetooth (registered trademark) low energy) is adopted as a communication method. However, the communication method may be a wireless communication method using a wireless LAN or the like, or a wired communication method using USB (Universal Serial Bus) or the like.

スピーカ168は、プロセッサ152から与えられる音声信号を音声に変換して端末装置10の外部へ出力する。マイク170は、端末装置10に対する音声入力を受け付けて、当該音声入力に対応する音声信号をプロセッサ152に与える。   The speaker 168 converts the sound signal given from the processor 152 into sound and outputs it to the outside of the terminal device 10. The microphone 170 receives an audio input to the terminal device 10 and gives an audio signal corresponding to the audio input to the processor 152.

方向センサ172は、端末装置10が向いている方向を検出する。具体的には、方向センサ172は、ディスプレイ158の表示面がどの方向に向いているのかを検出する。例えば、方向センサ172は、3軸加速度センサ、3軸ジャイロセンサおよび3軸地磁気センサの少なくとも1つを有する。これにより、端末装置10は、方向センサ172を用いて自装置の傾きを3軸で検出することにより、ユーザが端末装置10を把持しているときの端末装置10の姿勢情報を取得することができる。なお、端末装置10は、3軸地磁気センサにより、地磁気ベクトルを3軸で検出して、方位情報を取得してもよい。   The direction sensor 172 detects the direction in which the terminal device 10 is facing. Specifically, the direction sensor 172 detects in which direction the display surface of the display 158 is directed. For example, the direction sensor 172 includes at least one of a three-axis acceleration sensor, a three-axis gyro sensor, and a three-axis geomagnetic sensor. Thereby, the terminal device 10 can acquire the posture information of the terminal device 10 when the user is holding the terminal device 10 by detecting the inclination of the own device with three axes using the direction sensor 172. it can. Note that the terminal device 10 may acquire azimuth information by detecting a geomagnetic vector with three axes using a three-axis geomagnetic sensor.

(健康機器)
健康機器は、後述するような情報処理を全体として提供できればよく、そのハードウェア構成については公知のものを採用することができる。例えば、健康機器は、各種処理を実行するためのプロセッサと、プログラムやデータなどを格納するためのメモリと、測定結果等を表示するためのディスプレイと、ユーザからの指示を受け付けるための入力インターフェイスと、時刻を計時するための計時部と、生体情報の測定に用いられる各種ハードウェアとを含む。例えば、血圧計20は、当該各種ハードウェアとして、ユーザの上腕(または手首)に巻付け可能なカフと、圧電ポンプおよび排気弁等のカフ圧の調整機構と、カフ圧を検出するための圧力センサと、外気温を検出する温度センサとを含む。
(Health equipment)
The health device only needs to provide information processing as described below as a whole, and a well-known hardware configuration can be adopted. For example, the health device includes a processor for executing various processes, a memory for storing programs and data, a display for displaying measurement results, and an input interface for receiving instructions from the user. In addition, a time measuring unit for measuring time and various hardware used for measuring biological information are included. For example, the sphygmomanometer 20 includes a cuff that can be wound around the user's upper arm (or wrist), a cuff pressure adjusting mechanism such as a piezoelectric pump and an exhaust valve, and a pressure for detecting the cuff pressure as the various hardware. A sensor and a temperature sensor for detecting the outside air temperature are included.

図3は、血圧計20の本体部の外観の一例を示す図である。図3を参照して、血圧計20の本体部22は、ディスプレイ24と、進む/戻るボタン26と、ランプ27と、ユーザ番号スイッチ28と、血圧測定の開始/停止ボタン29とを含む。なお、本体部22の外表面には、ブランド情報41(例えば、ブランド「AAA」)と、血圧計20の型式情報43(例えば、型式「XYZ−ABC」)とが設けられている。ユーザ番号スイッチ28は、2人分の測定結果を別々に記憶する場合に用いられる。図3の例では、番号「1」のユーザが選択されている。ランプ27は、カフの巻き方の適否を示すランプであり、図3の例では適切であることが示されている。   FIG. 3 is a diagram illustrating an example of the appearance of the main body of the sphygmomanometer 20. Referring to FIG. 3, main body 22 of sphygmomanometer 20 includes a display 24, a forward / back button 26, a lamp 27, a user number switch 28, and a blood pressure measurement start / stop button 29. Note that brand information 41 (for example, brand “AAA”) and model information 43 (for example, model “XYZ-ABC”) of the sphygmomanometer 20 are provided on the outer surface of the main body 22. The user number switch 28 is used when storing measurement results for two persons separately. In the example of FIG. 3, the user with the number “1” is selected. The lamp 27 is a lamp indicating whether the cuff is wound properly, and is shown to be appropriate in the example of FIG.

ディスプレイ24には、測定結果が表示される。具体的には、測定結果は、領域50に表示される最高血圧値(例えば、118mmHg)、最低血圧値(例えば、78mmHg)および脈拍数(例えば、70泊/分)を含む測定値と、領域52に表示される測定日時(例えば、7月1日7時30分)と、領域54に表示されるユーザ番号(例えば、「1」)と、領域56に表示される現在の気温(例えば、24度)と、領域58に表示される各種メッセージ(例えば、測定完了を示すメッセージ)とを含む。なお、測定結果は、脈波状態を示す情報、カフの巻き方の適否を示す情報等を含んでいてもよい。   A measurement result is displayed on the display 24. Specifically, the measurement result includes a measurement value including a maximum blood pressure value (for example, 118 mmHg), a minimum blood pressure value (for example, 78 mmHg), and a pulse rate (for example, 70 nights / minute) displayed in the region 50, The measurement date and time (for example, 7:30 on July 1) displayed in 52, the user number (for example, “1”) displayed in the area 54, and the current temperature (for example, displayed in the area 56) 24 degrees) and various messages (for example, a message indicating the completion of measurement) displayed in the area 58. The measurement result may include information indicating the pulse wave state, information indicating the suitability of the cuff winding method, and the like.

<測定結果の認識>
本実施の形態に従う端末装置10は、健康機器に表示された測定結果を認識するために用いられる各種機能を有している。以下、各種機能について説明する。
<Recognition of measurement results>
The terminal device 10 according to the present embodiment has various functions used for recognizing measurement results displayed on a health device. Hereinafter, various functions will be described.

(ガイドの表示)
血圧計20の測定値を示す文字列を端末装置10に認識させる際に、ユーザの操作を補助するために用いられるガイドの表示方式について説明する。なお、本実施の形態における「文字」とは、言葉(言語)を伝達し記録するために線、点等を組み合わせた記号を意味し、英数記号、漢字、かな文字等だけでなく、絵文字、スタンプ等の任意の図形に識別コードが付されたものを含むものとする。
(Guide display)
A guide display method used for assisting the user's operation when the terminal device 10 recognizes the character string indicating the measurement value of the sphygmomanometer 20 will be described. The “character” in the present embodiment means a symbol that combines lines, dots, etc. to transmit and record a word (language), and not only alphanumeric characters, kanji, kana characters, etc., but also pictograms In addition, an arbitrary figure such as a stamp is attached with an identification code.

図4は、ガイドの表示方式(その1)を説明するための図である。なお、端末装置10は、入力装置156を介して、文字認識モードへの移行指示をユーザから受け付けると、端末装置10の動作モードを当該認識モードに移行させ、撮像画像に含まれる文字列の認識を開始する。端末装置10は、文字認識モード中、所定周期で、撮像画像の生成、生成した撮像画像の表示、および文字認識処理を自動的に繰り返す。図4を参照して、表示方式(その1)では、文字認識モード中に、血圧計20の測定値(最高血圧、最低血圧、脈拍)を収める範囲をガイダンスするための枠510を含む画面500がディスプレイ158に表示される。ここで、図4中の画面500は、血圧計20の撮像画像と、枠510とを重ね合わせた画面である。   FIG. 4 is a diagram for explaining a guide display method (part 1). When the terminal device 10 receives an instruction to shift to the character recognition mode from the user via the input device 156, the terminal device 10 shifts the operation mode of the terminal device 10 to the recognition mode and recognizes the character string included in the captured image. To start. The terminal device 10 automatically repeats generation of a captured image, display of the generated captured image, and character recognition processing at a predetermined period during the character recognition mode. Referring to FIG. 4, in the display method (part 1), a screen 500 including a frame 510 for guiding a range in which measured values (maximum blood pressure, minimum blood pressure, pulse) of blood pressure monitor 20 are accommodated during the character recognition mode. Is displayed on the display 158. Here, the screen 500 in FIG. 4 is a screen in which the captured image of the sphygmomanometer 20 and the frame 510 are superimposed.

枠510は、文字列を認識することが可能な認識範囲(解析範囲)の外周四隅を示す枠として表示される。そのため、枠510の内側が、認識範囲となる。端末装置10は、認識範囲に収まるように撮像された測定結果を認識する処理を実行する。具体的には、端末装置10は、当該測定結果に含まれる各種の文字列を認識する。   The frame 510 is displayed as a frame indicating the outer peripheral four corners of a recognition range (analysis range) in which a character string can be recognized. Therefore, the inside of the frame 510 is a recognition range. The terminal device 10 executes processing for recognizing a measurement result that is captured so as to be within the recognition range. Specifically, the terminal device 10 recognizes various character strings included in the measurement result.

ここで、端末装置10は、血圧計20のディスプレイ24のどの領域にどのような情報が表示されるのかを示す画面情報をメモリ154に記憶している。そのため、例えば、認識範囲である枠510内にディスプレイ24が収まるように撮像された場合、端末装置10は、画面情報を用いることにより、認識された各文字列がどのような情報であるのかを特定できる。例えば、端末装置10は、枠510内に収まったディスプレイ24の領域50において認識された複数の文字列「118」,「78」,「70」は、それぞれ最高血圧値、最低血圧値、脈拍数を示す文字列であることを特定できる。   Here, the terminal device 10 stores screen information indicating what information is displayed in which area of the display 24 of the sphygmomanometer 20 in the memory 154. Therefore, for example, when the image is captured so that the display 24 fits within the frame 510 that is the recognition range, the terminal device 10 uses the screen information to determine what information each recognized character string is. Can be identified. For example, in the terminal device 10, a plurality of character strings “118”, “78”, and “70” recognized in the area 50 of the display 24 within the frame 510 are respectively a maximum blood pressure value, a minimum blood pressure value, and a pulse rate. Can be identified.

また、端末装置10は、ユーザからの指示を受け付けて、被写体となる健康機器が血圧計20であることを特定する。あるいは、端末装置10は、撮像画像から、健康機器の特徴情報(形状、型式、ブランド)等を抽出し、抽出された特徴情報と、予め記憶している各健康機器の特徴情報とを比較することにより、被写体となる健康機器が血圧計20であることを特定してもよい。   In addition, the terminal device 10 receives an instruction from the user and specifies that the health device that is the subject is the blood pressure monitor 20. Alternatively, the terminal device 10 extracts feature information (shape, model, brand) and the like of the health device from the captured image, and compares the extracted feature information with the feature information of each health device stored in advance. Thus, it may be specified that the health device as the subject is the sphygmomanometer 20.

表示方式(その1)によると、ユーザは、枠510内が認識範囲であることを把握できるため、端末装置10による測定値の認識を容易にすることができる。   According to the display method (part 1), since the user can grasp that the inside of the frame 510 is within the recognition range, the terminal device 10 can easily recognize the measurement value.

図5は、ガイドの表示方式(その2)を説明するための図である。図5を参照して、表示方式(その2)では、文字認識モード中に、血圧計20の形状の輪郭を表わすオブジェクト520を含む画面530がディスプレイ158に表示される。なお、端末装置10は、血圧計20の外表面に設けられた文字(ブランド情報41等)を示すオブジェクトをさらに表示してもよい。なお、図5の例では、オブジェクト520の見易さのため、血圧計20の撮像画像は示されていない。   FIG. 5 is a diagram for explaining a guide display method (part 2). Referring to FIG. 5, in the display method (part 2), a screen 530 including an object 520 representing the contour of the shape of sphygmomanometer 20 is displayed on display 158 during the character recognition mode. Note that the terminal device 10 may further display an object indicating a character (brand information 41 or the like) provided on the outer surface of the sphygmomanometer 20. In the example of FIG. 5, the captured image of the sphygmomanometer 20 is not shown for easy viewing of the object 520.

ユーザは、端末装置10を動かすことにより、オブジェクト520に血圧計20が重なるように撮像する。端末装置10は、オブジェクト520に重なるように血圧計20が撮像された場合、端末装置10は、測定結果に含まれる各種の文字列を認識する。   The user captures an image so that the sphygmomanometer 20 overlaps the object 520 by moving the terminal device 10. When the sphygmomanometer 20 is imaged so as to overlap the object 520, the terminal device 10 recognizes various character strings included in the measurement result.

表示方式(その2)によると、端末装置10が測定結果を認識し易くなる位置で血圧計20を撮像するように、ユーザを誘導することができる。   According to the display method (part 2), the user can be guided to image the sphygmomanometer 20 at a position where the terminal device 10 can easily recognize the measurement result.

図6は、ガイドの表示方式(その3)を説明するための図である。図6を参照して、表示方式(その3)では、文字認識モード中に、四角形状の半透明オブジェクト540と、7セグメントにおける各セグメントを示す半透明オブジェクト542,544,546とを含む画面550がディスプレイ158に表示される。   FIG. 6 is a diagram for explaining a guide display method (part 3). Referring to FIG. 6, in the display method (part 3), a screen 550 including a rectangular translucent object 540 and translucent objects 542, 544, and 546 indicating each segment in 7 segments during the character recognition mode. Is displayed on the display 158.

図3に示すように、血圧計20の測定値(最高血圧値、最低血圧値、脈拍数)を示す文字列は、7セグメント表示方式の文字で構成されている。そこで、図6の例のように、最高血圧値に対する各セグメントを示す半透明オブジェクト542と、最低血圧値に対する各セグメントを示す半透明オブジェクト544と、脈拍数に対する各セグメントを示す半透明オブジェクト546とが表示される。また、半透明オブジェクト540は、認識範囲を示しており、図4における枠510の内側部分に相当する。なお、図6の例では、半透明の各オブジェクトの見易さのため、血圧計20の撮像画像は示されていない。   As shown in FIG. 3, the character string indicating the measurement value (maximum blood pressure value, minimum blood pressure value, pulse rate) of the sphygmomanometer 20 is composed of characters of a 7-segment display method. Therefore, as in the example of FIG. 6, a translucent object 542 indicating each segment for the systolic blood pressure value, a translucent object 544 indicating each segment for the systolic blood pressure value, and a translucent object 546 indicating each segment for the pulse rate, Is displayed. A semi-transparent object 540 indicates a recognition range and corresponds to an inner portion of the frame 510 in FIG. In the example of FIG. 6, the captured image of the sphygmomanometer 20 is not shown for easy viewing of each translucent object.

ユーザは、端末装置10を動かすことにより、各オブジェクト542,544,546に、血圧計20のディスプレイ24に表示された測定値が重なるように撮像する。各オブジェクト542,544,546に、各測定値が重なるように撮像された場合、端末装置10は、測定結果に含まれる各種の文字列を認識する。   By moving the terminal device 10, the user images each object 542, 544, 546 so that the measurement value displayed on the display 24 of the sphygmomanometer 20 overlaps. When each of the objects 542, 544, and 546 is imaged so that each measurement value overlaps, the terminal device 10 recognizes various character strings included in the measurement result.

なお、端末装置10は、血圧計20の画面情報を用いることにより、ディスプレイ24のどの領域に各測定値が表示されるのかを把握できる。そのため、端末装置10は、各半透明オブジェクト542,544,546に各測定値が重なるように撮像された場合に、半透明オブジェクト540が示す認識範囲が、撮像画像に含まれるディスプレイ24全体を含むように、各半透明オブジェクトの位置、大きさ等を設定することができる。   Note that the terminal device 10 can grasp in which area of the display 24 each measurement value is displayed by using the screen information of the sphygmomanometer 20. Therefore, the terminal device 10 includes the entire display 24 in which the recognition range indicated by the semi-transparent object 540 is included in the captured image when each semi-transparent object 542, 544, 546 is imaged so that each measurement value overlaps. As described above, the position, size, and the like of each translucent object can be set.

表示方式(その3)によると、端末装置10が測定結果を認識し易くなる位置で血圧計20を撮像するように、ユーザを誘導することができる。7セグメント表示方式の場合、各セグメントが読みやすいため、ユーザが各測定値を各半透明オブジェクト542,544,546に合わせやすいという利点もある。ただし、血圧計20の測定値を示す文字列が、7セグメント表示方式以外の表示方式(例えば、ドットマトリクス表示方式)で表示されている場合には、各半透明オブジェクト542,544,546もドットマトリクス表示方式で表示される。   According to the display method (No. 3), the user can be guided to image the sphygmomanometer 20 at a position where the terminal device 10 can easily recognize the measurement result. In the case of the 7-segment display method, since each segment is easy to read, there is an advantage that the user can easily adjust each measured value to each translucent object 542, 544, 546. However, when the character string indicating the measurement value of the sphygmomanometer 20 is displayed in a display method other than the seven-segment display method (for example, dot matrix display method), each of the translucent objects 542, 544, and 546 is also a dot. Displayed in a matrix display mode.

なお、端末装置10は、上記の表示方式(その1)〜(その3)のうちの少なくとも2つを組み合わせた表示方式を用いてもよい。   The terminal device 10 may use a display method in which at least two of the above display methods (part 1) to (part 3) are combined.

(認識確度の利用)
端末装置10は、撮像画像から、血圧計20のディスプレイ24に表示された測定値(以下、「表示測定値」とも称する。)を示す文字列を認識して、当該認識した文字列を、血圧計20の測定値とみなす。このとき、ディスプレイ158に表示される測定値の正確性(すなわち、表示測定値が示す数値と、認識した文字列が示す数値との一致度)をできるだけ高めるため、端末装置10は、認識した文字(認識文字)の認識の正確さを示す確度を利用する。
(Use of recognition accuracy)
The terminal device 10 recognizes a character string indicating a measurement value (hereinafter, also referred to as “display measurement value”) displayed on the display 24 of the sphygmomanometer 20 from the captured image, and uses the recognized character string as the blood pressure. It is regarded as a total of 20 measured values. At this time, in order to increase the accuracy of the measured value displayed on the display 158 (that is, the degree of coincidence between the numerical value indicated by the displayed measured value and the numerical value indicated by the recognized character string) as much as possible, the terminal device 10 recognizes the recognized character. The accuracy indicating the recognition accuracy of (recognized character) is used.

まず、端末装置10は、撮像画像から、表示測定値を認識する処理を実行する。これにより、端末装置10は、撮像画像から認識された認識文字列と、当該認識文字列に含まれる各認識文字についての確度とを取得する。なお、確度は、公知の技術を用いて算出されればよく、例えば、文字画像の特徴量と、メモリ154に予め登録されている辞書パターンとを比較することにより算出される。   First, the terminal device 10 executes processing for recognizing a display measurement value from a captured image. Thereby, the terminal device 10 acquires the recognized character string recognized from the captured image and the accuracy of each recognized character included in the recognized character string. The accuracy may be calculated using a known technique. For example, the accuracy is calculated by comparing the feature amount of the character image with a dictionary pattern registered in advance in the memory 154.

次に、端末装置10は、表示測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字についての確度が閾値Th1(例えば、90%)未満であるか否かを判断する。例えば、図4に示されるように、最高血圧値を示す文字列「118」が撮像画像に含まれており、文字認識により認識文字列「118」が得られたとする。この場合、各認識文字「1」,「1」,「8」についての確度は、例えば、それぞれ「85」,「90」,「95」のように取得される。端末装置10は、各確度「85」,「90」,「95」が閾値Th1未満であるか否かを判断する。なお、端末装置10は、最低血圧値を示す文字列、および脈拍数を示す文字列についても同様の判断を行なう。   Next, for each of the plurality of recognized characters included in the recognized character string that is the recognition result of the character string indicating the display measurement value, the terminal device 10 has an accuracy of the recognized character that is less than a threshold Th1 (for example, 90%). It is determined whether or not. For example, as illustrated in FIG. 4, it is assumed that a character string “118” indicating a systolic blood pressure value is included in the captured image, and a recognized character string “118” is obtained by character recognition. In this case, the accuracies for the recognized characters “1”, “1”, and “8” are acquired as, for example, “85”, “90”, and “95”, respectively. The terminal device 10 determines whether or not each accuracy “85”, “90”, “95” is less than the threshold value Th1. Note that the terminal device 10 makes the same determination for a character string indicating a minimum blood pressure value and a character string indicating a pulse rate.

端末装置10は、表示測定値に対応するすべての認識文字についての確度が閾値Th1以上であると判断した場合、これらの認識文字から構成される認識文字列を血圧計20の測定値としてディスプレイ158に表示する。例えば、最高血圧値に対応する複数の認識文字それぞれについての確度「85」,「90」,「95」は、すべて閾値Th1以上であるため、端末装置10は、血圧計20で測定された最高血圧値が「118」であると決定し(みなし)、当該決定結果(例えば、最高血圧値「118」)をディスプレイ158に表示する。   When the terminal device 10 determines that the accuracy of all the recognized characters corresponding to the display measurement value is equal to or greater than the threshold Th1, the display device 158 uses the recognized character string including these recognized characters as the measured value of the sphygmomanometer 20. To display. For example, the accuracy “85”, “90”, and “95” for each of the plurality of recognition characters corresponding to the maximum blood pressure value are all equal to or higher than the threshold Th1, and thus the terminal device 10 uses the sphygmomanometer 20 to measure the maximum blood pressure. The hypertension value is determined to be “118” (deemed), and the determination result (for example, the maximum blood pressure value “118”) is displayed on the display 158.

一方、端末装置10は、複数の認識文字のうちの少なくとも1つの認識文字についての確度が閾値Th1未満である場合、所定回数(例えば、2回)分の撮像画像の各々から、表示測定値を示す文字列を認識する処理を実行する。例えば、最高血圧値を示す文字列「118」が撮像画像に含まれており、認識処理により認識文字列「110」が得られ、各認識文字「1」,「1」,「0」についての確度が、それぞれ「85」,「90」,「60」であったとする。この場合、認識文字「0」についての確度「60」は閾値Th1未満であるため、端末装置10は、所定回数分の撮像画像の各々から、表示測定値を示す文字列を認識する処理を実行する。   On the other hand, when the accuracy of at least one recognized character among the plurality of recognized characters is less than the threshold Th1, the terminal device 10 obtains a display measurement value from each of the captured images for a predetermined number of times (for example, twice). A process for recognizing the indicated character string is executed. For example, a character string “118” indicating a systolic blood pressure value is included in the captured image, and a recognition character string “110” is obtained by the recognition process, and each recognition character “1”, “1”, “0” Assume that the probabilities are “85”, “90”, and “60”, respectively. In this case, since the accuracy “60” for the recognized character “0” is less than the threshold Th1, the terminal device 10 executes a process of recognizing a character string indicating a display measurement value from each of the captured images for a predetermined number of times. To do.

次に、端末装置10は、最初の撮像画像に含まれる表示測定値を示す文字列の認識結果と、追加で行なった2回分の撮像画像の各々に含まれる当該文字列の認識結果とに基づいて、血圧計20の測定値として採用する認識文字列を決定する。   Next, the terminal device 10 is based on the recognition result of the character string indicating the display measurement value included in the first captured image and the recognition result of the character string included in each of the two additional captured images. Thus, the recognition character string to be adopted as the measurement value of the sphygmomanometer 20 is determined.

例えば、最初の撮像画像に含まれる当該文字列における複数の文字が、それぞれ「1」,「1」,「0」と認識され、2回目の撮像画像における当該複数の文字がそれぞれ「1」,「1」,「8」と認識され、3回目の撮像画像における当該複数の文字がそれぞれ「1」,「1」,「8」と認識されたとする。この場合、百の位の文字が認識されることにより得られた認識文字は「1」のみであり、認識文字「1」として認識された回数は3回である。同様に、十の位の文字が認識されることにより得られた認識文字は「1」のみであり、認識文字「1」として認識された回数は3回である。一方、一の位の文字が認識されることにより得られた認識文字は「0」および「8」が存在し、認識文字「0」として認識された回数は1回であり、認識文字「8」として認識された回数は2回である。   For example, a plurality of characters in the character string included in the first captured image are recognized as “1”, “1”, and “0”, respectively, and the plurality of characters in the second captured image are respectively “1”, Assume that “1” and “8” are recognized, and the plurality of characters in the third captured image are recognized as “1”, “1”, and “8”, respectively. In this case, the recognized character obtained by recognizing the hundredth character is only “1”, and the number of times recognized as the recognized character “1” is three. Similarly, the recognized character obtained by recognizing the tens place character is only “1”, and the number of times recognized as the recognized character “1” is three. On the other hand, there are “0” and “8” as recognized characters obtained by recognizing the first digit, and the number of times recognized as the recognized character “0” is one. "Is recognized twice.

ここで、端末装置10は、一の位の文字の認識結果である複数の認識文字「0」,「8」のうち、最も認識された回数の多い認識文字が「8」であることを特定する。なお、百の位の文字および十の位の文字については、それぞれ認識文字「1」が特定される。端末装置10は、このように特定された各認識文字「1」,「1」,「8」から構成される認識文字列「118」を最高血圧値として決定し、当該決定結果をディスプレイ158に表示する。   Here, the terminal device 10 specifies that the recognized character with the highest number of recognition is “8” among the plurality of recognized characters “0” and “8”, which are the recognition results of the first place character. To do. For the hundredth character and the tenth character, the recognized character “1” is specified. The terminal device 10 determines the recognized character string “118” composed of the recognized characters “1”, “1”, and “8” thus identified as the maximum blood pressure value, and the determination result is displayed on the display 158. indicate.

このように、端末装置10は、認識文字についての確度が低いと判断した場合、再度、所定回数の認識処理を実行し、多数決により採用された各認識文字を血圧計20の測定値として決定する。そのため、確度の低い認識文字から構成される認識文字列を血圧計20の測定値として採用することがない。そのため、血圧計20のディスプレイ24に表示された測定値をより正確に取得することができる。   As described above, when the terminal device 10 determines that the accuracy of the recognized character is low, the terminal device 10 executes the recognition processing a predetermined number of times again, and determines each recognized character adopted by the majority vote as a measurement value of the sphygmomanometer 20. . Therefore, a recognized character string composed of recognized characters with low accuracy is not adopted as a measurement value of the sphygmomanometer 20. Therefore, the measurement value displayed on the display 24 of the sphygmomanometer 20 can be acquired more accurately.

(認識結果のリアルタイム表示)
ここで、端末装置10が、撮像画像に含まれる表示測定値を示す文字列を誤認識した場合を想定する。この場合、端末装置10は、誤った認識文字列を血圧計20の測定値として決定し、決定結果が表示される。ユーザは、血圧計20のディスプレイ24に表示された測定値と、端末装置10のディスプレイ158に表示された測定値とを比較することにより、端末装置10が測定値を誤って認識していることを把握する。そのため、ユーザは、血圧計20のディスプレイ24に表示された測定値を端末装置10に認識させる作業を行なう必要がある。
(Real-time display of recognition results)
Here, it is assumed that the terminal device 10 erroneously recognizes a character string indicating a display measurement value included in the captured image. In this case, the terminal device 10 determines an erroneous recognition character string as a measurement value of the sphygmomanometer 20, and the determination result is displayed. The user compares the measured value displayed on the display 24 of the sphygmomanometer 20 with the measured value displayed on the display 158 of the terminal device 10 so that the terminal device 10 erroneously recognizes the measured value. To figure out. Therefore, the user needs to perform an operation for causing the terminal device 10 to recognize the measurement value displayed on the display 24 of the sphygmomanometer 20.

上記作業をできるだけ回避するため、撮像画像に含まれる表示測定値の認識結果をリアルタイムでディスプレイ158に表示する機能について説明する。   In order to avoid the above work as much as possible, the function of displaying the recognition result of the display measurement value included in the captured image on the display 158 in real time will be described.

図7は、認識結果をリアルタイムで表示した画面例を示す図である。ここで、端末装置10は、文字認識モード中、所定周期で、撮像画像の生成、撮像画像の表示、および撮像画像に含まれる文字列の認識を繰り返している。なお、血圧計20のディスプレイ24には、最高血圧値「133」、最低血圧値「106」、脈拍数「82」が表示されているものとする。図7中の領域570は、外光等の映り込みで画面輝度が高くなっている領域を示している。   FIG. 7 is a diagram showing an example of a screen displaying the recognition result in real time. Here, the terminal device 10 repeats generation of a captured image, display of the captured image, and recognition of a character string included in the captured image at a predetermined period during the character recognition mode. It is assumed that the display 24 of the sphygmomanometer 20 displays the maximum blood pressure value “133”, the minimum blood pressure value “106”, and the pulse rate “82”. A region 570 in FIG. 7 indicates a region where the screen brightness is high due to reflection of external light or the like.

図7を参照して、端末装置10は、撮像画像から最高血圧値、最低血圧値、脈拍数それぞれの文字列「133」、「106」、「82」を認識する。端末装置10は、撮像画像と、枠510と、その認識結果であるオブジェクト562,564,566を含む画面600とを表示する。なお、説明の容易化のため、画面600には、血圧計20のディスプレイ24の部分の撮像画像のみを示している。また、ディスプレイ24に表示される、測定値以外の文字列等についても省略している。   Referring to FIG. 7, terminal apparatus 10 recognizes character strings “133”, “106”, and “82” of the maximum blood pressure value, the minimum blood pressure value, and the pulse rate from the captured image. The terminal device 10 displays a captured image, a frame 510, and a screen 600 including objects 562, 564, and 566 that are recognition results. For ease of explanation, the screen 600 shows only a captured image of the display 24 portion of the sphygmomanometer 20. Further, a character string other than the measurement value displayed on the display 24 is also omitted.

オブジェクト562は、最高血圧値を示す文字列の認識結果(すなわち、認識文字列「133」)を示しており、オブジェクト564は、最低血圧値を示す文字列の認識結果(すなわち、認識文字列「106」)を示しており、オブジェクト566は、脈拍数を示す文字列の認識結果(すなわち、認識文字列「82」)を示している。このことから、ユーザは、血圧計20のディスプレイ24に表示された測定値が、端末装置10に正しく認識されていることを把握できる。その後、ユーザは、例えば、決定ボタン等を押下することにより、認識された文字列を血圧計20の測定値として決定することができる。   The object 562 indicates the recognition result of the character string indicating the systolic blood pressure value (that is, the recognition character string “133”), and the object 564 indicates the recognition result of the character string indicating the diastolic blood pressure value (that is, the recognition character string “ 106 "), and the object 566 indicates the recognition result of the character string indicating the pulse rate (that is, the recognized character string" 82 "). From this, the user can grasp that the measured value displayed on the display 24 of the sphygmomanometer 20 is correctly recognized by the terminal device 10. Thereafter, the user can determine the recognized character string as the measurement value of the sphygmomanometer 20, for example, by pressing a determination button or the like.

また、図7の例に示すように、端末装置10は、複数の認識文字の各々を、当該認識文字についての確度に応じた所定の色で表示してもよい。具体的には、最高血圧値を示す文字列の認識結果であるオブジェクト562のうち、百の位の数字「1」についての確度は70%以上から90%未満であり、十の位および一の位の数字「3」についての確度は90%以上である。そのため、端末装置10は、オブジェクト562のうちの百の位の数字「1」と、十の位および一の位の数字「3」とを異なる色で表示する。これにより、ユーザは、認識文字列および当該認識文字列の色を確認しながら、端末装置10のカメラ163の向きを変える等の操作を行なうことができる。   Further, as illustrated in the example of FIG. 7, the terminal device 10 may display each of the plurality of recognized characters in a predetermined color according to the accuracy of the recognized character. Specifically, in the object 562 that is the recognition result of the character string indicating the systolic blood pressure value, the accuracy for the hundreds digit “1” is 70% or more and less than 90%. The accuracy for the digit “3” is 90% or more. Therefore, the terminal apparatus 10 displays the hundreds digit “1” of the object 562 and the tens and first digits “3” in different colors. Thereby, the user can perform operations such as changing the direction of the camera 163 of the terminal device 10 while confirming the recognized character string and the color of the recognized character string.

(画像の合成)
ここでは、複数の撮像画像を合成する機能について説明する。図8は、複数の画像の合成方法を説明するための図である。ここでは、ある周期pで生成された撮像画像と、当該周期pの次の周期p+1で生成された撮像画像とを合成する方法について説明する。なお、説明の容易化のため、撮像画像722,726は、血圧計20のディスプレイ24の部分の撮像画像を示している。また、ディスプレイ24に表示される、測定値以外の文字列等についても省略している。
(Image composition)
Here, a function of combining a plurality of captured images will be described. FIG. 8 is a diagram for explaining a method of combining a plurality of images. Here, a method of synthesizing a captured image generated in a certain cycle p and a captured image generated in a cycle p + 1 next to the cycle p will be described. For ease of explanation, the captured images 722 and 726 indicate captured images of the display 24 portion of the sphygmomanometer 20. Further, a character string other than the measurement value displayed on the display 24 is also omitted.

図8を参照して、周期pで生成された撮像画像722では、最高血圧値の一の位、最低血圧値の一の位、および脈拍数を示す各領域が、外光による映り込み等により画面輝度が高い領域752と重なっている。そのため、最高血圧値の一の位、最低血圧値の一の位、および脈拍数を示す各文字の認識結果である各認識文字についての確度は低くなり、例えば、閾値Th2(例えば、40%)未満となる。   Referring to FIG. 8, in the captured image 722 generated in the period p, each region indicating the first place of the highest blood pressure value, the first place of the lowest blood pressure value, and the pulse rate is reflected by external light or the like. It overlaps with a region 752 where the screen brightness is high. Therefore, the accuracy for each recognized character, which is the recognition result of each character indicating the highest blood pressure value, the lowest blood pressure value, and the pulse rate, is low, for example, the threshold Th2 (for example, 40%) Less than.

この場合、端末装置10は、撮像画像722から、閾値Th2未満の確度を有する当該各認識文字以外の残余の各認識文字に対応する各文字(この場合、最高血圧値の百および十の位の文字、および最低血圧値の十の位の文字)を含む領域を切り取った部分画像724を生成する。端末装置10は、部分画像724をメモリ154に格納する。   In this case, the terminal device 10 determines, from the captured image 722, each character corresponding to each remaining recognized character other than the recognized character having the accuracy less than the threshold Th2 (in this case, hundreds and tens of the maximum blood pressure value). A partial image 724 is generated by cutting out a region including characters and the tenth digit of the minimum blood pressure value. The terminal device 10 stores the partial image 724 in the memory 154.

次に、周期p+1で生成された撮像画像726では、最高血圧値の一の位を示す領域が、画面輝度が高い領域754と重なっている。この場合、端末装置10は、撮像画像726から、閾値Th2未満の確度を有する認識文字以外の残余の各認識文字に対応する各文字(この場合、最高血圧値の百の位の文字以外の各文字)を含む領域を切り取った部分画像728を生成する。端末装置10は、部分画像728をメモリ154に格納する。   Next, in the captured image 726 generated at the period p + 1, the region indicating the first place of the maximum blood pressure value overlaps with the region 754 with high screen luminance. In this case, the terminal device 10 determines, from the captured image 726, each character corresponding to each remaining recognized character other than the recognized character having the accuracy less than the threshold Th2 (in this case, each character other than the hundreds character of the maximum blood pressure value). A partial image 728 is generated by cutting out a region including the character. The terminal device 10 stores the partial image 728 in the memory 154.

そして、端末装置10は、メモリ154に格納された部分画像724および部分画像728を合成して合成画像730を生成する。端末装置10は、合成画像から、表示測定値を示す文字列を認識する処理を再度実行する。合成画像には、比較的高い確度を有する認識文字に対応する文字のみが含まれるため、表示測定値を示す文字列の認識精度を向上させることができる。   Then, the terminal device 10 combines the partial image 724 and the partial image 728 stored in the memory 154 to generate a combined image 730. The terminal device 10 executes again the process of recognizing the character string indicating the display measurement value from the composite image. Since the composite image includes only the characters corresponding to the recognized characters having relatively high accuracy, the recognition accuracy of the character string indicating the display measurement value can be improved.

(撮像方向の報知)
図9は、撮像方向の報知機能の説明するための図である。なお、説明の容易化のため、図9では、ディスプレイ158の画面に表示される撮像画像のうち、血圧計20のディスプレイ24の部分の撮像画像のみを示している。なお、ディスプレイ24に表示される、測定値以外の文字列等についても省略している。
(Notification of imaging direction)
FIG. 9 is a diagram for explaining the imaging direction notification function. For ease of explanation, FIG. 9 shows only the captured image of the display 24 portion of the sphygmomanometer 20 among the captured images displayed on the screen of the display 158. Note that character strings other than the measured values displayed on the display 24 are also omitted.

図9を参照して、端末装置10は、ディスプレイ158に表示される画面810に含まれる撮像画像702と基準画像700とを比較して、基準画像700に対する撮像画像702の傾きを検出する。例えば、基準画像700および撮像画像702に含まれるディスプレイ24の形状、大きさ等を比較することにより当該傾きを検出する。また、図9の例では、ディスプレイ24の奥行き方向、短辺方向、長辺方向をそれぞれ、X軸方向、Y軸方向、Z軸方向と定義している。   With reference to FIG. 9, the terminal device 10 compares the captured image 702 included in the screen 810 displayed on the display 158 with the reference image 700, and detects the inclination of the captured image 702 with respect to the reference image 700. For example, the inclination is detected by comparing the shape and size of the display 24 included in the reference image 700 and the captured image 702. In the example of FIG. 9, the depth direction, the short side direction, and the long side direction of the display 24 are defined as an X axis direction, a Y axis direction, and a Z axis direction, respectively.

端末装置10は、撮像画像702が基準画像700に対してX軸周りに傾いていることを検出する。端末装置10は、基準画像700に対する傾きを低減するために、端末装置10をX軸周りに回転させるように促すオブジェクト772を画面810に表示する。端末装置10を回転させると、撮像画像708を含む画面840が得られる。なお、端末装置10は、基準画像700に対する傾きを低減するための回転方向を算出する際に、方向センサ172を介して検出された自装置の3軸の姿勢情報を用いてもよい。   The terminal device 10 detects that the captured image 702 is tilted around the X axis with respect to the reference image 700. In order to reduce the inclination with respect to the reference image 700, the terminal device 10 displays an object 772 that prompts the terminal device 10 to rotate around the X axis on the screen 810. When the terminal device 10 is rotated, a screen 840 including the captured image 708 is obtained. Note that the terminal device 10 may use the three-axis posture information of the own device detected via the direction sensor 172 when calculating the rotation direction for reducing the inclination with respect to the reference image 700.

また、端末装置10は、画面820に含まれる撮像画像704と基準画像700とを比較して、基準画像700に対する撮像画像704の傾きを検出する。続いて、端末装置10は、撮像画像704が基準画像700に対してY軸周りに傾いていることを検出する。端末装置10は、基準画像700に対する傾きを低減するために、端末装置10をY軸周りに回転させるように促すオブジェクト774を画面820に表示する。端末装置10を回転させると、撮像画像708を含む画面840が得られる。   Further, the terminal device 10 compares the captured image 704 included in the screen 820 with the reference image 700 and detects the inclination of the captured image 704 with respect to the reference image 700. Subsequently, the terminal device 10 detects that the captured image 704 is tilted around the Y axis with respect to the reference image 700. In order to reduce the inclination with respect to the reference image 700, the terminal device 10 displays an object 774 that prompts the terminal device 10 to rotate around the Y axis on the screen 820. When the terminal device 10 is rotated, a screen 840 including the captured image 708 is obtained.

また、端末装置10は、画面830に含まれる撮像画像706と基準画像700とを比較して、基準画像700に対する撮像画像706の傾きを検出する。続いて、端末装置10は、撮像画像706が基準画像700に対してZ軸周りに傾いていることを検出する。端末装置10は、基準画像700に対する傾きを低減するために、端末装置10をZ軸周りに回転させるように促すオブジェクト776を画面830に表示する。端末装置10を回転させると、撮像画像708を含む画面840が得られる。これにより、表示測定値を示す文字列の認識精度を向上させることができる。   Further, the terminal device 10 compares the captured image 706 included in the screen 830 with the reference image 700, and detects the inclination of the captured image 706 with respect to the reference image 700. Subsequently, the terminal device 10 detects that the captured image 706 is tilted around the Z axis with respect to the reference image 700. In order to reduce the inclination with respect to the reference image 700, the terminal device 10 displays an object 776 that prompts the terminal device 10 to rotate around the Z axis on the screen 830. When the terminal device 10 is rotated, a screen 840 including the captured image 708 is obtained. Thereby, the recognition accuracy of the character string which shows a display measurement value can be improved.

(ハイダイナミックレンジ合成)
白飛びが多い撮像画像、あるいは黒潰れが多い撮像画像の場合には、当該撮像画像からは全体的に確度の低い認識しか実行できない可能性が高い。そのため、端末装置10は、HDR(high dynamic range imaging)機能を用いて画像を生成してもよい。図10では、血圧計20のディスプレイ24の部分の撮像画像のみを示している。なお、ディスプレイ24に表示される、測定値以外の文字列等についても省略している。
(High dynamic range synthesis)
In the case of a captured image with a lot of whiteout or a captured image with a lot of blackout, there is a high possibility that only recognition with low accuracy can be performed from the captured image as a whole. Therefore, the terminal device 10 may generate an image using an HDR (high dynamic range imaging) function. In FIG. 10, only the captured image of the display 24 portion of the sphygmomanometer 20 is shown. Note that character strings other than the measured values displayed on the display 24 are also omitted.

図10は、HDR機能を用いた撮像画像の生成方法を説明するための図である。図10を参照して、端末装置10は、血圧計20のディスプレイ24を撮像する際に、露光量を調整して、白飛びが少ない撮像画像742と、黒潰れが少ない撮像画像744とを生成する。そして、端末装置10は、撮像画像742および撮像画像744を合成することにより、ハイダイナミックレンジ合成画像746を生成する。   FIG. 10 is a diagram for explaining a method of generating a captured image using the HDR function. Referring to FIG. 10, when imaging the display 24 of the sphygmomanometer 20, the terminal device 10 adjusts the exposure amount to generate a captured image 742 with less whiteout and a captured image 744 with less blackout. To do. Then, the terminal device 10 generates a high dynamic range combined image 746 by combining the captured image 742 and the captured image 744.

<その他>
本実施の形態に従う端末装置10は、さらに以下のような機能を有する。
<Others>
Terminal apparatus 10 according to the present embodiment further has the following functions.

(型式等の特定)
端末装置10は、健康機器の識別情報(機器ID)と、当該健康機器の筐体の形状、筐体に設けられた文字情報、ディスプレイの配置位置、ボタンあるいはスイッチの配置位置等の特徴情報とを、関連付けてメモリ154に記憶している。
(Specification of model etc.)
The terminal device 10 includes identification information (device ID) of the health device, characteristic information such as the shape of the housing of the health device, character information provided on the housing, the position of the display, the position of the button or switch, and the like. Are stored in the memory 154 in association with each other.

端末装置10は、健康機器の撮像画像から抽出される特徴情報と、メモリ154に記憶されている各種の健康機器の特徴情報とを比較することにより、撮像画像に含まれる健康機器の種類、型式、ブランド等を特定することが可能である。   The terminal device 10 compares the feature information extracted from the captured image of the health device with the feature information of the various health devices stored in the memory 154, so that the type and model of the health device included in the captured image It is possible to specify a brand or the like.

(異常値の判定)
端末装置10は、撮像画像に含まれる表示測定値の文字列を認識することにより取得した最高血圧値、最低血圧値および脈拍数の各々が異常値である場合には、異常を報知してもよい。具体的には、端末装置10は、取得した最高血圧値が所定範囲Ra(例えば、40〜260mmHg)に含まれない場合、最高血圧値が異常である旨を報知する。端末装置10は、取得した最低血圧値が所定範囲Rb(例えば、40〜260mmHg)に含まれない場合、最低血圧値が異常である旨を報知する。端末装置10は、取得した脈拍数が所定範囲Rc(例えば、40〜180拍/分)に含まれない場合、脈拍数が異常である旨を報知する。また、端末装置10は、最高血圧値よりも最低血圧値の方が高い場合、これらの値が異常である旨を報知する。
(Abnormal value judgment)
If each of the maximum blood pressure value, the minimum blood pressure value, and the pulse rate acquired by recognizing the character string of the display measurement value included in the captured image is an abnormal value, the terminal device 10 notifies the abnormality. Good. Specifically, when the acquired systolic blood pressure value is not included in the predetermined range Ra (for example, 40 to 260 mmHg), the terminal device 10 notifies that the systolic blood pressure value is abnormal. When the acquired minimum blood pressure value is not included in the predetermined range Rb (for example, 40 to 260 mmHg), the terminal device 10 notifies that the minimum blood pressure value is abnormal. When the acquired pulse rate is not included in the predetermined range Rc (for example, 40 to 180 beats / minute), the terminal device 10 notifies that the pulse rate is abnormal. In addition, when the minimum blood pressure value is higher than the maximum blood pressure value, the terminal device 10 notifies that these values are abnormal.

(重複データの排除)
端末装置10は、測定結果の信頼性を確保およびメモリ154の有効利用のため、同一の測定結果を重複して記憶しないように構成されている。具体的には、端末装置10は、取得した測定結果と、メモリ154に既に記憶されている測定結果とを比較してこれらが一致するか否かを判断する。例えば、端末装置10は、各測定結果に含まれるユーザ番号、測定日時および測定値と、画像認識により特定された型式とを互いに比較する。そして、端末装置10は、取得した測定結果の各情報と、記憶されている測定結果の各情報とが完全に一致する場合には、取得した測定結果をメモリ154に記憶しない。これにより、端末装置10は、測定結果が重複して記憶されるのを防止することができる。
(Duplicate data elimination)
The terminal device 10 is configured not to repeatedly store the same measurement result in order to ensure the reliability of the measurement result and to effectively use the memory 154. Specifically, the terminal device 10 compares the acquired measurement result with the measurement result already stored in the memory 154 and determines whether or not they match. For example, the terminal device 10 compares the user number, the measurement date and time, and the measurement value included in each measurement result with the model specified by the image recognition. Then, the terminal device 10 does not store the acquired measurement result in the memory 154 when each piece of information of the acquired measurement result and each piece of information of the stored measurement result completely match. Thereby, the terminal device 10 can prevent the measurement results from being stored redundantly.

<機能構成>
図11は、端末装置10の機能構成を示すブロック図である。図10を参照して、端末装置10は、撮像部202と、出力制御部204と、認識部206と、判断部208と、決定部210と、異常判定部212と、画像生成部214と、合成部216と、傾き検出部218とを含む。
<Functional configuration>
FIG. 11 is a block diagram illustrating a functional configuration of the terminal device 10. Referring to FIG. 10, the terminal device 10 includes an imaging unit 202, an output control unit 204, a recognition unit 206, a determination unit 208, a determination unit 210, an abnormality determination unit 212, an image generation unit 214, A combining unit 216 and an inclination detecting unit 218 are included.

撮像部202は、所定周期ごとに被写体を撮像して撮像画像を生成する。本実施の形態では、撮像部202は、被写体としての血圧計20の画像を含む撮像画像を生成する。撮像部202は、主にプロセッサ152およびカメラ163が連係することによって実現される機能である。撮像部202は、生成した撮像画像を順次、出力制御部204、認識部206および画像生成部214に出力する。   The imaging unit 202 captures a subject at every predetermined period and generates a captured image. In the present embodiment, the imaging unit 202 generates a captured image including an image of the sphygmomanometer 20 as a subject. The imaging unit 202 is a function that is realized mainly by the cooperation of the processor 152 and the camera 163. The imaging unit 202 sequentially outputs the generated captured images to the output control unit 204, the recognition unit 206, and the image generation unit 214.

出力制御部204は、撮像部202により順次撮像して生成された撮像画像をディスプレイ158に表示させる。ある局面では、出力制御部204は、撮像部202により生成された撮像画像と、ユーザの操作を補助するためのガイドとをディスプレイ158に表示させる。   The output control unit 204 causes the display 158 to display captured images generated by sequentially capturing images by the imaging unit 202. In one aspect, the output control unit 204 causes the display 158 to display a captured image generated by the imaging unit 202 and a guide for assisting the user's operation.

ガイドは、血圧計20のディスプレイ24に表示される測定結果を示す文字列が認識部206により認識されるときに、当該認識処理が容易になるように、ユーザによる撮像操作を補助するために表示される。ガイドは、認識部206の認識範囲を示すオブジェクト(例えば、枠510,半透明オブジェクト540)を含む。また、ガイドは、当該認識範囲を示すオブジェクト内に存在する、7セグメントにおける各セグメントを示すオブジェクト(例えば、半透明オブジェクト542,544,546)をさらに含む。さらに、ガイドは、血圧計20の形状を表わすオブジェクト(例えば、オブジェクト520)を含んでもよい。   The guide is displayed to assist the user in the imaging operation so that the recognition process is facilitated when the character string indicating the measurement result displayed on the display 24 of the sphygmomanometer 20 is recognized by the recognition unit 206. Is done. The guide includes an object (for example, a frame 510 and a translucent object 540) indicating the recognition range of the recognition unit 206. The guide further includes objects (for example, semi-transparent objects 542, 544, and 546) that indicate each of the seven segments that exist in the object that indicates the recognition range. Further, the guide may include an object representing the shape of the sphygmomanometer 20 (for example, the object 520).

認識部206は、撮像部202により生成された撮像画像に含まれる血圧計20の画像の中から、血圧計20のディスプレイ24に表示された測定結果を示す文字列を認識する。測定結果は、例えば、測定値(最高血圧値、最低血圧値、脈拍数)、測定日時、気温、ユーザ番号、各種メッセージ、カフの巻き方の適否を示す情報(記号)、および脈波状態を示す情報(記号)を含む。また、認識部206は、ディスプレイ24に表示された測定値(表示測定値)を示す文字列(例えば、最高血圧値を示す文字列)の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字の認識の正確さを表わす確度を算出する。認識部206は、認識結果(各認識文字および確度)を判断部208および決定部210に出力する。   The recognition unit 206 recognizes a character string indicating the measurement result displayed on the display 24 of the sphygmomanometer 20 from the images of the sphygmomanometer 20 included in the captured image generated by the imaging unit 202. The measurement result includes, for example, a measurement value (maximum blood pressure value, minimum blood pressure value, pulse rate), measurement date and time, temperature, user number, various messages, information (symbol) indicating appropriateness of how to wind the cuff, and a pulse wave state. Contains information (symbols) to indicate. The recognizing unit 206 also recognizes a plurality of recognized characters included in a recognized character string that is a recognition result of a character string (for example, a character string indicating a systolic blood pressure value) indicating a measured value (displayed measured value) displayed on the display 24. For each of the above, an accuracy representing the recognition accuracy of the recognized character is calculated. The recognition unit 206 outputs a recognition result (recognized characters and accuracy) to the determination unit 208 and the determination unit 210.

判断部208は、当該複数の認識文字の各々について、当該認識文字についての確度が閾値Th1未満であるか否かを判断する。   The determining unit 208 determines, for each of the plurality of recognized characters, whether or not the accuracy of the recognized character is less than a threshold Th1.

判断部208が、当該複数の認識文字のうちの少なくとも1つの認識文字についての確度が閾値Th1未満であると判断した場合、認識部206は、撮像部202によりさらに生成されたN個(Nは1以上の整数)の撮像画像の各々から、表示測定値を示す文字列を認識する処理をさらに実行する。   When the determination unit 208 determines that the accuracy of at least one of the plurality of recognized characters is less than the threshold Th1, the recognition unit 206 further generates N (N is A process of recognizing a character string indicating a display measurement value from each of the captured images of an integer of 1 or more is further executed.

決定部210は、所定条件に基づいて、表示測定値を示す文字列の認識結果である認識文字列を、血圧計20の測定値として決定する。   The determination unit 210 determines a recognized character string that is a recognition result of the character string indicating the display measurement value as a measurement value of the sphygmomanometer 20 based on a predetermined condition.

具体的には、判断部208が、当該複数の認識文字のうちの少なくとも1つの認識文字についての確度が閾値Th1未満であると判断した場合、決定部210は、表示測定値を示す文字列(例えば、最高血圧値を表わす文字列「118」)のN+1回分の認識結果(すなわち、N+1個の認識文字列)に基づいて、当該文字列に含まれる各文字(文字「1」,「1」,「8」)について、当該文字の認識結果として得られた少なくとも1つの認識文字(例えば、文字「8」の認識結果として得られた2つの認識文字「8」,「0」)のうち、最も認識回数の多い認識文字を特定する。   Specifically, when the determination unit 208 determines that the accuracy of at least one recognized character among the plurality of recognized characters is less than the threshold Th1, the determination unit 210 sets a character string ( For example, based on N + 1 recognition results (that is, N + 1 recognized character strings) of the character string “118” representing the systolic blood pressure value, each character (characters “1” and “1”) included in the character string. , “8”), among at least one recognized character obtained as a recognition result of the character (for example, two recognized characters “8” and “0” obtained as a recognition result of the character “8”), Identify the recognized character with the highest number of recognitions.

決定部210は、当該特定された各認識文字(例えば、百の位の文字「1」について特定された認識文字「1」,十の位の文字「1」について特定された認識文字「1」,一の位の文字「8」について特定された認識文字「8」)から構成される認識文字列(例えば、認識文字列「118」)を、血圧計20の測定値として決定する。   The determination unit 210 determines the recognized character (for example, the recognized character “1” specified for the hundreds character “1”, the recognized character “1” specified for the tens character “1”). , A recognized character string (for example, recognized character string “118”) specified for the first character “8”) is determined as a measurement value of the sphygmomanometer 20.

一方、判断部208が、複数の認識文字の各々についての確度が閾値Th1以上であると判断した場合、決定部210は、当該複数の認識文字から構成される認識文字列を、血圧計20の測定値として決定する。換言すると、決定部210は、認識部206により最初に認識された認識文字列に含まれる各認識文字についての確度が閾値Th1以上である場合には、当該最初に認識された認識文字列を、血圧計20の測定値として決定する。   On the other hand, when the determination unit 208 determines that the accuracy for each of the plurality of recognition characters is equal to or greater than the threshold Th1, the determination unit 210 converts the recognition character string including the plurality of recognition characters into the sphygmomanometer 20. Determined as measured value. In other words, when the accuracy for each recognized character included in the recognized character string first recognized by the recognizing unit 206 is greater than or equal to the threshold Th1, the determining unit 210 determines the first recognized character string as It is determined as a measurement value of the sphygmomanometer 20.

決定部210は、決定結果をメモリ154に記憶するとともに、出力制御部204および異常判定部212に出力する。出力制御部204は、決定部210の決定結果を出力する。例えば、出力制御部204は、当該決定結果をディスプレイ158に表示させる。なお、出力制御部204は、通信インターフェイス166(または無線通信部160)を介して、外部装置に当該決定結果を出力してもよいし、スピーカ168を介して、当該決定結果を音声出力してもよい。   The determination unit 210 stores the determination result in the memory 154 and outputs it to the output control unit 204 and the abnormality determination unit 212. The output control unit 204 outputs the determination result of the determination unit 210. For example, the output control unit 204 causes the display 158 to display the determination result. Note that the output control unit 204 may output the determination result to an external device via the communication interface 166 (or the wireless communication unit 160), or output the determination result via the speaker 168 by voice. Also good.

異常判定部212は、血圧計20の測定値として決定部210により決定された認識文字列が表わす数値に基づいて、異常の有無を判定する。例えば、異常判定部212は、当該数値が所定範囲内である場合には異常なしと判定し、当該数値が所定範囲外である場合には異常ありと判定する。異常判定部212は、判定結果を出力制御部204に出力する。出力制御部204は、異常判定部212により異常ありと判定された場合、異常情報を出力する。例えば、出力制御部204は、当該数値が所定範囲外である旨を示すエラー通知をディスプレイ158に表示させる。   Abnormality determination unit 212 determines the presence or absence of abnormality based on the numerical value represented by the recognized character string determined by determination unit 210 as the measurement value of sphygmomanometer 20. For example, the abnormality determination unit 212 determines that there is no abnormality when the numerical value is within a predetermined range, and determines that there is an abnormality when the numerical value is outside the predetermined range. The abnormality determination unit 212 outputs the determination result to the output control unit 204. The output control unit 204 outputs abnormality information when the abnormality determination unit 212 determines that there is an abnormality. For example, the output control unit 204 causes the display 158 to display an error notification indicating that the numerical value is outside a predetermined range.

ここで、他の局面において、判断部208は、表示測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字についての確度が閾値Th2(<閾値Th1)未満であるか否かをさらに判断してもよい。判断部208は、当該判断結果を画像生成部214または傾き検出部218に出力する。   Here, in another aspect, for each of a plurality of recognized characters included in a recognized character string that is a recognition result of the character string indicating the display measurement value, the determination unit 208 has a threshold Th2 (< You may further judge whether it is less than threshold value Th1). The determination unit 208 outputs the determination result to the image generation unit 214 or the inclination detection unit 218.

判断部208が、複数の認識文字(例えば、認識文字「1」,「2」,「0」)のうちの少なくとも1つの認識文字(例えば、認識文字「0」)についての確度が閾値Th2未満であると判断した場合、画像生成部214は、撮像部202により生成された撮像画像から、当該少なくとも1つの認識文字以外の残余の各認識文字(例えば、認識文字「1」,「2」)に対応する各文字(例えば、文字「1」,「2」)を含む領域を切り取った部分画像(例えば、部分画像724,728)を生成する。画像生成部214は、部分画像を合成部216に出力する。   The determination unit 208 has an accuracy of at least one recognized character (for example, recognized character “0”) out of a plurality of recognized characters (for example, recognized characters “1”, “2”, “0”) less than the threshold Th2. When the image generation unit 214 determines that the remaining recognition characters other than the at least one recognition character from the captured image generated by the imaging unit 202 (for example, the recognition characters “1” and “2”). A partial image (for example, partial images 724 and 728) obtained by cutting out an area including each character (for example, the characters “1” and “2”) corresponding to is generated. The image generation unit 214 outputs the partial image to the synthesis unit 216.

合成部216は、画像生成部214により生成された複数の部分画像を合成する。合成部216は、合成画像を認識部206に出力する。認識部206は、合成部216により合成された合成画像(例えば、合成画像730)から、表示測定値を示す文字列を認識する処理を実行する。   The synthesizing unit 216 synthesizes a plurality of partial images generated by the image generating unit 214. The composition unit 216 outputs the composite image to the recognition unit 206. The recognition unit 206 executes processing for recognizing a character string indicating a display measurement value from the composite image (for example, the composite image 730) combined by the combining unit 216.

また、さらに他の局面において、判断部208が、複数の認識文字のうちの少なくとも1つの認識文字についての確度が閾値Th2未満であると判断した場合、傾き検出部218は、基準画像に対する、撮像部202により生成された撮像画像の傾きを検出する。出力制御部204は、基準画像に対する撮像画像の傾きを低減するための回転方向をディスプレイ158に表示させる。   In still another aspect, when the determination unit 208 determines that the accuracy of at least one recognition character of the plurality of recognition characters is less than the threshold Th2, the inclination detection unit 218 captures the reference image. The inclination of the captured image generated by the unit 202 is detected. The output control unit 204 causes the display 158 to display a rotation direction for reducing the inclination of the captured image with respect to the reference image.

なお、出力制御部204は、表示測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々を、当該認識文字についての確度に応じた所定の色でディスプレイ158に表示させてもよい。また、出力制御部204は、当該認識文字についての確度を示す情報をディスプレイ158に表示させてもよい。例えば、当該確度を示す情報は、枠510内の予め定められた位置に表示される。また、出力制御部204は、当該認識文字の近傍に当該認識文字の確度を示す情報を表示させてもよい。   The output control unit 204 displays each of the plurality of recognized characters included in the recognized character string, which is the recognition result of the character string indicating the display measurement value, on the display 158 with a predetermined color according to the accuracy of the recognized character. It may be displayed. In addition, the output control unit 204 may display information indicating the accuracy of the recognized character on the display 158. For example, information indicating the accuracy is displayed at a predetermined position in the frame 510. Further, the output control unit 204 may display information indicating the accuracy of the recognized character in the vicinity of the recognized character.

<処理手順>
図12は、端末装置10の処理手順の一例を示すフローチャートである。
<Processing procedure>
FIG. 12 is a flowchart illustrating an example of a processing procedure of the terminal device 10.

図12を参照して、端末装置10のプロセッサ152は、カメラ163を用いて撮像された血圧計20の撮像画像を生成し、当該撮像画像をディスプレイ158に表示する(ステップS10)。プロセッサ152は、ユーザの操作を補助するためのガイドをディスプレイ158に表示する(ステップS12)。プロセッサ152は、撮像画像の中から血圧計20のディスプレイ24に表示された測定値(表示測定値)を示す文字列を認識する(ステップS14)。   Referring to FIG. 12, processor 152 of terminal device 10 generates a captured image of sphygmomanometer 20 captured using camera 163, and displays the captured image on display 158 (step S10). The processor 152 displays a guide for assisting the user's operation on the display 158 (step S12). The processor 152 recognizes a character string indicating the measurement value (display measurement value) displayed on the display 24 of the sphygmomanometer 20 from the captured image (step S14).

プロセッサ152は、表示測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々についての確度が閾値Th1以上(すなわち、各認識文字についての確度がすべて閾値Th1以上)か否かを判断する(ステップS16)。複数の認識文字の各々についての確度が閾値Th1以上である場合(ステップS16においてYES)、プロセッサ152は、当該複数の認識文字から構成される認識文字列を、血圧計20の測定値として決定し(ステップS24)、決定結果(認識文字列が示す数値)をディスプレイ158に表示して(ステップS26)、処理を終了する。   In the processor 152, the accuracy of each of the plurality of recognized characters included in the recognized character string that is the recognition result of the character string indicating the display measurement value is greater than or equal to the threshold Th1 (that is, the accuracy of each recognized character is greater than or equal to the threshold Th1). Whether or not (step S16). When the accuracy for each of the plurality of recognized characters is equal to or greater than the threshold Th1 (YES in step S16), processor 152 determines a recognized character string formed of the plurality of recognized characters as a measurement value of sphygmomanometer 20. (Step S24), the determination result (the numerical value indicated by the recognized character string) is displayed on the display 158 (Step S26), and the process is terminated.

複数の認識文字のうちの少なくとも1つの認識文字についての確度が閾値Th1未満である場合(ステップS16においてNO)、プロセッサ152は、認識処理の対象となった撮像画像とは別の撮像画像から、表示測定値を示す文字列の認識処理を再実行する(ステップS18)。プロセッサ152は、表示測定値を示す文字列の認識処理が所定回数実行されたか否かを判断する(ステップS20)。   When the accuracy of at least one of the plurality of recognized characters is less than the threshold Th1 (NO in step S16), the processor 152 determines whether the captured image is different from the captured image that is the target of the recognition process. The character string recognition process indicating the display measurement value is re-executed (step S18). The processor 152 determines whether or not the character string recognition process indicating the display measurement value has been performed a predetermined number of times (step S20).

当該認識処理が所定回数実行されていない場合には(ステップS20においてNO)、プロセッサ152は、ステップS18の処理を繰り返す。当該認識処理が所定回数実行された場合には(ステップS20においてYES)、プロセッサ152は、所定回数分の認識結果に基づいて特定された各認識文字から構成される認識文字列を、血圧計20の測定値として決定する(ステップS22)。具体的には、プロセッサ152は、表示測定値を示す文字列に含まれる各文字について、当該文字が認識されることにより得られた少なくとも1つの認識文字のうち、最も認識回数の多い認識文字を特定する。そして、プロセッサ152は、決定結果をディスプレイ158に表示して(ステップS26)、処理を終了する。   If the recognition process has not been executed a predetermined number of times (NO in step S20), processor 152 repeats the process of step S18. When the recognition process is executed a predetermined number of times (YES in step S20), the processor 152 converts the recognition character string composed of each recognition character specified based on the recognition result for the predetermined number of times to the sphygmomanometer 20 Is determined as a measured value (step S22). Specifically, for each character included in the character string indicating the display measurement value, the processor 152 selects the recognized character having the highest number of recognitions among at least one recognized character obtained by recognizing the character. Identify. Then, the processor 152 displays the determination result on the display 158 (step S26), and ends the process.

(変形例)
図13は、端末装置10の処理手順の変形例を示すフローチャートである。
(Modification)
FIG. 13 is a flowchart illustrating a modification of the processing procedure of the terminal device 10.

図13を参照して、ステップS50〜S56の処理は、それぞれ図12中のステップS10〜S16の処理と同様であるため、その詳細な説明は繰り返さない。表示測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々についての確度が閾値Th1(例えば、90%)未満である場合(ステップS56においてNO)、ステップS66,S68の処理を実行する。ステップS66,S68の処理は、それぞれ図12中のステップS24,S26の処理と同様であるため、その詳細な説明は繰り返さない。   Referring to FIG. 13, the processes in steps S50 to S56 are the same as the processes in steps S10 to S16 in FIG. 12, respectively, and detailed description thereof will not be repeated. When the accuracy of each of the plurality of recognized characters included in the recognized character string that is the recognition result of the character string indicating the display measurement value is less than a threshold Th1 (for example, 90%) (NO in step S56), step S66, The process of S68 is executed. Since the processes in steps S66 and S68 are the same as the processes in steps S24 and S26 in FIG. 12, respectively, detailed description thereof will not be repeated.

複数の認識文字のうちの少なくとも1つの認識文字についての確度が閾値Th1未満である場合(ステップS56においてYES)、プロセッサ152は、当該複数の認識文字の各々についての確度が閾値Th2(例えば、40%)以上か否かを判断する(ステップS58)。複数の認識文字の各々についての確度が閾値Th2以上である場合(ステップS58においてYES)、ステップS60〜S64,S68の処理を実行する。ステップS60〜S64,S68の処理は、それぞれ図12中のステップS18〜S22,S26の処理と同様であるため、その詳細な説明は繰り返さない。   If the accuracy of at least one of the plurality of recognized characters is less than the threshold Th1 (YES in step S56), the processor 152 determines that the accuracy of each of the plurality of recognized characters is a threshold Th2 (for example, 40 %) Or more is determined (step S58). When the accuracy for each of the plurality of recognized characters is equal to or greater than threshold value Th2 (YES in step S58), the processes of steps S60 to S64 and S68 are executed. Since the processes of steps S60 to S64 and S68 are the same as the processes of steps S18 to S22 and S26 in FIG. 12, detailed description thereof will not be repeated.

複数の認識文字のうちの少なくとも1つの認識文字についての確度が閾値Th2未満である場合(ステップS58においてNO)、プロセッサ152は、生成された撮像画像から、少なくとも1つの認識文字以外の残余の各認識文字(すなわち、閾値Th2以上の比較的高い確度を有する認識文字)に対応する各文字を含む領域を切り取った部分画像を生成する(ステップS70)。プロセッサ152は、生成した部分画像をメモリ154に格納する。   When the accuracy of at least one of the plurality of recognized characters is less than the threshold Th2 (NO in step S58), the processor 152 determines each remaining character other than at least one recognized character from the generated captured image. A partial image is generated by cutting out a region including each character corresponding to the recognized character (that is, a recognized character having a relatively high accuracy equal to or higher than the threshold Th2) (step S70). The processor 152 stores the generated partial image in the memory 154.

プロセッサ152は、所定数の部分画像がメモリ154に格納されているか否かを判断する(ステップS72)。所定数の部分画像が格納されていない場合には(ステップS72においてNO)、プロセッサ152はステップS50からの処理を繰り返す。所定数の部分画像が格納されている場合には(ステップS72においてYES)、プロセッサ152は、当該所定数の部分画像を合成する(ステップS74)。プロセッサ152は、合成画像から、表示測定値を示す文字列を認識する処理を実行する(ステップS76)。   The processor 152 determines whether or not a predetermined number of partial images are stored in the memory 154 (step S72). If the predetermined number of partial images is not stored (NO in step S72), processor 152 repeats the processing from step S50. If a predetermined number of partial images are stored (YES in step S72), processor 152 combines the predetermined number of partial images (step S74). The processor 152 executes processing for recognizing a character string indicating a display measurement value from the composite image (step S76).

プロセッサ152は、合成画像から認識された認識文字列に含まれる複数の認識文字の各々についての確度が閾値Th1以上か否かを判断する(ステップS78)。当該複数の認識文字の各々についての確度が閾値Th1以上である場合には(ステップS78においてYES)、プロセッサ152はステップS66の処理を実行する。当該複数の認識文字のうちの少なくとも1つの認識文字についての確度が閾値Th1未満である場合には(ステップS78においてNO)、プロセッサ152はエラー報知をして(ステップS80)、処理を終了する。   The processor 152 determines whether or not the accuracy of each of the plurality of recognized characters included in the recognized character string recognized from the composite image is greater than or equal to the threshold Th1 (step S78). When the accuracy for each of the plurality of recognized characters is equal to or greater than threshold value Th1 (YES in step S78), processor 152 executes the process of step S66. When the accuracy of at least one recognized character among the plurality of recognized characters is less than the threshold Th1 (NO in step S78), the processor 152 notifies an error (step S80) and ends the process.

<利点>
本実施の形態によると、端末装置10は、認識文字についての確度が低いと判断した場合、再度、所定回数の認識処理を実行し、多数決により採用された各認識文字から構成される認識文字列を測定値として決定し、当該決定された認識文字列をディスプレイ158に表示する。そのため、確度の低い認識文字がそのままディスプレイ158に表示されることがなく、ディスプレイ158に表示される測定値の正確性を高めることができる。
<Advantages>
According to the present embodiment, when the terminal device 10 determines that the accuracy of the recognized character is low, the terminal device 10 executes the recognition process a predetermined number of times again, and recognizes a recognized character string composed of each recognized character adopted by majority vote. Is determined as a measured value, and the determined recognized character string is displayed on the display 158. Therefore, the recognized character with low accuracy is not displayed as it is on the display 158, and the accuracy of the measurement value displayed on the display 158 can be improved.

また、本実施の形態によると、表示測定値を示す文字列を認識する際には、ユーザの操作を補助するためのガイドが表示される。また、ガイドとして、枠、認識範囲、7セグメント表示方式の各セグメント等を示すオブジェクトが表示されるため、最適な位置で血圧計20を撮像するように、ユーザを誘導することができる。   Further, according to the present embodiment, when recognizing a character string indicating a display measurement value, a guide for assisting the user's operation is displayed. Moreover, since the object which shows a frame, the recognition range, each segment of a 7 segment display system, etc. is displayed as a guide, a user can be induced to image the sphygmomanometer 20 at an optimal position.

<その他の実施の形態>
(1)上述した実施の形態において、端末装置10は、測定結果に含まれる各種情報を利用して、測定値の信頼性を評価してもよい。例えば、端末装置10のプロセッサ152(評価部)は、測定日時から撮像日時までの期間を算出し、当該算出された期間が所定期間内か否かを判断する。プロセッサ152は、当該算出された期間が所定期間内ではない場合、測定結果の信頼性が低いと評価する。この場合、プロセッサ152は、当該算出された期間が所定期間内ではない旨のエラー通知を出力してもよい。
<Other embodiments>
(1) In embodiment mentioned above, the terminal device 10 may evaluate the reliability of a measured value using the various information contained in a measurement result. For example, the processor 152 (evaluation unit) of the terminal device 10 calculates a period from the measurement date to the imaging date and determines whether the calculated period is within a predetermined period. When the calculated period is not within the predetermined period, the processor 152 evaluates that the reliability of the measurement result is low. In this case, the processor 152 may output an error notification indicating that the calculated period is not within the predetermined period.

(2)上述した実施の形態では、図9において、基準画像700に対する撮像画像702の傾きに基づいて、適切な撮像方向をユーザに報知する構成について説明したが、当該構成に限られない。具体的には、以下のステップA〜Fの処理を実行してもよい。   (2) In the above-described embodiment, the configuration for notifying the user of an appropriate imaging direction based on the inclination of the captured image 702 with respect to the reference image 700 in FIG. 9 has been described, but the configuration is not limited thereto. Specifically, the following steps A to F may be executed.

端末装置10は、基準画像700に対する撮像画像702の傾きを検出する(ステップA)。端末装置10は、当該傾きに基づいて、基準画像700に対する傾きを低減するように撮像画像702を補正する(ステップB)。端末装置10は、補正した撮像画像702から、表示測定値を示す文字列を認識する処理を実行する(ステップC)。端末装置10は、表示測定値に対応するすべての認識文字についての確度が所定閾値(例えば、閾値Th1)以上であるか否かを判断する(ステップD)。   The terminal device 10 detects the inclination of the captured image 702 with respect to the reference image 700 (step A). Based on the inclination, the terminal device 10 corrects the captured image 702 so as to reduce the inclination with respect to the reference image 700 (step B). The terminal device 10 executes processing for recognizing a character string indicating a display measurement value from the corrected captured image 702 (step C). The terminal device 10 determines whether or not the accuracy for all recognized characters corresponding to the display measurement value is equal to or greater than a predetermined threshold (for example, threshold Th1) (step D).

表示測定値に対応するすべての認識文字についての確度が所定閾値判断した場合、端末装置10は、これらの認識文字から構成される認識文字列を血圧計20の測定値としてディスプレイ158に表示する(ステップE)。   When the accuracy of all recognized characters corresponding to the display measurement value is determined as a predetermined threshold, the terminal device 10 displays a recognition character string formed of these recognition characters on the display 158 as a measurement value of the sphygmomanometer 20 ( Step E).

一方、複数の認識文字のうちの少なくとも1つの認識文字についての確度が所定閾値未満である場合、端末装置10は、基準画像700に対する傾きを低減するために、端末装置10を適切な方向に回転させるように促すオブジェクト(例えば、オブジェクト772,774,776)をディスプレイ158に表示し(ステップF)、再度、ステップAからの処理を繰り返す。   On the other hand, when the accuracy of at least one of the plurality of recognized characters is less than the predetermined threshold, the terminal device 10 rotates the terminal device 10 in an appropriate direction in order to reduce the inclination with respect to the reference image 700. An object (for example, objects 772, 774, 776) that prompts the user to perform the operation is displayed on the display 158 (step F), and the processing from step A is repeated again.

(3)上述した実施の形態において、コンピュータを機能させて、上述のフローチャートで説明したような制御を実行させるプログラムを提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、CD(Compact Disk Read Only Memory)、二次記憶装置、主記憶装置およびメモリカードなどの一時的でないコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。   (3) In the above-described embodiment, it is possible to provide a program for causing a computer to function and executing control as described in the above flowchart. Such a program is recorded on a non-temporary computer-readable recording medium such as a flexible disk attached to the computer, a CD (Compact Disk Read Only Memory), a secondary storage device, a main storage device, and a memory card. It can also be provided as a program product. Alternatively, the program can be provided by being recorded on a recording medium such as a hard disk built in the computer. A program can also be provided by downloading via a network.

プログラムは、コンピュータのオペレーティングシステム(OS)の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずOSと協働して処理が実行される。このようなモジュールを含まないプログラムも、本実施の形態にかかるプログラムに含まれ得る。   The program may be a program module that is provided as a part of an operating system (OS) of a computer and that calls necessary modules in a predetermined arrangement at a predetermined timing to execute processing. In that case, the program itself does not include the module, and the process is executed in cooperation with the OS. A program that does not include such a module can also be included in the program according to the present embodiment.

また、本実施の形態にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本実施の形態にかかるプログラムに含まれ得る。   Further, the program according to the present embodiment may be provided by being incorporated in a part of another program. Even in this case, the program itself does not include the module included in the other program, and the process is executed in cooperation with the other program. A program incorporated in such another program can also be included in the program according to the present embodiment.

(4)上述の実施の形態として例示した構成は、本発明の構成の一例であり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、一部を省略する等、変更して構成することも可能である。また、上述した実施の形態において、その他の実施の形態で説明した処理や構成を適宜採用して実施する場合であってもよい。   (4) The configuration exemplified as the above-described embodiment is an example of the configuration of the present invention, and can be combined with another known technique, and a part thereof does not depart from the gist of the present invention. It is also possible to change and configure such as omitting. In the above-described embodiment, the processing and configuration described in the other embodiments may be adopted as appropriate.

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。   The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

1 システム、10 端末装置、20,21 血圧計、22 本体部、23 体組成計、24,158 ディスプレイ、26 進む/戻るボタン、27 ランプ、28 ユーザ番号スイッチ、29 開始/停止ボタン、41 ブランド情報、43 型式情報、152 プロセッサ、154 メモリ、156 入力装置、160 無線通信部、162 通信アンテナ、163 カメラ、164 メモリインターフェイス、165 記憶媒体、166 通信インターフェイス、168 スピーカ、170 マイク、172 方向センサ、202 撮像部、204 出力制御部、206 認識部、208 判断部、210 決定部、212 異常判定部、214 画像生成部、216 合成部、218 傾き検出部。   1 system, 10 terminal device, 20, 21 sphygmomanometer, 22 body part, 23 body composition meter, 24,158 display, 26 forward / back button, 27 lamp, 28 user number switch, 29 start / stop button, 41 brand information , 43 Model information, 152 processor, 154 memory, 156 input device, 160 wireless communication unit, 162 communication antenna, 163 camera, 164 memory interface, 165 storage medium, 166 communication interface, 168 speaker, 170 microphone, 172 direction sensor, 202 Image capturing unit, 204 output control unit, 206 recognition unit, 208 determination unit, 210 determination unit, 212 abnormality determination unit, 214 image generation unit, 216 synthesis unit, 218 inclination detection unit.

Claims (6)

端末装置であって、
被写体として健康機器を撮像する撮像手段と、
前記撮像手段により生成された撮像画像に含まれる前記健康機器の画像から、前記健康機器のディスプレイに表示された測定値を示す文字列を認識する処理を実行する認識手段と、
前記表示された測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字の認識の正確さを表わす確度が第1閾値未満であるか否かを判断する判断手段とを備え、
前記複数の認識文字のうちの少なくとも1つの認識文字についての前記確度が前記第1閾値未満である場合、前記認識手段は、前記撮像手段によりさらに生成されたN個(Nは1以上の整数)の撮像画像の各々から、前記表示された測定値を示す文字列を認識する処理をさらに実行し、
前記表示された測定値を示す文字列のN+1回分の認識結果に基づいて、当該文字列に含まれる各文字について、当該文字が認識されることにより得られた少なくとも1つの認識文字のうち、最も認識回数の多い認識文字を特定し、当該特定された各認識文字から構成される認識文字列を、前記健康機器の測定値として決定する決定手段と、
前記決定手段の決定結果を出力する出力制御手段とをさらに備える、端末装置。
A terminal device,
Imaging means for imaging a health device as a subject;
Recognition means for executing processing for recognizing a character string indicating a measurement value displayed on the display of the health device from the image of the health device included in the captured image generated by the imaging means;
Whether or not each of the plurality of recognized characters included in the recognized character string that is the recognition result of the character string indicating the displayed measurement value is less than a first threshold value representing the accuracy of recognition of the recognized character. And a judging means for judging
When the accuracy of at least one recognition character of the plurality of recognition characters is less than the first threshold, the recognition unit further generates N pieces (N is an integer of 1 or more) generated by the imaging unit. A process of recognizing a character string indicating the displayed measurement value from each of the captured images of
Based on the recognition result for N + 1 times of the character string indicating the displayed measurement value, among the at least one recognized character obtained by recognizing the character for each character included in the character string, Determining means for identifying a recognized character having a large number of recognition times, and determining a recognized character string composed of each identified recognized character as a measurement value of the health device;
A terminal device further comprising output control means for outputting a determination result of the determination means.
前記複数の認識文字の各々についての前記確度が前記第1閾値以上である場合、前記決定手段は、前記複数の認識文字から構成される認識文字列を、前記健康機器の測定値として決定する、請求項1に記載の端末装置。   When the accuracy for each of the plurality of recognition characters is equal to or greater than the first threshold, the determination unit determines a recognition character string composed of the plurality of recognition characters as a measurement value of the health device. The terminal device according to claim 1. 前記出力制御手段は、前記表示された測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々を、当該認識文字についての前記確度に応じた所定色で前記端末装置のディスプレイに表示させる、請求項1または2に記載の端末装置。   The output control means displays each of a plurality of recognized characters included in a recognized character string that is a recognition result of the character string indicating the displayed measurement value in a predetermined color according to the accuracy of the recognized character. The terminal device according to claim 1, wherein the terminal device is displayed on a display of the device. 前記出力制御手段は、前記表示された測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字についての前記確度を示す情報を前記端末装置のディスプレイに表示させる、請求項1または2に記載の端末装置。   The output control means, for each of a plurality of recognized characters included in a recognized character string that is a recognition result of the character string indicating the displayed measurement value, displays information indicating the accuracy of the recognized character of the terminal device. The terminal device according to claim 1, wherein the terminal device is displayed on a display. 前記判断手段は、前記表示された測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字についての前記確度が前記第1閾値よりも小さい第2閾値未満であるか否かをさらに判断し、
前記複数の認識文字のうちの少なくとも1つの認識文字についての前記確度が前記第2閾値未満である場合、前記撮像手段により生成された撮像画像から、前記少なくとも1つの認識文字以外の残余の各認識文字に対応する各文字を含む領域を切り取った部分画像を生成する生成手段と、
前記生成手段により生成された複数の部分画像を合成する合成手段とをさらに備え、
前記認識手段は、前記合成手段により合成された画像から、前記表示された測定値を示す文字列を認識する処理を実行する、請求項1〜4のいずれか1項に記載の端末装置。
The determination unit is configured such that, for each of a plurality of recognized characters included in a recognized character string that is a recognition result of the character string indicating the displayed measurement value, the accuracy of the recognized character is smaller than the first threshold value. Further determine whether it is less than two thresholds,
When the accuracy of at least one recognized character of the plurality of recognized characters is less than the second threshold value, each recognition of remaining other than the at least one recognized character from the captured image generated by the imaging unit Generating means for generating a partial image obtained by cutting out an area including each character corresponding to the character;
A synthesis unit that synthesizes a plurality of partial images generated by the generation unit;
The terminal device according to claim 1, wherein the recognition unit executes a process of recognizing a character string indicating the displayed measurement value from the image combined by the combining unit.
前記出力制御手段は、前記健康機器の測定値として決定された認識文字列が表わす数値が所定範囲外である場合、異常情報を出力する、請求項1〜5のいずれか1項に記載の端末装置。   The terminal according to any one of claims 1 to 5, wherein the output control means outputs abnormality information when a numerical value represented by a recognized character string determined as a measurement value of the health device is outside a predetermined range. apparatus.
JP2016256224A 2016-12-28 2016-12-28 Terminal equipment Active JP6804292B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016256224A JP6804292B2 (en) 2016-12-28 2016-12-28 Terminal equipment
MX2019007047A MX2019007047A (en) 2016-12-28 2017-10-20 Terminal device.
RU2019118662A RU2727464C1 (en) 2016-12-28 2017-10-20 Terminal device
CN201780076261.3A CN110088770B (en) 2016-12-28 2017-10-20 Terminal device
PCT/JP2017/037990 WO2018123229A1 (en) 2016-12-28 2017-10-20 Terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016256224A JP6804292B2 (en) 2016-12-28 2016-12-28 Terminal equipment

Publications (3)

Publication Number Publication Date
JP2018109801A true JP2018109801A (en) 2018-07-12
JP2018109801A5 JP2018109801A5 (en) 2020-01-09
JP6804292B2 JP6804292B2 (en) 2020-12-23

Family

ID=62708025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016256224A Active JP6804292B2 (en) 2016-12-28 2016-12-28 Terminal equipment

Country Status (5)

Country Link
JP (1) JP6804292B2 (en)
CN (1) CN110088770B (en)
MX (1) MX2019007047A (en)
RU (1) RU2727464C1 (en)
WO (1) WO2018123229A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166586A (en) * 2019-03-29 2020-10-08 株式会社日立システムズ Meter reading operation device and method, and meter reading operation system
JP2020166587A (en) * 2019-03-29 2020-10-08 株式会社日立システムズ Meter reading operation device and method, and meter reading operation system
JP2021022155A (en) * 2019-07-26 2021-02-18 株式会社ミツトヨ Digital display reader and program
JP7512451B2 (en) 2023-02-07 2024-07-08 株式会社日立システムズ Meter reading support system and method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6868057B2 (en) 2019-05-27 2021-05-12 株式会社東芝 Reading system, reading method, program, storage medium, and mobile

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099664A1 (en) * 2007-02-15 2008-08-21 Mitsubishi Heavy Industries, Ltd. Vehicle number recognizing device
JP2010218061A (en) * 2009-03-13 2010-09-30 Toshiba Corp Image processing device
JP2013125391A (en) * 2011-12-14 2013-06-24 Asutemu:Kk Television apparatus, information processing method and program
JP2014137713A (en) * 2013-01-17 2014-07-28 Hidetoshi Konishi Data identification system

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3587775B2 (en) * 1999-09-09 2004-11-10 松下電器産業株式会社 Display data analyzer and recording medium
JP4655335B2 (en) * 2000-06-20 2011-03-23 コニカミノルタビジネステクノロジーズ株式会社 Image recognition apparatus, image recognition method, and computer-readable recording medium on which image recognition program is recorded
JP2005352705A (en) * 2004-06-09 2005-12-22 Omron Corp Device and method for pattern recognition, and character recognizing method
US7587308B2 (en) * 2005-11-21 2009-09-08 Hewlett-Packard Development Company, L.P. Word recognition using ontologies
JP5146190B2 (en) * 2008-08-11 2013-02-20 オムロン株式会社 Character recognition device, character recognition program, and character recognition method
JP2011081763A (en) * 2009-09-09 2011-04-21 Sony Corp Information processing apparatus, information processing method and information processing program
JP5259876B2 (en) * 2010-02-26 2013-08-07 楽天株式会社 Information processing apparatus, information processing method, and recording medium recording information processing program
JP5647919B2 (en) * 2011-03-07 2015-01-07 株式会社Nttドコモ Character recognition device, character recognition method, character recognition system, and character recognition program
JP5982844B2 (en) * 2012-02-06 2016-08-31 オムロン株式会社 Character reading program and character reading device
JP5831420B2 (en) * 2012-09-28 2015-12-09 オムロン株式会社 Image processing apparatus and image processing method
CN103902993A (en) * 2012-12-28 2014-07-02 佳能株式会社 Document image identification method and device
CN104008384B (en) * 2013-02-26 2017-11-14 山东新北洋信息技术股份有限公司 Character identifying method and character recognition device
CN104217203B (en) * 2013-06-03 2019-08-23 支付宝(中国)网络技术有限公司 Complex background card face information identifying method and system
CN103729636B (en) * 2013-12-18 2017-07-25 小米科技有限责任公司 Character segmentation method, device and electronic equipment
JP6268023B2 (en) * 2014-03-31 2018-01-24 日本電産サンキョー株式会社 Character recognition device and character cutout method thereof
CA2885880C (en) * 2014-04-04 2018-07-31 Image Searcher, Inc. Image processing including object selection
CN105675626B (en) * 2016-02-26 2018-08-07 广东工业大学 A kind of character defect inspection method of tire-mold

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099664A1 (en) * 2007-02-15 2008-08-21 Mitsubishi Heavy Industries, Ltd. Vehicle number recognizing device
JP2010218061A (en) * 2009-03-13 2010-09-30 Toshiba Corp Image processing device
JP2013125391A (en) * 2011-12-14 2013-06-24 Asutemu:Kk Television apparatus, information processing method and program
JP2014137713A (en) * 2013-01-17 2014-07-28 Hidetoshi Konishi Data identification system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166586A (en) * 2019-03-29 2020-10-08 株式会社日立システムズ Meter reading operation device and method, and meter reading operation system
JP2020166587A (en) * 2019-03-29 2020-10-08 株式会社日立システムズ Meter reading operation device and method, and meter reading operation system
JP7248483B2 (en) 2019-03-29 2023-03-29 株式会社日立システムズ METER READING WORK DEVICE AND METHOD, AND METER READING WORK SUPPORT SYSTEM
JP7253957B2 (en) 2019-03-29 2023-04-07 株式会社日立システムズ METER READING WORK DEVICE AND METHOD, AND METER READING WORK SYSTEM
JP7408865B2 (en) 2019-03-29 2024-01-05 株式会社日立システムズ Meter reading work device and method and meter reading work system
JP2021022155A (en) * 2019-07-26 2021-02-18 株式会社ミツトヨ Digital display reader and program
JP7290498B2 (en) 2019-07-26 2023-06-13 株式会社ミツトヨ Digital display reader and program
JP7512451B2 (en) 2023-02-07 2024-07-08 株式会社日立システムズ Meter reading support system and method

Also Published As

Publication number Publication date
CN110088770B (en) 2023-07-07
RU2727464C1 (en) 2020-07-21
CN110088770A (en) 2019-08-02
MX2019007047A (en) 2019-09-06
JP6804292B2 (en) 2020-12-23
WO2018123229A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
WO2018123227A1 (en) Terminal device
WO2018123229A1 (en) Terminal device
US20180184920A1 (en) System and method for providing user feeedback of blood pressure sensor placement and contact quality
US20170332963A1 (en) Blood pressure measurement device
CN109906052B (en) Device comprising a blood pressure sensor and method for controlling the device
US11589825B2 (en) Systems and methods for blood pressure estimation using smart offset calibration
US10959646B2 (en) Image detection method and image detection device for determining position of user
JP6593176B2 (en) Blood pressure correction information generation device, blood pressure measurement device, blood pressure correction information generation method, blood pressure correction information generation program
RU2731445C1 (en) Information processing system
US11832925B2 (en) Electronic device for measuring biometric information and method for operating the same
KR20210060246A (en) The arraprus for obtaining biometiric data and method thereof
US20190365243A1 (en) Blood-pressure-related information display apparatus and method
WO2022089101A1 (en) Pwv measurement method and apparatus based on portable electronic device
US11257246B2 (en) Image detection method and image detection device for selecting representative image of user
US11087157B2 (en) Image detection method and image detection device utilizing dual analysis
US11406330B1 (en) System to optically determine blood pressure
US20240081785A1 (en) Key frame identification for intravascular ultrasound based on plaque burden
US20240081666A1 (en) Trend lines for sequential physiological measurements of vessels
CN217907732U (en) Detection device and medical instrument
WO2024059136A1 (en) Graphical user interface for intravascular ultrasound stent display
WO2024059141A1 (en) Graphical user interface for intravascular ultrasound automated lesion assessment system
KR20210047041A (en) An electronic device for integrating and presenting physiological data in multiple devices and method thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201202

R150 Certificate of patent or registration of utility model

Ref document number: 6804292

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250