JP2015082219A

JP2015082219A - データ検出システム

Info

Publication number: JP2015082219A
Application number: JP2013219967A
Authority: JP
Inventors: 尾崎　貴志; Takashi Ozaki; 貴志尾崎
Original assignee: Nippon Telegraph and Telephone Corp; Nippon Telegraph and Telephone West Corp
Current assignee: Nippon Telegraph and Telephone Corp; Nippon Telegraph and Telephone West Corp
Priority date: 2013-10-23
Filing date: 2013-10-23
Publication date: 2015-04-27
Anticipated expiration: 2033-10-23
Also published as: JP5809682B2

Abstract

【課題】データを表示するデバイスの外観を撮影したデバイス外観画像から検出されるデータの精度を向上させる。【解決手段】解析サーバ１の制御部は、ＤＢサーバ２のデバイス外観画像テーブルから、データを正しく検出できたことを示す成功可否と該当のデバイス特徴量を含むレコードを検索し、レコードからデータ表示枠位置情報を読み出す（Ｓ１０１）。解析サーバ１のデータ検出部は、デバイス外観画像から、読み出したデータ表示枠位置情報により示される位置の画像であるデータ表示枠画像を切り出し（Ｓ１０３）、データ表示枠画像からデータを検出する（Ｓ１０５）。【選択図】図１０

Description

本発明は、データを表示するデバイスの外観を撮影したデバイス外観画像からデータを検出するデータ検出システムに関するものである。

近年では、ＱＲコード（登録商標）で出力されたデータをカメラ付き携帯電話で読み取り、インターネットを介してサーバのデータベースにデータを登録するシステムがある。このようなシステムによれば、データの手入力が不要となるため、ユーザの作業負担を軽減できる。

特開２００８−２６９３０４号公報

ところで、同じく画像からデータを検出するシステムとして、以下のようなものが考えられる。つまり、液晶画面などにデータを表示するデバイスを外観ごと撮影し、得た画像（デバイス外観画像）からデータを検出するシステムである。

このシステムを利用するユーザは、まず、データを表示しているデバイスを外観ごとスマートフォンなどで撮影する。スマートフォンには、撮影で得たデバイス外観画像が表示される。ユーザは、表示されたデバイス外観画像内でデータの位置を指定する。これにより、スマートフォンは、指定された位置の画像をサーバに送信する。サーバは、画像から光学文字認識などの技術を利用してデータを検出し、保存する。

しかしながら、データの表示位置でない位置を指定したりすると、その位置の画像からデータを検出するのが困難になり、検出したデータの精度が低下する。

本発明は、上記の課題に鑑みてなされたものであり、データを表示するデバイスの外観を撮影したデバイス外観画像から検出されるデータの精度を向上させることを目的とする。

上記の課題を解決するために、本発明のデータ検出システムは、デバイスの外観を撮影したデバイス外観画像毎に、当該デバイス外観画像から検出された当該外観の特徴量であるデバイス特徴量、当該デバイスを使用するユーザにより当該デバイスのデータ表示枠の位置として当該デバイス外観画像内で指定された位置を示すデータ表示枠位置情報、当該デバイス外観画像における当該データ表示枠位置情報の位置にあるデータ表示枠画像からデータを正しく検出できたか否かを示す成功可否を含むレコードを記憶するデバイス外観画像テーブルを備えるＤＢサーバと、データを表示しているデバイスのデバイス外観画像からデバイス特徴量を検出するデバイス特徴量検出部、前記デバイス外観画像テーブルから、データを正しく検出できたことを示す成功可否と当該デバイス特徴量を含むレコードを検索し、当該レコードからデータ表示枠位置情報を読み出す制御部、当該デバイス外観画像における当該データ表示枠位置情報の位置にあるデータ表示枠画像からデータを検出するデータ検出部を備える解析サーバとを含むことを特徴とする。

本発明のデータ検出システムによれば、データを表示するデバイスの外観を撮影したデバイス外観画像から検出されるデータの精度を向上させることができる。

本実施の形態に係るデータ検出システムの構成を示す図である。デバイスの外観を例示した図である。解析サーバ１の概略構成を示す機能ブロック図である。ＤＢサーバ２の概略構成を示す機能ブロック図である。デバイス外観画像テーブル２１の各レコードに含まれる情報を示す図である。デバイス特徴量テーブル２２の各レコードに含まれる情報を示す図である。データテーブル２３の各レコードに含まれる情報を示す図である。初回のデータ検出の際のシーケンスを示す図である。デバイス特徴量の検出方法の一例を説明するための図である。２回目以降のデータ検出の際のシーケンスを示す図である。

以下、本発明の実施の形態について図面を参照して説明する。

図１は、本実施の形態に係るデータ検出システムの構成を示す図である。

本実施の形態のデータ検出システムは、解析サーバ１とＤＢサーバ２を備え、両者は、通信ネットワークＮに接続される。

データ検出システムは、多くの場合、多数のユーザに利用されるものであり、各ユーザは、データを表示するデバイス３と、デバイス３の外観撮影、撮影した画像の送信などを行うための通信装置４を使用する。通信装置４は、デバイス３が備えない通信機能を補うべく利用される。

図１は、あるユーザに使用される２つのデバイス３を例示する。一方は、最高血圧、最低血圧および脈拍数を計測表示できるヘルスケアデバイスであり、他方は、歩数を計測表示できる万歩計（登録商標）である。また、図１は、いわゆるスマートフォンと称される通信装置４を例示する。

図２（ａ）に示すように、ヘルスケアデバイスであるデバイス３は、例えば、最高血圧を表示するデータ表示枠Ａ１と、最低血圧を表示するデータ表示枠Ａ２と、脈拍数を表示するデータ表示枠Ａ３とを備える。図２（ｂ）に示すように、万歩計であるデバイス３は、歩数を表示するデータ表示枠Ｂ１を備える。

図３は、解析サーバ１の概略構成を示す機能ブロック図である。

解析サーバ１は、デバイス３の外観の特徴量であるデバイス特徴量を検出するデバイス特徴量検出部１１と、デバイス３の外観を撮影したデバイス外観画像におけるデータ表示枠の画像であるデータ表示枠画像の位置を示すデータ表示枠位置情報を検出するデータ表示枠位置情報検出部１２と、デバイス３に表示されたデータをデータ表示枠画像から検出するデータ検出部１３と、解析サーバ１内の制御、ＤＢサーバ２との通信およびＤＢサーバ２からの情報取得などを担う制御部１４とを備える。

図４は、ＤＢサーバ２の概略構成を示す機能ブロック図である。

デバイス３の外観を撮影したデバイス外観画像毎のレコードを記憶するデバイス外観画像テーブル２１と、同一のデバイス特徴量毎のレコードを記憶するデバイス特徴量テーブル２２と、検出されたデータを含むレコードを記憶するデータテーブル２３と、各テーブルの読み書き、通信装置４や解析サーバ１との通信などを担う制御部２４とを備える。

図５は、デバイス外観画像テーブル２１の各レコードに含まれる情報を示す図である。

デバイス外観画像テーブル２１の各レコードは、該当のデバイス外観画像を一意に示すデバイス外観画像ＩＤ、デバイス外観画像を撮影した撮影日時、デバイス外観画像から検出されたデバイス３の外観の特徴量であるデバイス特徴量、デバイスを使用するユーザによりデバイスのデータ表示枠の画像としてデバイス外観画像内で指定されたデータ表示枠画像の位置を示すデータ表示枠位置情報、デバイス外観画像におけるデータ表示枠位置情報の位置にあるデータ表示枠画像からデータを正しく検出できたか否かを示す成功可否とを含む。

図６は、デバイス特徴量テーブル２２の各レコードに含まれる情報を示す図である。

デバイス特徴量テーブル２２の各レコードは、該当のデバイス特徴量を一意に示すデバイス特徴量ＩＤ、デバイス特徴量、デバイス特徴量に対応するデバイス外観画像から得られた１以上のデータ表示枠位置情報、各データ表示枠位置情報に対応づけられたデータ表示枠ＩＤを含む。データ表示枠ＩＤは、該当のデータ表示枠位置情報に対応するデータ表示枠を示すものである。

図７は、データテーブル２３の各レコードに含まれる情報を示す図である。

データテーブル２３の各レコードは、該当のデバイス外観画像から検出された１以上のデータ、各データに対応ずけられたデータ表示枠ＩＤ、デバイス外観画像を撮影したユーザを一意に示すユーザＩＤ、デバイス外観画像に対応するデバイス特徴量ＩＤ、撮影の日時を含む。

図は、最高血圧を表示するデータ表示枠Ａ１を示すデータ表示枠ＩＤ「ＨＩＧＨ」と、最低血圧を表示するデータ表示枠Ａ２を示すデータ表示枠ＩＤ「ＬＯＷ」と、脈拍数を表示するデータ表示枠Ａ３を示すデータ表示枠ＩＤ「ＰＵＬＳＥ」とを例示している。

図８は、初回のデータ検出の際のシーケンスを示す図である。

ユーザは、例えば、ヘルスケアデバイスであるデバイス３を操作し、これにより、例えばデバイス３は、ユーザの最高血圧、最低血圧および脈拍数を測定し、表示する（Ｓ１）。

ユーザは、デバイス３の外観を、例えばスマートフォンである通信装置４で撮影する（Ｓ３）。

通信装置４は、撮影した画像であるデバイス外観画像を解析サーバ１に送信する（Ｓ５）。

または、万歩計であるデバイス３が歩数を表示し（Ｓ１）、通信装置４は、歩数を表示したデバイス３を撮影し、万歩計のデバイス外観画像を解析サーバ１に送信する（Ｓ５）。

解析サーバ１のデバイス特徴量検出部１１は、デバイス外観画像から当該外観の特徴量であるデバイス特徴量を検出する（Ｓ１１）。

図９に示すように、デバイス特徴量検出部１１は、例えば、デバイス外観画像Ｉにおける特徴点を、Ｘ座標、Ｙ座標、サイズ、ラプラシアン、ベクトル、色などの数値に変換し、この数値をデバイス特徴量とする。

図８に戻り説明を続ける。

解析サーバ１の制御部１４は、デバイス特徴量とデバイス外観画像をＤＢサーバ２に送信する（Ｓ１３）。

ＤＢサーバ２は、デバイス外観画像を図示しないテーブルに保存する。

ユーザは、デバイス外観画像が表示された通信装置４の画面において、例えば、各データ表示枠Ａ１、Ａ２、Ａ３につき、そのデータ表示枠の位置に指などで触れ、位置を指定する（Ｓ２１）。

また、ユーザは、通信装置４に対し、各データ表示枠Ａ１、Ａ２、Ａ３に対応するデータ表示枠ＩＤを入力する（Ｓ２３）。

これにより、通信装置４は、デバイス外観画像から、触れた位置に基づいて、各データ表示枠Ａ１、Ａ２、Ａ３についてデータ表示枠画像を切り出し（Ｓ２５）、データ表示枠画像とデータ表示枠ＩＤの組をＤＢサーバ２に送信する（Ｓ２７）。

なお、データ表示枠画像に対しては、デバイスの特徴点のデータベース（図示せず）から類似の情報を取り出し、これにより、ゆがみ補正を行ってもよい。ゆがみ補正とは、例えば、表示されたデータが斜めになっているようなデータ表示枠画像においてデータを斜めでなくするようにデータ表示枠画像を変換する処理である。

また、データ表示枠画像に対しては、不要な文字を除去する、いわゆるノイズ除去処理を行ってもよい。ゆがみ補正やノイズ除去により、データ検出の精度を高めることができる。

ＤＢサーバ２の制御部２４は、デバイス外観画像テーブル２１に各データ表示枠画像のレコードを生成し、各レコードに、受信したデバイス外観画像に対応するデバイス外観画像ＩＤ、デバイス外観画像の撮影日時、受信したデバイス特徴量を記憶させる（Ｓ３１）。

また、ＤＢサーバ２の制御部２４は、受信した各データ表示枠画像を解析サーバ１に送信する（Ｓ３３）。

解析サーバ１のデータ表示枠位置情報検出部１２は、受信した各データ表示枠画像につき、先に受信したデバイス外観画像から、データ表示枠画像の位置を示すデータ表示枠位置情報を検出する（Ｓ４１）。

また、解析サーバ１のデータ検出部１３は、各データ表示枠画像からデータを検出する（Ｓ４３）。例えば、データ検出部１３は、光学文字認識（optical character recognition）の技術を用い、数字や文字を検出する。

解析サーバ１の制御部１４は、各データ表示枠画像につき、対応するデータ表示枠位置情報とデータの組をＤＢサーバ２に送信する（Ｓ４５）。

ＤＢサーバ２の制御部２４は、各データ表示枠位置情報を、デバイス外観画像テーブル２１の該当レコードに記憶させる（Ｓ５１）。

また、ＤＢサーバ２の制御部２４は、各データを通信装置４に送信する（Ｓ５３）。

通信装置４は、各データを表示する（Ｓ６１）。

ユーザは、各データにつき、正しく検出できたか否か、つまりデータ検出の成功可否を判定する。具体的には、ユーザは、通信装置４に表示されたデータがデバイス３に表示されたデータに一致するか否かを判定する。そして、ユーザは、成功可否を通信装置４に入力する（Ｓ６３）。通信装置４は、各データにつき、成功可否をＤＢサーバ２に送信する（Ｓ６５）。

ＤＢサーバ２の制御部２４は、各成功可否を、デバイス外観画像テーブル２１の該当レコードに記憶させる（Ｓ７１）。

また、ＤＢサーバ２の制御部２４は、成功のデータが１以上あれば、デバイス特徴量テーブル２２に１レコードを生成し、該当のデバイス特徴量に対応するデバイス特徴量ＩＤ、デバイス特徴量、成功したデータに対応するデータ表示枠位置情報、各データ表示枠位置情報に対応づけてデータ表示枠ＩＤを記憶させる（Ｓ７３）。

また、ＤＢサーバ２の制御部２４は、成功のデータが１以上あれば、データテーブル２３に１レコードを生成し、各データ、各データに対応するデータ表示枠ＩＤ、ユーザを一意に示すユーザＩＤ、デバイス外観画像に対応するデバイス特徴量ＩＤ、撮影の日時を記憶させる（Ｓ７５）。ユーザＩＤは、例えば、利用に際してユーザ認証などを行い、その際に取得すればよい。

図１０は、２回目以降のデータ検出の際のシーケンスを示す図である。なお、初回のデータ検出は成功したこととする。

ユーザは、デバイス３を操作し、これにより、例えばデバイス３は、ユーザの最高血圧、最低血圧および脈拍数を測定し、表示する（Ｓ１）。このユーザは、図８で説明で言及ユーザでもよいし、別のユーザでもよい。

ユーザは、例えば、スマートフォンである通信装置４でデバイス３の外観を撮影する（Ｓ３）。

解析サーバ１の制御部１４は、デバイス外観画像をＤＢサーバ２に送信する（Ｓ１５）。

解析サーバ１の制御部２４は、ＤＢサーバ２のデバイス外観画像テーブル２１から、データを正しく検出できたことを示す成功可否と当該デバイス特徴量を含むレコードを検索し、レコードからデータ表示枠位置情報を読み出す（Ｓ１０１）。

解析サーバ１のデータ検出部１３は、デバイス外観画像から、読み出したデータ表示枠位置情報により示される位置の画像であるデータ表示枠画像を切り出し（Ｓ１０３）、データ表示枠画像からデータを検出する（Ｓ１０５）。このデータは、過去においてデータ検出に成功したデータ表示枠画像の位置を示すデータ表示枠位置情報を用いて検出したものなので、正しいデータと言える。

解析サーバ１の制御部１４は、各データ表示枠画像につき、対応するデータ表示枠位置情報とデータの組をＤＢサーバ２に送信する（Ｓ１０７）。

ＤＢサーバ２の制御部２４は、各データ表示枠位置情報につき、デバイス特徴量テーブル２２から、データ表示枠位置情報と該当のデバイス特徴量を含むレコードを検索し、当該レコードから各データ表示枠ＩＤおよびデバイス特徴量ＩＤを読み出す（Ｓ１１１）。

また、ＤＢサーバ２の制御部２４は、データテーブル２３に１レコードを生成し、各データ、読み出した各データ表示枠ＩＤ、ユーザＩＤ、読み出したデバイス特徴量ＩＤ、撮影の日時を記憶させる（Ｓ１１３）。このレコードでは、各データは、対応するデータ表示枠ＩＤに対応づけられる。

また、ＤＢサーバ２の制御部２４は、各データを通信装置４に送信する（Ｓ１１５）。

通信装置４は、各データを表示する（Ｓ１２１）。

ユーザは、各データの検出が成功したことを確認する。具体的には、ユーザは、通信装置４に表示されたデータがデバイス３に表示されたデータに一致することを確認する。

なお、このようなデータ確認は万全を期すために行うものであり、その必要がない場合は、省略してもよい。

以上のように、本実施の形態に係るデータ検出システムによれば、デバイス３の外観を撮影したデバイス外観画像毎に、デバイス外観画像から検出された外観の特徴量であるデバイス特徴量、デバイスを使用するユーザによりデバイスのデータ表示枠の位置としてデバイス外観画像内で指定された位置を示すデータ表示枠位置情報、デバイス外観画像におけるデータ表示枠位置情報の位置にあるデータ表示枠画像からデータを正しく検出できたか否かを示す成功可否を含むレコードを記憶するデバイス外観画像テーブル２１を備えるＤＢサーバ２と、データを表示しているデバイス３のデバイス外観画像からデバイス特徴量を検出するデバイス特徴量検出部１１、デバイス外観画像テーブル２１から、データを正しく検出できたことを示す成功可否とデバイス特徴量を含むレコードを検索し、レコードからデータ表示枠位置情報を読み出す制御部１４、デバイス外観画像におけるデータ表示枠位置情報の位置にあるデータ表示枠画像からデータを検出するデータ検出部１３を備える解析サーバ１とを含むので、検出されるデータの精度を向上させることができる。

また、一旦データ検出に成功すれば、以降は、データ表示枠の位置指定を不要にできる。よって、システムを早期に運用できる。また、データ表示枠の事前登録が不要なので、特に多種類のデバイスを運用する際にメリットが大きい。また、デバイスの種類はデバイス外観画像で区別でき、よって、複数のデバイスでの運用が可能である。

また、ＤＢサーバ２は、同一のデバイス特徴量毎に、デバイス特徴量を示すデバイス特徴量ＩＤ、デバイス特徴量、デバイス特徴量に対応するデバイス外観画像から得られた複数のデータ表示枠位置情報、各データ表示枠位置情報に対応づけられたデータ表示枠ＩＤを含むレコードを記憶するデバイス特徴量テーブル２２を備え、データが検出されたなら、デバイス特徴量テーブル２２から、データに対応するデバイス特徴量およびデータ表示枠位置情報を含むレコードを検索し、レコードから、デバイス特徴量を示すデバイス特徴量ＩＤ、データ表示枠位置情報に対応づけられたデータ表示枠ＩＤを読み出し（Ｓ１１１）、データとデバイス特徴量ＩＤとデータ表示枠ＩＤとを組にして記憶する（Ｓ１１３）ので、同一のデバイスに表示された複数のデータを区別して管理することができる。すなわち、例えば、最高血圧、最低血圧、脈拍数を混同することなく認識できる。

なお、本実施の形態では、通信装置としてスマートフォンを例示したが、これに限らず、通信装置は、例えば、通信機能を有するパーソナルコンピュータなどでもよい。その際、画像は、パーソナルコンピュータに接続したカメラなどで撮影すればよい。その際、データの位置指定は、ディスプレイに表示したデバイス外観画像においてマウスなどで行えばよい。

また、本実施の形態では、データを表示するデバイスとしてヘルスケアデバイスと万歩計を例示したが、これに限らず、データを表示するデバイスとしては、例えば、家電製品、計器など、様々なものが考えられる。

また、本実施の形態では、画像からデータを検出する方法の一例として、光学文字認識を例示したが、データ検出はこれに限らない。例えば、体重計の針の位置から体重を検出するようなデータ検出でもよい。

また、本実施の形態では、解析サーバ１とＤＢサーバ２を分けたが、これらを１つのサーバ内に構成してもよい。

また、本実施の形態では、初回でデータ検出が成功したこととしたが、検出成功は２回目以降でもよい。

１…解析サーバ
２…ＤＢサーバ
３…デバイス
４…通信装置
１１…デバイス特徴量検出部
１２…データ表示枠位置情報検出部
１３…データ検出部
１４、２４…制御部
２１…デバイス外観画像テーブル
２２…デバイス特徴量テーブル
２３…データテーブル

Claims

デバイスの外観を撮影したデバイス外観画像毎に、当該デバイス外観画像から検出された当該外観の特徴量であるデバイス特徴量、当該デバイスを使用するユーザにより当該デバイスのデータ表示枠の位置として当該デバイス外観画像内で指定された位置を示すデータ表示枠位置情報、当該デバイス外観画像における当該データ表示枠位置情報の位置にあるデータ表示枠画像からデータを正しく検出できたか否かを示す成功可否を含むレコードを記憶するデバイス外観画像テーブルを備えるＤＢサーバと、
データを表示しているデバイスのデバイス外観画像からデバイス特徴量を検出するデバイス特徴量検出部、前記デバイス外観画像テーブルから、データを正しく検出できたことを示す成功可否と当該デバイス特徴量を含むレコードを検索し、当該レコードからデータ表示枠位置情報を読み出す制御部、当該デバイス外観画像における当該データ表示枠位置情報の位置にあるデータ表示枠画像からデータを検出するデータ検出部を備える解析サーバと
を含むことを特徴とするデータ検出システム。
前記ＤＢサーバは、
同一のデバイス特徴量毎に、当該デバイス特徴量を示すデバイス特徴量ＩＤ、当該デバイス特徴量、当該デバイス特徴量に対応するデバイス外観画像から得られた複数のデータ表示枠位置情報、当該各データ表示枠位置情報に対応づけられたデータ表示枠ＩＤを含むレコードを記憶するデバイス特徴量テーブルを備え、データが検出されたなら、前記デバイス特徴量テーブルから、当該データに対応するデバイス特徴量およびデータ表示枠位置情報を含むレコードを検索し、当該レコードから、当該デバイス特徴量を示すデバイス特徴量ＩＤ、当該データ表示枠位置情報に対応づけられたデータ表示枠ＩＤを読み出し、当該データと当該デバイス特徴量ＩＤと当該データ表示枠ＩＤとを組にして記憶することを特徴とする請求項１記載のデータ検出システム。