JP2019159534A - 入力システム及び入力プログラム - Google Patents

Abstract

【課題】コンピュータプログラムに情報を入力する手間を削減させること。【解決手段】ユーザからの入力情報を受け付けて、受け付けた当該入力情報に基づいて所定の処理を行うコンピュータプログラムに情報を入力するサーバ装置２であり、入力情報が表示されている表示画像を取得する画像取得部２３１と、画像取得部２３１が取得した表示画像から入力情報を読み取る読取部２３２と、読取部２３２が読み取った入力情報を、ユーザの代わりにコンピュータプログラムに入力する入力部２３３と、を備え、また、読取部２３２にて読み取られ得る対象の情報である対象情報を格納するマスタ情報ＤＢ２２１、を備え、読取部２３２は、マスタ情報ＤＢ２２１が格納している対象情報に基づいて、入力情報を読み取る。【選択図】図１

Description

本発明は、入力システム及び入力プログラムに関する。

従来、スキャナ等の入力部にて紙媒体の処方箋の情報を読み取って管理する端末装置が知られていた（特許文献１参照）。そして、この特許文献１の技術のようにスキャナ等にて紙媒体の情報を読み取る場合、一般的に、紙媒体の情報を画像として取得した上で、光学的文字認識（ＯＣＲ：Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ／Ｒｅａｄｅｒ）の技術を用いて読み取っていた。

特開２０１７−１４２６６５号公報

ところで、昨今、様々な申し込み又は申請（例えば、自動車保険等についての申し込みや申請）等については、インターネット等の通信回線を介して申請者であるユーザの端末より行うことが一般的になってきている。

しかしながら、当該申し込み又は申請を行う場合、端末への情報の入力作業を行うことが必要となるが、この場合、ユーザが対象物（例えば、免許証等）を視認して、対象物に記載されている入力情報を確認した上で、マウスやキーボード等の入力手段を用いて手作業にて入力せざるを得ず、当該入力作業が手間となる可能性があった。

また、特許文献１に記載の技術を応用して、ユーザが、申し込み又は申請を行うために対象物（例えば、免許証等）の画像を撮像して取得し、取得した画像に基づいて情報を入力することも考えらるが、この場合においても、最終的には、ユーザが、画像中の入力情報を視認した上で、マウスやキーボード等の入力手段を用いて当該入力情報を手作業にて入力せざるを得ず、当該入力の作業が手間となる可能性があった。

本発明は上記問題に鑑みてなされたもので、コンピュータプログラムに情報を入力する手間を削減させることを目的とする。

上述した課題を解決し、目的を達成するために、請求項１に記載の入力システムは、ユーザからの入力情報を受け付けて、受け付けた当該入力情報に基づいて所定の処理を行うコンピュータプログラムに情報を入力する入力システムであり、入力情報が表示されている表示画像を取得する画像取得手段と、前記画像取得手段が取得した前記表示画像から前記入力情報を読み取る読取手段と、前記読取手段が読み取った前記入力情報を、前記ユーザの代わりに前記コンピュータプログラムに入力する入力手段と、を備える。

また、請求項２に記載の入力システムは、請求項１に記載の入力システムにおいて、前記読取手段にて読み取られ得る対象の情報である対象情報を格納する格納手段、を備え、前記読取手段は、前記格納手段が格納している前記対象情報に基づいて、前記画像取得手段が取得した前記表示画像から前記入力情報を読み取る。

また、請求項３に記載の入力システムは、請求項２に記載の入力システムにおいて、前記格納手段は、前記表示画像に対応する前記対象情報のグループを複数格納しており、前記読取手段は、前記画像取得手段が取得した前記表示画像に基づいて、前記格納手段が格納している複数の前記グループから１つのグループを選択し、選択したグループにおける前記対象情報に基づいて、前記画像取得手段が取得した前記表示画像から前記入力情報を読み取る。

また、請求項４に記載の入力システムは、請求項１から３の何れか一項に記載の入力システムにおいて、前記入力情報は、色又は文字列であり、前記画像取得手段は、前記入力情報である色又は文字が表示されている前記表示画像を取得する。

また、請求項５に記載の入力プログラムは、ユーザからの入力情報を受け付けて、受け付けた当該入力情報に基づいて所定の処理を行うコンピュータプログラムに情報を入力する入力プログラムであり、コンピュータを、入力情報が表示されている表示画像を取得する画像取得手段と、前記画像取得手段が取得した前記表示画像から前記入力情報を読み取る読取手段と、前記読取手段が読み取った前記入力情報を、前記ユーザの代わりに前記コンピュータプログラムに入力する入力手段と、として機能させる。

請求項１に記載の入力システムによれば、表示画像から入力情報を読み取り、読み取った入力情報を、ユーザの代わりにコンピュータプログラムに入力することにより、例えば、入力情報を従来のようにキーボードやマウスの如き入力装置を用いて手作業で入力する手間を省くことができるので、コンピュータプログラムに情報を入力する手間を削減することが可能となる。

請求項２に記載の入力システムによれば、対象情報に基づいて表示画像から入力情報を読み取ることにより、例えば、対象情報を基準に入力情報を読み取ることができるので、入力情報の読み取り精度を向上させることが可能となる。

請求項３に記載の入力システムによれば、対象情報の複数のグループから１つのグループを選択し、選択したグループにおける対象情報に基づいて入力情報を読み取ることにより、例えば、読み取りに用いる対象情報を絞ることができるので、読み取り情報の読取速度の高速化を図ることが可能となる。

請求項４に記載の入力システムによれば、入力情報が色又は文字列であることにより、例えば、表示画像におけるあらゆる情報を読み取ってコンピュータプログラムに入力することができるので、入力システムの汎用性を向上させることが可能となる。

請求項５に記載の入力プログラムによれば、表示画像から入力情報を読み取り、読み取った入力情報を、ユーザの代わりにコンピュータプログラムに入力することにより、例えば、入力情報を従来のようにキーボードやマウスの如き入力装置を用いて手作業で入力する手間を省くことができるので、コンピュータプログラムに情報を入力する手間を削減することが可能となる。

実施の形態に係る情報システムのブロック図である。 運転免許証を例示した図である。 自動車の走行距離を表示している欄を含む速度計を例示した図である。 読取情報を例示した図である。 取得情報を例示した図である。 読取情報格納処理のフローチャートである。 情報入力処理のフローチャートである。 保険会社のホームページの画面の表示例である。

以下に、本発明に係る入力システム及び入力プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

〔実施の形態の基本的概念〕
まずは、実施の形態の基本的概念について説明する。実施の形態は、概略的に、入力システムに関するものである。

ここで、「入力システム」とは、情報を入力システムであり、具体的には、ユーザからの入力情報を受け付けて、受け付けた当該入力情報に基づいて所定の処理を行うコンピュータプログラムに情報を入力するシステムであり、例えば、情報を入力するための専用システムとして構成されたシステム、又は、汎用のシステム（例えば、サーバ装置、パーソナルコンピュータ等）に情報を入力する機能を実装することにより構成されたシステム等を含む概念である。この「入力システム」は、例えば、画像取得手段、読取手段、及び入力手段を備え、任意で格納手段を備えているものである。

なお、「コンピュータプログラム」とは、ユーザからの入力情報を受け付けて、受け付けた当該入力情報に基づいて所定の処理を行うプログラムであり、具体的には、インターネットの如き通信回線に接続されて動作している１つ又は複数の装置で実行されるプログラム、あるいは、スタンドアロンで動作している装置で実行される１つの装置で実行されるプログラムであり、例えば、民間機関（例えば、保険会社、運輸・運送会社、飲食会社等）、あるいは国の機関（例えば、省庁に関連する機関等）の任意の運営者が運営するプログラムであり、一例としては、自動車保険の申し込みを行うプログラム、税金に関する申請を行うプログラム（確定申告を行うためのプログラム）等を含む概念である。

「所定の処理」とは、コンピュータプログラムによって行われる処理であり、具体的には、ユーザからの入力情報を受け付けて、受け付けた当該入力情報に基づいて行われる処理であり、例えば、申し込み又は申請を行う処理、及び情報を伝達する処理等を含む概念である。また、「入力情報」とは、ユーザから入力される情報であり、具体的には、所定の処理毎に、あるいは、コンピュータプログラム毎に入力することが定められている情報であり、例えば、前述の任意の運営者が運営するプログラムのユーザインターフェース（一例としては、ブラウザを介してアクセス可能なホームページの画面等）を介して入力可能な情報等を含む概念であり、一例としては、色、及び文字列等を含む概念である。

なお、「色」とは、色相、明度、又は彩度によって定義可能な概念であり、例えば、金色（ゴールド）、黄緑色、及び青色等を含む概念である。また、「文字列」とは、１つのみの文字、又は、２つ以上の文字であり、例えば、文字を羅列したものであり、一例として、平仮名、片仮名、漢字等の日本語の文字、外国語の文字、記号、又は数値等を羅列したもの、あるいは、これらを任意に組み合わせて羅列したもの等を含む概念である。

「画像取得手段」とは、入力情報が表示されている表示画像を取得する手段である。「表示画像」とは、入力情報が表示されている画像であり、具体的には、撮像装置を用いて得られる画像、あるいは、撮像装置を用いずに得られる画像等を含む概念であり、例えば、入力情報を撮像して得られた画像（一例としては、運転免許証の画像、自動車の速度計（走行距離を表示している欄を含む）の画像、自動車のナンバープレートの画像、保険証券の画像、自動車車検証の画像、その他の任意の画像（診療明細書、調剤明細書、処方箋、検査結果報告書、カルテ、薬袋、診察券、レシート、領収書、価格表、看板、又は書籍等の画像）を含む任意の画像）、あるいは、画像生成アプリケーションを用いて生成された入力情報が表示された画像等を含む概念である。

「読取手段」とは、画像取得手段が取得した表示画像から入力情報を読み取る手段であり、例えば、格納手段が格納している対象情報に基づいて、画像取得手段が取得した表示画像から入力情報を読み取ったり、あるいは、画像取得手段が取得した表示画像に基づいて、格納手段が格納している複数のグループから１つのグループを選択し、選択したグループにおける対象情報に基づいて、画像取得手段が取得した表示画像から入力情報を読み取ったりする手段である。

なお、「表示画像から入力情報を読み取る」とは、例えば、表示画像に表示されている入力情報を読み取って（あるいは、画像認識して）、読み取った入力情報をコンピュータにて利用可能なデータ（例えば、デジタルの文字コード等による任意のデータ）に変換することに対応する概念である。

「入力手段」とは、読取手段が読み取った入力情報を、ユーザの代わりにコンピュータプログラムに入力する手段である。

「格納手段」とは、読取手段にて読み取られ得る対象の情報である対象情報を格納する手段であり、具体的には、対象情報をグループ単位で格納したり、あるいは、グループに関係無く単に格納したりする手段であり、例えば、表示画像に対応する対象情報のグループを複数格納する手段等を含む概念である。「対象情報」とは、読取手段にて読み取られ得る対象の情報であり、具体的には、読み取られる候補の情報であり、例えば、予め登録された色又は文字列等を含む概念である。

そして、この入力システムの概念については、前述のコンピュータプログラムに関して適用することができるが、例えば、既存の既に運営されているコンピュータプログラムの運営者側が適用してもよいし、あるいは、当該コンピュータプログラムの運営者側以外の任意の者が適用してもよい。

以下に示す実施の形態では、「コンピュータプログラム」が、既存の自動車保険の申し込みを行うための保険会社側のプログラムであり、「所定の処理」が申し込み又は申請を行う処理であり、「入力システム」が、サーバ装置にて実現されている場合について説明する。

［実施の形態の具体的内容］
次に、実施の形態の具体的内容について説明する。

（構成）
まず、本実施の形態に係る情報システムの構成について説明する。図１は、本実施の形態に係る情報システムのブロック図であり、また、図２は、運転免許証を例示した図であり、また、図３は、自動車の走行距離を表示している欄を含む速度計を例示した図である。なお、図１の情報システム９００に含まれる端末装置の個数は任意であるが、ここでは、例えば、説明の便宜上、端末装置１を図示して説明する。また、情報システム９００は、実際には、図２及び図３の画像以外にも例えば保険証券又は自動車のナンバープレートの画像も読み取って処理することになるが、これらの画像についての処理は、図２及び図３の画像の処理と同様であるので、適宜概要のみ説明する。また、図２の「平成３０年６月３０日まで有効」の背景色については、運転免許証の所持者の運転に関する評価に応じた色（例えば、優良ドライバーに対する金色や、一般ドライバーに対する青色等）が付されるが、ここでは、背景色として金色が付されているものとする。

（構成−情報システム）
図１の情報システム９００は、入力システムを含むシステムであり、例えば、不図示の通信ネットワークを介して相互に通信可能となっている端末装置１、及びサーバ装置２を備える。

（構成−情報システム−端末装置）
端末装置１は、情報システム９００のユーザによって利用されるユーザ端末である。この端末装置１の具体的な内容及び構成は任意であるが、例えば、公知のスマートフォン、又は、タブレット端末等を用いることができ、一例としては、通信部１１、タッチパッド１２、ディスプレイ１３、撮像部１４、記録部１５、及び制御部１６を備える。

（構成−情報システム−端末装置−通信部）
通信部１１は、ネットワークを介して外部装置（例えば、サーバ装置２等）との間で通信するための通信手段である。この通信部１１の具体的な種類や構成は任意であるが、例えば、公知の通信回路等を用いて構成することができる。

（構成−情報システム−端末装置−タッチパッド）
タッチパッド１２は、ユーザの指等で押圧されることにより、当該ユーザから各種操作入力を受け付ける操作手段である。このタッチパッド１２の具体的な構成は任意であるが、例えば、抵抗膜方式や静電容量方式等による操作位置検出手段を備えた公知のものを用いることができる。

（構成−情報システム−端末装置−ディスプレイ）
ディスプレイ１３は、制御部１６の制御に基づいて各種の画像を表示する表示手段である。このディスプレイ１３の具体的な構成は任意であるが、例えば、公知の液晶ディスプレイや有機ＥＬディスプレイの如きフラットパネルディスプレイ等を用いることができる。なお、上記のタッチパッド１２とディスプレイ１３と相互に重畳させてタッチパネルとして一体形成しても構わない。

（構成−情報システム−端末装置−撮像部）
撮像部１４は、画像を撮像する撮像手段である。この撮像部１４の具体的な種類や構成は任意であるが、例えば、公知のイメージセンサ等を備えるカメラを用いて構成することができる。

（構成−情報システム−端末装置−記録部）
記録部１５は、端末装置１の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記録装置としてのフラッシュメモリ（図示省略）を用いて構成されている。ただし、フラッシュメモリに代えてあるいはフラッシュメモリと共に、波戸ディスク、磁気ディスクの如き磁気的記録媒体、又はＤＶＤやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる（他の装置の記録部も同様とする）。

また、この記録部１５には、例えば、端末装置１を一意に識別するための情報である端末識別情報（以下、識別情報を「ＩＤ」と称する）として「ＩＤ１」が記録されている。

（構成−情報システム−端末装置−制御部）
制御部１６は、端末装置１を制御する制御手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである（他の装置の制御部も同様とする）。特に、実施の形態に係るプログラムは、任意の記録媒体又はネットワークを介して端末装置１にインストールされることで、制御部１６の各部を実質的に構成する（他の装置の制御部も同様とする）。なお、この制御部１６の各部により行われる処理については、後述する。

（構成−情報システム−サーバ装置）
サーバ装置２は、入力システムであり、例えば、通信部２１、記録部２２、及び制御部２３を備える。

（構成−情報システム−サーバ装置−通信部）
通信部２１は、ネットワークを介して外部装置（例えば、端末装置１、あるいは、インターネットに接続されている任意の装置等）との間で通信するための通信手段である。この通信部２１の具体的な種類や構成は任意であるが、例えば、端末装置１の通信部１１と同様にして構成することができる。

（構成−情報システム−サーバ装置−記録部）
記録部２２は、サーバ装置２の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、マスタ情報データベース（以下、「データベース」を「ＤＢ」と称する）２２１、読取情報ＤＢ２２２、及び取得情報ＤＢ２２３を備える。

マスタ情報ＤＢ２２１は、マスタ情報を格納するマスタ情報格納手段であり、特に、対象情報を格納する格納手段である。「マスタ情報」とは、サーバ装置２にて読み取られ得る情報であり、例えば、第１マスタ情報群、及び第２マスタ情報群を含んでいる情報である。

なお、「第１マスタ情報群」は、入力情報が表示されている表示画像に対応する対象情報のグループ（集合）であり、例えば、図２の運転免許証の画像において入力情報として読み取られ得る情報である対象情報のグループである。そして、「第１マスタ情報群」として格納される対象情報は任意であるが、例えば、免許証のフォーマットとして使用されている文字列（例えば、図２の「氏名」、「本籍」、「住所」、「交付」、「運転免許証」等）、及び運転免許証に記載される候補の情報（例えば、図２の住所の欄の候補である「東京都港区」、「千葉県千葉市」、及び「埼玉県さいたま市」等、図２の右上の生年月日の欄又は交付の欄の年号の候補である「昭和」、「大正」、及び「平成」等）等が記録されている。また、この第１マスタ情報群の具体的な記録手法は任意であるが、例えば、所定の記録媒体（例えば、メモリスティック等）又は入力装置（例えば、キーボード又はマウス等）等を介して管理者が入力することにより格納されることとする（第２マスタ情報群も同様とする）。

また、「第２マスタ情報群」は、入力情報が表示されている表示画像に対応する対象情報のグループ（集合）であって、第１マスタ情報群に対応する表示画像とはことなる表示画像に対応するグループであり、例えば、不図示の保険証券の画像において入力情報として読み取られ得る情報である対象情報のグループである。そして、「第２マスタ情報群」として格納される対象情報は任意であるが、例えば、保険証券のフォーマットとして資料されている文字列（例えば、不図示であるが「氏名」、「住所」、「ノンフリート等級」、「契約締結日」、「保険期間」、「主な運転者」、「自己有計数適用期間」等）、及び保険証券に記載される候補の情報（例えば、不図示であるが保険証券を発行している保険会社名である「ＡＡＡ」、住所の欄の候補である「東京都港区」、「千葉県千葉市」、「埼玉県さいたま市」、ノンフリート等級の欄の候補である「６Ｅ等級」、「５等級」、及び「４等級」等、契約締結日及び保険期間の欄の年号の候補である「昭和」、「大正」、及び「平成」等）等が記録されている。なお、「保険証券に記載される候補の情報」については、各保険会社にてオプション契約が設けられており保険証券に記載されることになるが、このオプション契約を特定する情報も格納してもよく、具体的には、「弁護士費用特約」や「対物超過修理費特約」等も格納してもよい。

読取情報ＤＢ２２２は、読取情報を格納する読取情報格納手段である。「読取情報」とは、画像から読み取った情報等を特定する情報であり、具体的には、入力情報を特定する情報である。図４は、読取情報を例示した図である。図４に示すように、読取情報は、項目「端末ＩＤ」、項目「第１読取情報」、項目「第２読取情報」、及び項目「第３読取情報」と、各項目に対応する情報とを、相互に関連付けて構成されている。ここで、項目「端末ＩＤ」に対応する情報は、端末ＩＤである（図４では、端末装置１を識別する「ＩＤ１」、及び不図示の端末装置を識別する「ＩＤ２」等）。

また、項目「第１読取情報」は、運転免許証の画像から入力情報として読み取った読取情報であり、例えば、項目「氏名情報」、項目「住所情報」、項目「生年月日情報」、及び項目「色情報」等を含んでいる。項目「氏名情報」に対応する情報は、氏名を特定する氏名情報である（図４では、「ＡＡ ＡＡ」等）。項目「住所情報」に対応する情報は、住所を特定する住所情報である（図４では、「東京都港区…」等）。項目「生年月日情報」に対応する情報は、生年月日を特定する生年月日情報である（図４では、「昭和５０年５月３０日」等）。項目「色情報」に対応する情報は、色を特定する色情報である（図４では、金色を特定する「ゴールド」等）。

また、項目「第２読取情報」は、自動車の走行距離を表示している欄を含む速度計の画像から入力情報として読み取った読取情報である（図４では、１２０００ｋｍを特定する「１２０００」等）。また、項目「第３読取情報」は、保険証券の画像から入力情報として読み取った読取情報であり、例えば、項目「会社名情報」、及び項目「等級情報」等を含んでいる。項目「会社名情報」に対応する情報は、保険証券を発行している保険会社を特定する会社名情報である（図４では、「ＡＡ保険」等）。項目「等級情報」に対応する情報は、ノンフリート等級を特定する等級情報である（図４では、「６Ｅ」等）。そして、このような読取情報の具体的な記録手法は任意であるが、例えば、後述する読取情報格納処理にて格納されることとする。

取得情報ＤＢ２２３は、取得情報を格納する取得情報格納手段である。「取得情報」とは、画像からの読み取りを行わずに取得した情報であり、具体的には、入力情報を特定する情報である。図５は、取得情報を例示した図である。図５に示すように、取得情報は、項目「端末ＩＤ」、及び「受信取得情報」と、各項目に対応する情報とを、相互に関連付けて構成されている。なお、項目「端末ＩＤ」に対応する情報は、図４の同一名称の情報と同様である。項目「ユーザ取得情報」に対応する情報は、端末装置１のユーザ側から入力情報として取得した取得情報である（図５では、保険を申請する場合に必要となる任意の情報であって、例えば、保険証券に記載されていない情報であり、自動車の使用目的が日常又はレジャー用であることを特定する「使用目的：日常・レジャー」等）。

そして、このような取得情報の具体的な記録手法は任意であるが、例えば、図１の端末装置１のユーザが、タッチパッド１２を介してユーザ取得情報に対応する情報を入力し、端末装置１の制御部１６が、この入力された情報を自己の端末ＩＤと共に通信部１１を介してサーバ装置２に送信し、サーバ装置２の制御部２３が、この送信された情報及び端末ＩＤを、通信部２１を介して受信することにより格納されることとする。なお、このような通信を行わずに、端末装置１のユーザがサーバ装置２側に、郵送又は電話等で格納するべき情報を連絡し、この連絡された情報をサーバ装置２側の管理者がサーバ装置２の不図示の入力装置を介して入力することにより、格納されることとしてもよい。

（構成−情報システム−サーバ装置−制御部）
制御部２３は、サーバ装置２を制御する制御手段であり、例えば、機能概念的に、画像取得部２３１、読取部２３２、及び入力部２３３を備える。画像取得部２３１は、入力情報が表示されている表示画像を取得する画像取得手段である。読取部２３２は、画像取得部２３１が取得した表示画像から入力情報を読み取る読取手段である。入力部２３３は、読取部２３２が読み取った入力情報を、ユーザの代わりにコンピュータプログラムに入力する入力手段である。読取手段が読み取った前記入力情報を、前記ユーザの代わりに前記コンピュータプログラムに入力する入力手段である。なお、この制御部２３の各部により行われる処理については、後述する。

（処理）
次に、このように構成される情報システム９００によって実行される読取情報格納処理、及び情報入力処理について説明する。

（処理−読取情報格納処理）
図６は、読取情報格納処理のフローチャートである（以下の各処理の説明ではステップを「Ｓ」と略記する）。「読取情報格納処理」とは、概略的には、サーバ装置２によって実行される処理であり、具体的には、図４の読取情報を格納する処理である。この読取情報格納処理を実行するタイミングは任意であるが、例えば、情報システム９００のユーザが、自己の端末装置の撮像部にて入力情報を撮影し、当該端末装置の制御部が、この撮影された画像を自己の端末ＩＤと共に自己の通信部を介してサーバ装置２に送信し、サーバ装置２の制御部２３が、この送信された画像及び端末ＩＤを、通信部２１を介して受信した場合に、起動して実行を開始することとし、実行が開始された後から説明する。

ここでは、例えば、端末装置１のユーザが、図２の運転免許証の画像を撮影して「ＩＤ１」と共に送信することにより、サーバ装置２が、当該画像及び「ＩＤ１」を受信する場合の処理を主に例示して説明し、また、図３の速度計の画像及び不図示の保険証券の画像に関する処理についても、適宜例示して説明する。

まず、図６のＳＡ１において画像取得部２３１は、情報を取得する。具体的には任意であるが、例えば、読取情報格納処理の起動時に受信した画像を表示画像として取得し、また、当該処理の起動時に受信した端末ＩＤを取得する。ここでは、例えば、「ＩＤ１」及び図２の運転免許証の画像を取得する。

図６のＳＡ２において読取部２３２は、ＳＡ１で取得した画像から入力情報を含む情報を読み取る。具体的には任意であるが、例えば、「定型記載情報」、「非定型記載情報」、及び「色情報」が含まれている可能性あることに着目して、これらの各情報に分けて読み取る。

なお、「定型記載情報」とは、予め定められた文字列の候補の中の少なくとも１つに対応する文字列によって示される情報であり、具体的には、予め定められている文字列によって示される情報であり、例えば、マスタ情報との相関により読み取ることが可能な情報であり、一例としては、図２の免許証のフォーマットとして使用されている文字列（「氏名」、「本籍」等）、及び図２の転免許証に記載される候補の情報（「東京都港区」、「昭和」等）等を含む概念である。また、「非定型記載情報」とは、文字列の候補が予め定められているわけではない文字列であり、例えば、読み取るためにマスタ情報を用いない情報であり、一例としては、図２の氏名である「ＡＡ ＡＡ」又は各数値の情報等である。また、「色情報」とは、色の情報であり、例えば、読み取るためにマスタ情報を用いない情報であり、一例としては、図２の運転免許証の「平成３０年６月３０日まで有効」と記載されている欄の背景色である金色等である。

まず、ＳＡ１で取得した画像にて、任意の手法（例えば、画像に写りこむ対象（運転免許証等）のフォーマットが定まっていることに着目して、位置から特定する手法等）で、「定型記載情報」に対応する部分、「非定型記載情報」に対応する部分、及び「色情報」に対応する部分分けた後に、各部分について以下の処理を行う。

「定型記載情報」に対応する部分の画像については、文字列の候補が予め定められているので、図１のマスタ情報ＤＢ２２１のマスタ情報を利用するが、利用するマスタ情報を選択する。具体的には、ＳＡ１で取得した画像のフォーマットからＳＡ１で取得した画像の種類を特定し、特定した種類に対応するマスタ情報群を選択する。次に、任意の手法（例えば、光学的文字認識（ＯＣＲ）等の画像認識技術等を用いて画像認識して文字列に変換する手法等）にて、ＳＡ１で取得した画像を文字列に変換し、変換した文字列と前述の選択したマスタ情報群の文字列との一致の度合いを示す相関度を、選択したマスタ情報群の各文字列について演算した上で、演算した相関度を当該マスタ情報群の各文字列に対応付けてリスト化してリストを生成する。次に、記録部２２に予め閾値となる相関度である閾値相関度（例えば、９０％等）が記録されていることとし、リスト化した相関度のうちの閾値相関度を越えるものを特定し、特定した相関度のうちの最大のものを取得する。次に、取得した最大の相関度に対応付けられているマスタ情報群の文字列を前述のリストから特定し、特定した文字列を「定型記載情報」に対応する部分の文字列として読み取る。このような処理を、「定型記載情報」に対応する部分の全てについて行う。なお、前述のリスト化した相関度のうちの閾値相関度を越えるものが存在せずに特定できなかった場合の処理は任意であるが、例えば、情報を正確に読み取って記録する観点から、読み取りエラーを端末装置１に送信することにより、当該端末装置１のディスプレイ１３にてエラーメッセージを表示させて、処理を終了することとする。

ここでは、例えば、図２の「氏名」について読み取る例を主に説明する。まず、ＳＡ１で取得した図２の運転免許証の画像のフォーマットからＳＡ１で取得した画像の種類として「運転免許証」を特定し、特定した「運転免許証」に対応するマスタ情報群である第１マスタ情報群を選択する。次に、任意の手法にて図２の運転免許証の画像における「氏名」と記載されている部分を文字列に変換し、変換した文字列と前述の選択した第１マスタ情報群の文字列である「氏名」、「本籍」、「住所」、「交付」、「運転免許証」、「東京都港区」、「千葉県千葉市」、「埼玉県さいたま市」、「昭和」、「大正」、及び「平成」等」との一致の度合いを示す相関度を、当該選択した第１マスタ情報群の各文字列について演算した上で、演算した相関度として、例えば、「氏名」に対して「９９％」、「本籍」に対して「２０％」、「交付」に対して「３０％」等と演算した上でリスト化してリストを生成する。次に、リスト化した相関度のうちの閾値相関度である「９０％」を越えるものとして「９９％」を特定し、また、特定した相関度のうちの最大のものとして「９９％」を取得する。次に、取得した最大の相関度に対応付けられている文字列として「氏名」を特定し、特定した「氏名」の文字列を、図２の運転免許証の画像における「氏名」と記載されている部分の文字列として読み取る。

このような処理を、「定型記載情報」に対応する部分（つまり、図２の「本籍」、「住所」等）の全てについて行う。また、読取情報格納処理の起動時に保険証券の画像を受信して、ＳＡ１で取得した画像が不図示の保険証券の画像である場合、第２マスタ情報群を選択した上で、同様な処理を行って読み取る。

また、「非定型記載情報」に対応する部分の画像については、文字列の候補が予め定められているわけではないので、図１のマスタ情報ＤＢ２２１のマスタ情報を利用せずに、従来と同様にして任意の手法にて画像を文字列に変換し、変換した文字列を「非定型記載情報」に対応する部分の文字列として読み取る。ここでは、例えば、図２の「ＡＡ ＡＡ」等を読み取る。このような処理を、「非定型記載情報」に対応する部分の画像全てについて行う。

また、「色情報」に対応する部分の画像についても、文字列の候補が予め定められているわけではないので、図１のマスタ情報ＤＢ２２１のマスタ情報を利用せずに、従来と同様にして任意の手法にて画像の色を認識して、認識した色を特定する文字列を生成することにより、画像の色を、当該色を特定する文字列に変換し、変換した文字列を「色情報」に対応する部分の色を特定する文字列として読み取る。ここでは、例えば、図２の「平成３０年６月３０日まで有効」の背景色である金色を認識して、当該金色を特定する「ゴールド」を読み取る。

そして、ここでは、例えば、読取情報格納処理の起動時に運転免許証の画像を受信した場合には、図２に図示されている文字列及び「ゴールド」を読み取り、また、当該処理の起動時に速度計の画像を受信した場合には、図３の「非定型記載情報」に対応する画像の文字列として「１２０００」を読み取り、また、当該処理に保険証券の画像を受信した場合には、保険会社名、及びノンフリート等級の欄の情報等を読み取る。

図６のＳＡ３において読取部２３２は、情報を格納する。具体的には任意であるが、まず、読取情報格納処理の起動時に受信した端末ＩＤ及びＳＡ２の読取結果を取得し、取得結果に基づいて、図４の読取情報を入力情報として格納する。ここでは、例えば、「ＩＤ１」を取得して図４の「ＩＤ１」を格納し、また、図２の氏名の欄の読み取り結果である「ＡＡ ＡＡ」、住所の欄の読み取り結果である「東京都港区・・・」、右上の生年月日の欄の読み取り結果である「昭和５０年５月３０日」、及び背景色の読み取り結果である「ゴールド」を取得し、取得したこれらの情報を図４の「氏名情報」、「住所情報」「生年月日情報」、及び「色情報」として格納する。また、読取情報格納処理の起動時に図２の速度計の画像を受信した場合には、図４の「１２０００」を格納し、また、当該処理の起動時に保険証券の画像を受信した場合いは、図４の「ＡＡ保険」、「６Ｅ」等を格納する。これにて、読取情報格納処理を終了する。

（処理−情報入力処理）
図７は、情報入力処理のフローチャートであり、図８は、保険会社のホームページの画面の表示例である。「情報入力処理」とは、概略的には、サーバ装置２によって実行される処理であり、具体的には、入力情報（例えば、図４の読取情報又は図５の取得情報）を、ユーザの代わりに所定のホームページ（例えば、予め定められた保険会社のホームページ）を介して、自動車保険の申し込みを行うプログラム（つまり、ユーザからの入力情報を受け付けて保険の申し込み処理を行う保険会社側のプログラム）に入力する処理である。この情報入力処理を実行するタイミングは任意であるが、例えば、ユーザからの依頼に基づくトリガを受けた場合に、起動して実行を開始することとし、実行が開始された後から説明する。例えば、「ＩＤ１」の端末装置１を所持しているユーザからの依頼に基づくトリガ（「ＩＤ１」を含む信号）を受けた場合について説明する。

図７のＳＢ１において入力部２３３は、情報を取得する。具体的には任意であるが、例えば、図４の読取情報及び図５の取得情報を参照して、情報入力処理の起動時に受けたトリガの端末ＩＤに対応する第１〜第３読取情報、及び当該端末ＩＤに対応するユーザ取得情報を取得する。ここでは、例えば、図４及び図５の最上段の情報を取得する。

図７のＳＢ２において入力部２３３は、情報を入力する。具体的には任意であるが、まず、前述の所定のホームページにアクセスして、アクセスしたホームページの入力欄に、ＳＢ１で取得した情報を入力情報としてユーザの代わりに入力することにより、自動車保険の申し込みを行うプログラムに、入力情報をユーザの代わりに入力する。詳細な処理も任意であるが、例えば、当該ホームページについて事前解析（例えば、ソースコードをチェックして各入力欄に対応する記述又は操作ボタン（ユーザからの入力情報を受け付けて保険の申し込み処理を行う保険会社側のプログラムを操作するボタン等）に対応する記述等の事前解析等）を行うことにより、当該ホームページの入力欄に入力するべき情報を特定した上で、各入力欄と図４の読取情報の各項目及び図５の取得情報との対応関係等を把握し、この把握した事項等に基づいて所定のアルゴリズム（図４の読取情報又は図５の取得情報をホームページの対応する入力欄に入力して当該ホームページにて保険契約の申請を自動的に行うアルゴリズム等）を事前に生成し、この事前に生成したアルゴリズムに基づいて入力することとする。

ここでは、例えば、保険会社のホームページにアクセスして、図８の画面の情報の入力欄に、図４又は図５の各情報を取得してユーザの代わりに入力するが、例えば、まず、図８の「１．」の入力欄である「氏名」及び「住所」の欄に図４の「ＡＡ ＡＡ」及び「東京都港区…」を入力し、また、「生年月日」におえる「年」、「月」、及び「日」の入力欄に図４の「昭和５０年５月３０日」における「昭和５０」、「５」、及び「３０」を入力する。また、図８の「２．」の入力欄に図４の「ゴールド」を入力する。また、図８の「３．」のラジオボタンについては、図４の第３読取情報が格納されている場合に、図８の「加入している」のラジオボタンを選択する情報を入力情報として入力し、また、当該第読取情報が格納されていない場合には「加入していない」のラジオボタンを選択する情報を入力情報として入力するが、ここでは、「加入している」のラジオボタンを選択する情報を入力する。また、図８の「４．」については、図５のユーザ取得情報に対応するラジオボタンを選択する情報を入力するが、ここでは、「日常・レジャー」のラジオボタンを選択する情報を入力する。また、図８の「５．」〜「７．」の入力欄に図４の「１２０００」、「ＡＡ保険」、及び「６Ｅ」を入力する。

そして、処理は任意であるが、例えば、保険会社のホームページに入力するべき情報の過不足があるか否かを判定し、過不足が無い場合には、前述の解析結果に基づいて保険会社側のプログラムを実行して自動的に申請を行い、また、過不足がある場合には、過不足がある旨を端末装置１側のユーザに通知して、過不足の情報を是正する情報を端末装置１側から受けて、是正された場合に、自動的に申請を行ってもよい。これにて、情報入力処理を終了する。

（実施の形態の効果）
このように本実施の形態によれば、表示画像（例えば、図２の運転の画像）から入力情報を読み取り、読み取った入力情報を、ユーザの代わりにコンピュータプログラムに入力することにより、例えば、入力情報を従来のようにキーボードやマウスの如き入力装置を用いて手作業で入力する手間を省くことができるので、コンピュータプログラムに情報を入力する手間を削減することが可能となる。

また、対象情報に基づいて表示画像から入力情報を読み取ることにより、例えば、対象情報を基準に入力情報を読み取ることができるので、入力情報の読み取り精度を向上させることが可能となる。

また、対象情報の複数のグループから１つのグループを選択し、選択したグループにおける対象情報に基づいて入力情報を読み取ることにより、例えば、読み取りに用いる対象情報を絞ることができるので、読み取り情報の読取速度の高速化を図ることが可能となる。

また、入力情報が色又は文字列であることにより、例えば、表示画像におけるあらゆる情報を読み取ってコンピュータプログラムに入力することができるので、入力システムの汎用性を向上させることが可能となる。

〔実施の形態に対する変形例〕
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。

（解決しようとする課題や発明の効果について）
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の詳細に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏したりすることがある。

（分散や統合について）
また、上述した構成は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、任意の単位で機能的または物理的に分散又は統合して構成できる。本出願における「システム」とは、複数の装置によって構成されたものに限定されず、単一の装置によって構成されたものを含む。また、本出願における「装置」とは、単一の装置によって構成されたものに限定されず、複数の装置によって構成されたものを含む。特に、サーバ装置２の各種機能を端末装置１に設けて、端末装置１側で直接的にホームページにアクセスして入力情報を入力してもよい。

（マスタ情報について）
また、上記実施の形態では、マスタ情報ＤＢ２２１のマスタ情報を複数のマスタ情報群に分ける場合について説明したが、これに限らず、１つのマスタ情報群にした上で、画像を読み取る場合に行われたマスタ情報群を選択する処理を省略してもよい。

（情報の読取について）
また、上記実施の形態では、「定型記載情報」、及び「非定型記載情報」に分けて情報を読み取る場合について説明したがこれに限らず、「定型記載情報」についても「非定型記載情報」と同様な手法（つまり、従来と同様な任意の手法）にて読み取ってもよい。

（取得情報について）
また、上記実施の形態の図５の取得情報に関する処理については、画像から取得する入力情報にて十分である場合には、省略してもよい。

（適用について）
また、上記実施の形態では、「入力システム」の技術を自動車保険の申し込み（申請）に対して適用する場合について説明したが、これに限らず、任意に適用してよく、例えば、旅行の申し込みや確定申告を行う場合に適用してもよい。

（端末ＩＤについて）
また、上記実施の形態では、図４の端末ＩＤに基づいて処理する場合について説明したが、端末ＩＤと共に、あるいは、端末ＩＤの代わりに任意の情報（例えば、アカウント名、ユーザＩＤ、Ｅメールアドレス、あるいは、ユーザの氏名等）を用いて処理するように構成してもよい。

（特徴について）
また、上記実施の形態の特徴及び変形例の特徴を任意に組み合わせてもよい。

（付記）
付記１の入力システムは、ユーザからの入力情報を受け付けて、受け付けた当該入力情報に基づいて所定の処理を行うコンピュータプログラムに情報を入力する入力システムであり、入力情報が表示されている表示画像を取得する画像取得手段と、前記画像取得手段が取得した前記表示画像から前記入力情報を読み取る読取手段と、前記読取手段が読み取った前記入力情報を、前記ユーザの代わりに前記コンピュータプログラムに入力する入力手段と、を備える。

付記２の入力システムは、付記１に記載の入力システムにおいて、前記読取手段にて読み取られ得る対象の情報である対象情報を格納する格納手段、を備え、前記読取手段は、前記格納手段が格納している前記対象情報に基づいて、前記画像取得手段が取得した前記表示画像から前記入力情報を読み取る。

付記３の入力システムは、付記２に記載の入力システムにおいて、前記格納手段は、前記表示画像に対応する前記対象情報のグループを複数格納しており、前記読取手段は、前記画像取得手段が取得した前記表示画像に基づいて、前記格納手段が格納している複数の前記グループから１つのグループを選択し、選択したグループにおける前記対象情報に基づいて、前記画像取得手段が取得した前記表示画像から前記入力情報を読み取る。

付記４の入力システムは、付記１から３の何れか一項に記載の入力システムにおいて、前記入力情報は、色又は文字列であり、前記画像取得手段は、前記入力情報である色又は文字が表示されている前記表示画像を取得する。

付記５の入力プログラムは、ユーザからの入力情報を受け付けて、受け付けた当該入力情報に基づいて所定の処理を行うコンピュータプログラムに情報を入力する入力プログラムであり、コンピュータを、入力情報が表示されている表示画像を取得する画像取得手段と、前記画像取得手段が取得した前記表示画像から前記入力情報を読み取る読取手段と、前記読取手段が読み取った前記入力情報を、前記ユーザの代わりに前記コンピュータプログラムに入力する入力手段と、として機能させる。

（付記の効果）
付記１に記載の入力システムによれば、表示画像から入力情報を読み取り、読み取った入力情報を、ユーザの代わりにコンピュータプログラムに入力することにより、例えば、入力情報を従来のようにキーボードやマウスの如き入力装置を用いて手作業で入力する手間を省くことができるので、コンピュータプログラムに情報を入力する手間を削減することが可能となる。

付記２に記載の入力システムによれば、対象情報に基づいて表示画像から入力情報を読み取ることにより、例えば、対象情報を基準に入力情報を読み取ることができるので、入力情報の読み取り精度を向上させることが可能となる。

付記３に記載の入力システムによれば、対象情報の複数のグループから１つのグループを選択し、選択したグループにおける対象情報に基づいて入力情報を読み取ることにより、例えば、読み取りに用いる対象情報を絞ることができるので、読み取り情報の読取速度の高速化を図ることが可能となる。

付記４に記載の入力システムによれば、入力情報が色又は文字列であることにより、例えば、表示画像におけるあらゆる情報を読み取ってコンピュータプログラムに入力することができるので、入力システムの汎用性を向上させることが可能となる。

付記５に記載の入力プログラムによれば、表示画像から入力情報を読み取り、読み取った入力情報を、ユーザの代わりにコンピュータプログラムに入力することにより、例えば、入力情報を従来のようにキーボードやマウスの如き入力装置を用いて手作業で入力する手間を省くことができるので、コンピュータプログラムに情報を入力する手間を削減することが可能となる。

１ 端末装置
２ サーバ装置
１１ 通信部
１２ タッチパッド
１３ ディスプレイ
１４ 撮像部
１５ 記録部
１６ 制御部
２１ 通信部
２２ 記録部
２３ 制御部
２２１ マスタ情報ＤＢ
２２２ 読取情報ＤＢ
２２３ 取得情報ＤＢ
２３１ 画像取得部
２３２ 読取部
２３３ 入力部
９００ 情報システム

Claims (5)

1. ユーザからの入力情報を受け付けて、受け付けた当該入力情報に基づいて所定の処理を行うコンピュータプログラムに情報を入力する入力システムであり、
   入力情報が表示されている表示画像を取得する画像取得手段と、
   前記画像取得手段が取得した前記表示画像から前記入力情報を読み取る読取手段と、
   前記読取手段が読み取った前記入力情報を、前記ユーザの代わりに前記コンピュータプログラムに入力する入力手段と、
   を備える入力システム。
2. 前記読取手段にて読み取られ得る対象の情報である対象情報を格納する格納手段、を備え、
   前記読取手段は、前記格納手段が格納している前記対象情報に基づいて、前記画像取得手段が取得した前記表示画像から前記入力情報を読み取る、
   請求項１に記載の入力システム。
3. 前記格納手段は、前記表示画像に対応する前記対象情報のグループを複数格納しており、
   前記読取手段は、前記画像取得手段が取得した前記表示画像に基づいて、前記格納手段が格納している複数の前記グループから１つのグループを選択し、選択したグループにおける前記対象情報に基づいて、前記画像取得手段が取得した前記表示画像から前記入力情報を読み取る、
   請求項２に記載の入力システム。
4. 前記入力情報は、色又は文字列であり、
   前記画像取得手段は、前記入力情報である色又は文字が表示されている前記表示画像を取得する、
   請求項１から３の何れか一項に記載の入力システム。
5. ユーザからの入力情報を受け付けて、受け付けた当該入力情報に基づいて所定の処理を行うコンピュータプログラムに情報を入力する入力プログラムであり、
   コンピュータを、
   入力情報が表示されている表示画像を取得する画像取得手段と、
   前記画像取得手段が取得した前記表示画像から前記入力情報を読み取る読取手段と、
   前記読取手段が読み取った前記入力情報を、前記ユーザの代わりに前記コンピュータプログラムに入力する入力手段と、
   として機能させる入力プログラム。
   

Images