JP2019068263A - Information processing apparatus, processing method thereof, and program - Google Patents
Information processing apparatus, processing method thereof, and program Download PDFInfo
- Publication number
- JP2019068263A JP2019068263A JP2017192034A JP2017192034A JP2019068263A JP 2019068263 A JP2019068263 A JP 2019068263A JP 2017192034 A JP2017192034 A JP 2017192034A JP 2017192034 A JP2017192034 A JP 2017192034A JP 2019068263 A JP2019068263 A JP 2019068263A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- processing apparatus
- information processing
- image
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Character Discrimination (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、文字認識を行うための情報処理装置、その処理方法及びプログラムに関する。 The present invention relates to an information processing apparatus for performing character recognition, a processing method thereof, and a program.
従来より、撮像装置を用いて、撮像した文字をリアルタイムに認識する仕組みがある。 BACKGROUND Conventionally, there is a mechanism for recognizing a captured character in real time using an imaging device.
特許文献1には、ビデオカメラにより所定のオブジェクトに表示されている文字を撮像させ、その撮像された画像を文字認識した結果得られた認識結果を、表示部に重ねて表示させる技術が記載されている。
しかし、特許文献1の構成では、認識すべき文字数が多いオブジェクトを撮像しながら、ビデオカメラを移動させた場合、撮像画像が変化していくため文字認識処理が完了しないという課題がある。
However, in the configuration of
そこで、本発明の目的は、撮像画像を用いた文字認識を好適に行う仕組みを提供することである。 Therefore, an object of the present invention is to provide a mechanism for suitably performing character recognition using a captured image.
撮像装置を備える情報処理装置であって、前記撮像装置を用いて、オブジェクトを撮像する撮像手段と、前記撮像手段により撮像した撮像画像を電子データとして取得する撮像画像取得手段と、前記撮像画像取得手段により取得された電子データに含まれる文字数を取得する文字数取得手段と、前記文字数取得手段により取得された文字数が所定数より大きい場合、前記撮像装置が撮像する画像を拡大すべくズームを行って撮像するズーム撮像手段とを備えることを特徴とすることを特徴とする情報処理装置。 An information processing apparatus including an imaging device, an imaging unit configured to capture an object using the imaging device, a captured image acquisition unit configured to acquire a captured image captured by the imaging unit as electronic data, and the captured image acquisition When the number of characters acquired by the number-of-characters acquisition unit is larger than a predetermined number, the image pickup apparatus performs zooming to magnify an image captured by the image pickup apparatus. An information processing apparatus comprising: a zoom imaging unit configured to capture an image.
本発明によれば、撮像画像を用いた文字認識を好適に行う仕組みを提供することができる。 According to the present invention, it is possible to provide a mechanism for suitably performing character recognition using a captured image.
以下、図面を参照して本発明の実施形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1に示すように、本実施形態に帳票システム100は、情報処理装置101及びサーバ102が、ネットワーク103により通信可能に接続された構成をとる。
As shown in FIG. 1, in the present embodiment, the
情報処理装置101は、カメラ等を用いて帳票の画像(以下、撮像画像)を取り込み、記入不備チェックを行う。情報処理装置101は、撮像画像の記入不備チェックするために必要な、記入内容の認識領域と記入種別を帳票フォーム識別情報(以下、フォームIDと記す)毎に管理している。
The
なお、この実施形態においては、情報処理装置101において記入不備チェックを行うとしたが、これに限定するものではなく、情報処理装置101がサーバ102へ撮像画像を送信し、サーバ102において記入不備チェックを行うとしてもよい。
In this embodiment, although the entry defect check is performed in the
情報処理装置101は、携帯電話、スマートフォン、タブレット端末、ノートPC、及びPDA端末などの持ち運び可能な端末であって、ブラウザ又は帳票システムのアプリケーションがインストールされており、無線通信によりネットワーク103を介して、サーバ102と通信可能である。
The
以下、図2を用いて、図1に示した情報処理装置101に適用可能なハードウエア構成の一例について説明する。
Hereinafter, an example of a hardware configuration applicable to the
図2において、201はCPUで、システムバス204に接続される各デバイスやコントローラを統括的に制御する。また、ROM203あるいは外部メモリ212には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な各種プログラム等が記憶されている。
In FIG. 2,
202はRAMで、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM203あるいは外部メモリ212からRAM202にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
A
また、205は入力コントローラで、タッチセンサ210からの入力を制御する。206はビデオコントローラで、ディスプレイ211等の表示器への表示を制御する。なお、図2では、ディスプレイ211と記載しているが、表示器はCRTだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて情報処理装置101のユーザが使用するものである。
An
207はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置(ハードディスク(HD))や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ212へのアクセスを制御する。
A
208は通信I/Fコントローラで、ネットワーク103を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。
A communication I /
なお、CPU201は、例えばRAM202内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ211上での表示を可能としている。また、CPU201は、ディスプレイ211上のタッチセンサ210におけるユーザのタッチ操作指示を受付けることを可能とする。
Note that the
本発明を実現するための後述する各種プログラムや各種テーブルは、外部メモリ212に記録されており、必要に応じてRAM202にロードされ、CPU201によって実行されるものである。
Various programs and various tables to be described later for realizing the present invention are stored in the
209は撮像画像入力コントローラで、撮像画像入力処理部214を介してカメラ215からの入力を制御する。カメラ215から入力された撮像画像を認識し、撮像することが可能となっている。
図3は、情報処理装置101の機能構成の一例を示すブロック図である。
FIG. 3 is a block diagram showing an example of a functional configuration of the
撮像部301は、撮像装置を用いて、オブジェクトを撮像する機能部である。
撮像画像取得部302は、撮像部301により撮像した撮像画像を電子データとして取得する機能部である。
文字数取得部303は、撮像画像取得部302により取得された電子データに含まれる文字数を取得する機能部である。
ズーム撮像部304は、文字数取得部303により取得された文字数が所定数より大きい場合、前記撮像装置が撮像する画像を拡大すべくズームを行って撮像する機能部である。
エラー判定部305は、ズーム撮像部304により撮像された画像に含まれる記入内容のエラーを判定する機能部である。
エラー表示部306は、エラー判定部305によりエラーと判定された箇所を識別して表示する機能部である。
画像外エラー表示部307は、エラー判定部305によりエラーと判定された箇所がズーム撮像部304により撮像した帳票の部分画像に含まれない場合、当該エラーと判定された箇所が当該画像の外に存在することを識別して表示する機能部である。
定義情報取得部308は、前記オブジェクトの認識領域と記入種別とを含むフォーム定義情報を取得する機能部である。
エラー判定部305は、前記定義情報取得手段により取得された認識領域と記入種別とを用いて判定する機能部である。
The
The captured
The character
The
The
The
If the portion determined as an error by the
The definition
The
図4は、情報処理装置101における記入不備チェック処理の一例を示すフローチャートである。
FIG. 4 is a flowchart showing an example of the entry defect check process in the
また、図11は、情報処理装置101において帳票フォームを管理するテーブルの一例を示す図である。フォームテーブル1100は、サーバ102の外部メモリ212に記憶され、サーバ102で管理する帳票フォームについて、「フォームID」「フォーム名」「フォーム画像のファイル名」を管理する。
FIG. 11 is a diagram illustrating an example of a table for managing form forms in the
フォームテーブル1100のレコードは、帳票システム100のシステム管理者が登録し、システム管理者がメンテナンス画面(不図示)を用いてメンテナンスを行い、サーバ102に記憶しておき、情報処理装置101は、定期的、帳票アプリケーションの起動時、情報処理装置101のユーザからの要求等に従って、メンテナンスされたフォームテーブル1100に含まれるレコードを取得し、情報処理装置101の外部メモリ212に記憶しておく。
The records of the form table 1100 are registered by the system administrator of the
なお、フォームテーブル1100のメンテナンスとは、例えば、帳票フォームを新規作成する場合にフォームテーブル1100に新規レコードを登録する、帳票のレイアウト変更や文言変更によって「フォーム名」「フォーム画像のファイル名」等が変更された場合にフォームテーブル1100のフォーム画像の値を新しいフォーム画像ファイルに更新する等を意味する。
Note that maintenance of the form table 1100 refers to, for example, registration of a new record in the form table 1100 when a form form is newly created, "form name", "file name of form image", etc. by changing form layout or wording. Means that the form image value of the form table 1100 is updated to a new form image file, etc., when it is changed.
図4の記入不備チェック処理について、説明する。 The entry defect check process of FIG. 4 will be described.
ステップS401において、情報処理装置101は、帳票システムのユーザによって行われる帳票システムへのログインを受け付ける。なお、この記入不備チェック処理において、ユーザインターフェースとなる帳票アプリケーションは、情報処理装置101にインストールされたアプリケーションであってもよいし、ブラウザに表示されるWebアプリケーションなどのアプリケーションであってもよい。
In step S401, the
ステップS402において、情報処理装置101は、記入済帳票を撮像するモードの選択を受け付ける(不図示)。本実施形態における撮像モードとは、「全体撮像(静止画)」「部分撮像(動画)」である。「全体撮像(静止画)」モードの選択を受け付けた場合はステップS403に進み、「部分撮像(動画)」モードの選択を受け付けた場合はステップS411に進む。ここでは、本実施形態における撮像モードについて説明しておく。
In step S402, the
「全体撮像(静止画)」は、記入済帳票の全体を静止画で撮像するモードである。静止画で撮像するため解像度が高く、文字認識及びチェック処理を正確に行え、一度の撮像で多くの文字認識及びチェック処理をまとめてすることができるというメリットがある。 The "whole imaging (still image)" is a mode in which the entire entry form is imaged as a still image. Since a still image is captured, resolution is high, character recognition and check processing can be accurately performed, and many character recognition and check processing can be collectively performed in one imaging.
「部分撮像(動画)」は、記入済帳票の一部を撮像しながら、その撮像画像をリアルタイムに文字認識及びチェック処理を行うモードである。このモードは、「全体撮像(静止画)」のように情報処理装置101を撮像時ぶれないよう固定したり、枠内に帳票全体が収まるよう調整したりする必要がなく、文字認識及びチェック処理の正常・異常を即時に把握でき、「全体撮像(静止画)」と比較して、より気軽に且つより効率的に文字認識及びチェックを行うことができる。特に、複数の項目の記入内容の文字認識及びチェック処理をリアルタイムに続けて行いたい場合は、連続して即時に正常・異常を把握できるため、「全体撮像(静止画)」に比べてメリットが大きい。また、帳票の一部分を拡大して撮像するため、静止画よりも解像度が低いというデメリットは大きな問題にはならない。しかし、情報処理装置101を動かしながら撮像するため、画像のぶれや動かす速度によっては、文字認識及びチェック処理を正確に行えないため、適切な拡大及び適切な速度で情報処理装置101を動かす必要がある。
The “partial imaging (moving image)” is a mode in which the captured image is subjected to character recognition and check processing in real time while imaging a part of the completed form. In this mode, there is no need to fix the
なお、この実施形態においては、「部分撮像(動画)」は、動画撮像することによって文字認識及びチェック処理を行うとしたが、撮像した動画を記憶することは必須ではなく、例えば、カメラ215が捉えた画像を外部メモリ212に記憶せず、当該画像に基づいて、認識領域がガイド枠内に収まったと判定したこと、認識項目の項目名や識別情報が認識されたこと等をトリガーにして、リアルタイムに当該画像を解析して、文字認識及びチェック処理を行う方法であってもよい。また、カメラ215が捉えた画像を上記トリガーに応じて自動で静止画撮像し、その静止画を解析して、文字認識及びチェック処理を行う等の方法であってもよい。
In this embodiment, “partial imaging (moving image)” is character recognition and check processing by moving image capturing, but storing the captured moving image is not essential, for example, the camera 215 It is determined that the captured image is not stored in the
なお、本実施形態においては、撮像モードとは「全体撮像(静止画)」「部分撮像(動画)」の2つに限定したが、これらに限定するものではなく、「部分撮像(静止画)」や「全体撮像→部分撮像(動画)」等、他のモードがあってもよい。
In the present embodiment, the imaging mode is limited to two of “whole imaging (still image)” and “partial imaging (moving image)”, but is not limited to these, “partial imaging (still image) There may be other modes such as “full imaging → partial imaging (moving image)” and the like.
ステップS403において、情報処理装置101は、カメラ215を用いて記入不備チェックを行う記入済帳票の全体を撮像し、撮像された静止画像(以下、撮像画像)(図7)を外部メモリ212に記憶する。すなわち、ステップS403は、撮像した撮像画像を電子データとして取得する処理の一例を示すステップである。なお、この実施形態においては、情報処理装置101のカメラ215を用いて撮像画像を得るとしたが、デジタルカメラ等を用いて撮像された画像やスキャナーなどを用いてスキャンされた画像を情報処理装置101に取り込む等の方法であってもよい。
In step S403, the
ステップS404において、情報処理装置101は、撮像画像から撮像した帳票のフォームIDを特定する。具体的には、フォームテーブル1100の全レコードを検索し、「フォーム画像」カラムに記憶されているファイルパスを用いて外部メモリ212から取り出したフォーム画像と撮像画像とを比較することで、記入不備チェックを行う帳票フォームのフォームIDを特定する。外部メモリ212から取り出したフォーム画像と撮像画像を比較し、所定の値以上の割合で画像が一致した場合、撮像画像はフォーム画像に対応する帳票フォームであると判定し、撮像した帳票のフォームIDは、一致したフォーム画像に対応するフォームIDであると特定する。本実施例においては、撮像画像からフォームID=FORM01の「ショッピングクレジット申込書」が特定されたとする。
In step S404, the
なお、この画像比較に用いる2つの画像は未加工のまま画像を比較してもよいし、画像比較の精度を上げるために、輪郭を抽出するなどの画像加工を施した後に画像比較を行うとしてもよい。 The two images used for this image comparison may be compared without processing, or in order to increase the accuracy of the image comparison, image comparison is performed after image processing such as extraction of outlines is performed. It is also good.
なお、この実施形態においては、撮像画像とサーバ102で管理するフォーム画像とを比較することで、記入不備チェックを行う帳票フォームの特定を行ったが、この方法に限定するものではなく、フォームIDを示すバーコードや番号を帳票に記しておき、撮像時の読み取り又は撮像画像の解析から帳票のフォームIDを特定する方法などであってもよい。
In this embodiment, the form form to be subjected to the entry defect check is specified by comparing the captured image with the form image managed by the
ステップS405において、情報処理装置101は、全体記入不備チェック処理(図5)を行う。すなわち、ステップS405は、取得された電子データに含まれる記入内容のエラーを判定する処理の一例を示すステップである。また、ステップS405は、認識領域と記入種別とを用いて判定する処理の一例を示すステップである。
In step S405, the
ここで、図5について説明しておく。 Here, FIG. 5 will be described.
図5は、情報処理装置101における全体記入不備チェック処理の一例を示すフローチャートである。
FIG. 5 is a flow chart showing an example of the process of checking the entire entry defect in the
また、図12は、情報処理装置101においてフォームごとの記入不備チェック認識領域及びチェック方法を管理するフォーム定義テーブルの一例を示す図である。フォーム定義テーブル1200は、サーバ102の外部メモリ212に記憶され、「フォームID」「(複数の認識領域をまとめたグループを識別する)グループID」「(記入不備チェックにおいて認識領域を識別する)チェックID」「フォーム名」「(記入不備チェックの)記入種別」「(認識領域の)起点座標(X、Y))」と「終点座標(X、Y)」を管理する。すなわち、フォーム定義テーブル1200は、帳票の認識領域と記入種別とを含む帳票フォーム定義情報を管理する手段の一例である。
フォーム定義テーブル1200のレコードは、帳票システム100のシステム管理者が登録し、システム管理者がメンテナンス画面(不図示)を用いてメンテナンスを行い、サーバ102に記憶しておき、情報処理装置101は、定期的、帳票アプリケーションの起動時、情報処理装置101のユーザからの要求等に従って、メンテナンスされたフォーム定義テーブル1200に含まれるレコードを取得し、情報処理装置101の外部メモリ212に記憶しておく。
なお、フォーム定義テーブル1200のメンテナンスとは、例えば、帳票フォームを新規作成する場合にフォーム定義テーブル1200に新規レコードを登録する、帳票のレイアウト変更、フォーム要件変更によって「フォーム名」「記入種別」「認識領域座標」等が変更された場合にフォーム定義テーブル1200の各レコードの値を更新する等を意味する。
FIG. 12 is a view showing an example of a form definition table for managing an incomplete entry check recognition area for each form and a check method in the
The records of the form definition table 1200 are registered by the system administrator of the
Note that maintenance of the form definition table 1200 refers to, for example, registering a new record in the form definition table 1200 when creating a form form newly, changing the form layout of the form, changing the form requirement, "form name", "entry type" This means that, for example, the value of each record in the form definition table 1200 is updated when the recognition area coordinate or the like is changed.
なお、この実施形態においては、サーバ102においてフォームテーブル1100及びフォーム定義テーブル1200を管理し、サーバ102からそのデータを取得し、情報処理装置101においてフォームテーブル1100及びフォーム定義テーブル1200を管理し、そのテーブルを用いて情報処理装置101において記入不備チェックを行うとしたが、この方法に限定するものではなく、情報処理装置101がサーバ102に撮像画像を送信し、サーバ102が管理するフォームテーブル1100及びフォーム定義テーブル1200を用いて、サーバ102において記入不備チェックを行い、そのチェック結果を情報処理装置101に送信し、情報処理装置101がチェック結果を表示するとしてもよい。
In this embodiment, the
図5の全体記入不備チェック処理について説明する。 The entire entry defect check process of FIG. 5 will be described.
ステップS501において、情報処理装置101は、ステップS404にて特定された「フォームID」を検索キーとして、フォーム定義テーブル1200を検索し、フォーム定義情報リストを取得する。
In step S501, the
ステップS502において、情報処理装置101は、変数iに1を代入し、RAM202に記憶する。
In step S 502, the
ステップS503において、情報処理装置101は、ステップS501にて取得したフォーム定義情報リストのレコード数だけ、ステップS504〜ステップS509を繰り返す。
In step S503, the
ステップS504において、情報処理装置101は、フォーム定義情報リストのi番目のレコードから、認識領域の起点(X座標、Y座標)と終点(X座標、Y座標)と必須要件・記入種別を取得する。
In step S504, the
ステップS505において、情報処理装置101は、ステップS504にて取得した必須要件=“○(必須)”の場合はステップS506に進み、必須要件=“NULL(必須でない)”の場合はステップS507に進む。
In step S505, the
ステップS506において、情報処理装置101は、撮像画像の認識領域が記入必須項目に該当するため、当該認識領域に文字や記号が記入されているか否かを判定する。文字や記号が記入されている場合は“有(OK)”と判定しステップS507に進み、文字や記号が記入されていない場合は“無(NG)”と判定しステップS508に進む。なお、この判定処理には、OCR等による解析技術を用いるが、既知の技術であるため、その説明は省略する。
In step S506, the
ステップS507において、情報処理装置101は、撮像画像の認識領域の記入内容がステップS504にて取得した記入種別と一致している(=“OK”)か不一致(=“NG”)かを判定する。“OK”の場合はステップS509に進み、“NG”の場合はステップS508に進む。すなわち、ステップS506及びステップS507は、撮像された画像に含まれる記入内容のエラーを判定する処理の一例を示すステップである。
In step S507, the
例えば、記入種別=“丸囲み”の場合は、記入内容が丸印のみ(=OK)か否(=NG)かを判定する。丸印が記入されている場合は“OK”と判定しステップS509に進み、丸印以外の文字・記号が記入されている場合は“NG”と判定しステップS508に進む。なお、この判定処理は、OMR等による解析技術を用いるが、既知の技術であるため、その説明は省略する。なお、本実施例では丸印を例として挙げたが、丸印に限定するものではなく、レ点やその他の図形・記号などの判定であってもよい。また、上記において、丸印の数については特に限定しなかったが、フォーム定義テーブル1200に、「チェック上限数」や「チェック数」などのカラムを設け、丸印の数が「チェック上限数」を超えた場合は“NG”、丸印の数が「チェック数」以外の場合は“NG”と判定するとしてもよい。 For example, in the case of the entry type = “circled”, it is determined whether the entry content is only a circle (= OK) or not (= NG). If a circle is entered, it is determined as "OK" and the process proceeds to step S509. If a character / symbol other than a circle is entered, it is determined as "NG" and the process proceeds to step S508. In addition, although this determination processing uses an analysis technique by OMR or the like, since it is a known technique, the description thereof will be omitted. In the present embodiment, the circle is taken as an example, but the present invention is not limited to the circle, and determination of marks or other figures / symbols may be made. Further, although the number of circles is not particularly limited in the above, the form definition table 1200 is provided with a column such as “upper limit number of checks” or “number of checks” and the number of circles is “upper limit number of checks”. In the case where the number of circles is other than the "number of checks", it may be determined as "NG".
また、記入種別=“数字”の場合は、記入内容が数字のみ(=OK)か否(=NG)かを判定する。同様に、記入種別=“カタカナ”の場合は、カタカナのみ(=OK)か否(=NG)かを判定する。 In the case of the entry type = “number”, it is determined whether the entry content is only a number (= OK) or not (= NG). Similarly, in the case of the entry type = “katakana”, it is determined whether only katakana (= OK) or not (= NG).
また、記入種別=“日付”の場合は、日付形式の数字が正しく記入されている(=OK)か否(=NG)かを判定する。よって、「2017年2月31日」のように日付形式の数字が記入されていた場合も、その様な日付は存在しないため、“NG”と判定する。 Further, in the case of the entry type = “date”, it is determined whether the number in the date format is correctly entered (= OK) or not (= NG). Therefore, even when a number in the date format is entered as in "February 31, 2017", such a date does not exist, so it is determined as "NG".
同様に、記入種別=“郵便番号”の場合は、郵便番号形式の数字が正しく記入されている(=OK)か否(=NG)かを判定する。よって、図7の704の「140−9999」のように不正な郵便番号が記入されていた場合も、その様な郵便番号は存在しないため、“NG”と判定する。その場合、情報処理装置101に郵便番号データベースを記憶しておく又はネットワーク103を通じて外部のサービス等を利用することで、郵便番号の正常・異常を判定する。また、他の記入領域(例:住所)と組み合わせて判定し、郵便番号との組み合わせが正常・異常を判定するとしてもよい。
Similarly, in the case of the entry type = “zip code”, it is determined whether or not the number in the zip code format is entered correctly (= OK) or not (= NG). Therefore, even if an incorrect zip code is entered as "140-9999" in 704 in FIG. 7, since such a zip code does not exist, it is determined as "NG". In this case, the postal code database is stored in the
また、この実施例には挙げなかったが、「健康診断結果票」の様な帳票を読み取る場合であって、記入種別=“総コレステロール”の記入領域の数字が「150〜219mg/dl」に該当する場合は“OK”、該当しない場合は“NG”と判定する。その場合、帳票に記載されている“総コレステロール”の適正値範囲を読み取る、情報処理装置101に健康診断適正数値のデータベースを記憶しておく又はネットワーク103を通じて外部のサービスを利用する等の方法により、健康診断の測定値の正常・異常を判定する。また、身長と体重のように、2つの項目の数値を用いて計算し、その計算結果について正常・異常を判定するとしてもよい。
In addition, although not listed in this example, it is a case of reading a form like "health check result slip", and the number of the entry area of entry type = "total cholesterol" is "150 to 219 mg / dl". When it corresponds, it is determined as "OK", and when it does not correspond, it is determined as "NG". In that case, by reading the appropriate value range of “total cholesterol” described in the form, storing a database of medical diagnosis appropriate numerical values in the
なお、フォーム定義テーブル1200には、記入種別として、”丸囲み”、“数字”、“カタカナ”、“日付”、“郵便番号”の他にも、“漢字”、“電話番号”、“都道府県”等があるが、これらに限定するものではなく、“桁数”、“ユーザ定義”等、その他の種別があってもよい。例えば、“桁数”の場合は、フォーム定義テーブル1200に「桁数」カラムを設け、記入された文字が定義された桁数であれば“OK”、定義された桁数以外であれば“NG”と判定する。“ユーザ定義”の場合は、フォーム定義テーブル1200に「ユーザ定義」カラムを設け、記入された文字がユーザによって定義された形式であれば“OK”、定義された形式以外であれば“NG”と判定する。 In addition to “circled”, “number”, “katakana”, “date”, “zip code” as the entry type in the form definition table 1200, “kanji”, “phone number”, “city There is a prefecture, etc., but there is no limitation to these, and there may be other types such as “number of digits”, “user-defined” and the like. For example, in the case of "number of digits", "number of digits" column is provided in the form definition table 1200, and if the entered character is the defined number of digits, "OK", if it is other than the defined number of digits " It is judged as "NG". In the case of "user-defined", the "user-defined" column is provided in the form definition table 1200, "OK" if the entered characters are in the format defined by the user, "NG" if it is other than the defined format It is determined that
また、OCR等による解析結果で、記入された文字を認識できなかった場合、“NG”と判定するとしてもよい。 Also, if the entered character can not be recognized in the analysis result by the OCR or the like, it may be determined as “NG”.
また、認識領域が記入種別に適合しているかの判定結果は、“OK”及び“NG”の2つに限定するものではなく、 “認識不可”、“不鮮明”、“矛盾”等の値を持つとしてもよい。 In addition, the determination result of whether the recognition area conforms to the entry type is not limited to two of “OK” and “NG”, and values such as “unrecognizable”, “unclear”, “inconsistency”, etc. You may have it.
ステップS508において、情報処理装置101は、記入不備チェック結果リスト1300(図13)にフォーム定義情報リストのi番目のレコードを挿入する。図13の記入不備チェック結果リスト1300は、記入不備チェックの結果=“NG”となったフォーム定義情報レコードを要素に持つリストである。
In step S508, the
なお、記入不備チェック結果リスト1300には、図13のように「エラー内容」項目を持ち、“必須”、“丸囲み”、”郵便番号(=不正な郵便番号)“、“認識不可”、“不鮮明”、“矛盾”など、記入不備チェックの結果=“NG”と判定された理由を記録する。 As shown in FIG. 13, the entry defect check result list 1300 has an “error content” item, “mandatory”, “circled”, “zip code (= illegal zip code)”, “not recognized”, Record the reasons for the "inconsistency", "inconsistencies", etc. as a result of the incompleteness check = "NG".
ステップS509において、情報処理装置101は、変数iの値をインクリメントする。
In step S509, the
ステップS510において、ステップS501にて取得したフォーム定義情報リストのレコードが残っている場合、ステップS504〜ステップS509を繰り返す。 In step S510, if there is a record of the form definition information list acquired in step S501, steps S504 to S509 are repeated.
以上で、図5の全体記入不備チェック処理の説明を終了する。図5の全体記入不備チェック処理によって、記入不備チェック結果リスト1300には、記入不備チェックの結果=“NG”となったフォーム定義情報レコードが登録されていることになる。
This is the end of the description of the entire entry defect check process of FIG. By the entire entry defect check process of FIG. 5, the form definition information record in which the entry defect check result = “NG” is registered in the entry defect check list 1300.
図4の記入不備チェック処理の説明に戻る。 It returns to the description of the entry defect check process of FIG.
ステップS406において、情報処理装置101は、ステップS405又はステップS413の記入不備チェックにて検出された不備数を判定する。具体的には、記入不備チェック結果リスト1300に存在するレコード数によって判定する。不備が無いと判定された場合はステップS407に進み、不備数が1以上所定数未満と判定された場合はステップS408に進み、不備数が所定数以上と判定された場合はステップS410に進む。なお、この所定数とは、1以上の数である。すなわち、ステップS406は、エラーと判定された箇所が所定数以上ある場合、第2モードに切り替えるよう制御する処理の一例を示すステップである。
In step S406, the
ステップS407において、情報処理装置101は、記入不備チェック結果画面(記入不備なし)900(図9)を表示する。
In step S407, the
具体的には、「全体撮像(静止画)」モードでの撮像の場合は、ステップS403にて撮像した撮像画像901をディスプレイ211に表示し、「記入不備はありませんでした。」の様なメッセージを重畳させ、図4の記入不備チェック処理を終了する。
Specifically, in the case of imaging in the "whole imaging (still image)" mode, the captured
一方、「部分拡大撮像(静止画)」モードでの撮像の場合は、撮像画像901の様な画像は撮像していないため、「記入不備はありませんでした。」の様なメッセージをディスプレイ211に表示し(不図示)、図4の記入不備チェック処理を終了する。なお、「全体撮像(静止画)」モードでの撮像後、記入不備部分の記入内容を修正し、「部分拡大撮像(静止画)」モードでの撮像することで不備が無くなった場合は、少なくとも一度は「全体撮像(静止画)」モードで撮像画像901を取得しているため、撮像画像901に「部分拡大撮像(静止画)」モードで不備が解消されたと判定を行った際の動画のキャプチャ画像を合成し、記入不備チェック結果画面(記入不備なし)900(図9)を表示するとしてもよい。
On the other hand, in the case of imaging in the “partial enlargement imaging (still image)” mode, an image such as the captured
ステップS408において、情報処理装置101は、記入不備チェック結果画面(記入不備あり)800(図8)を表示する。
In step S408, the
具体的には、「全体撮像(静止画)」モードでの撮像の場合は、ステップS403にて撮像した撮像画像801をディスプレイ211に表示し、「○箇所の記入不備があります。」の様なメッセージを表示し、記入不備領域を識別して表示する(802〜806)。なお、記入不備領域の識別表示は、ステップS405で生成された記入不備チェック結果リスト1300のレコード(1301〜1305)から、「認識領域」の起点座標(X、Y)と終点座標(X、Y)を取得し、その2点を対角とする矩形を撮像画像上に描き、赤い枠で囲むことにより行う。これにより、記入不備のあった領域を識別可能に表示することができる。
Specifically, in the case of imaging in the "whole imaging (still image)" mode, the captured
なお、記入不備部分802〜805の表示は、赤い枠に限定するものではなく、赤以外の色による枠による囲み、塗りつぶし、印、点滅、拡大、反転表示など、ユーザによる識別が可能となる表示であればよい。また、表示による識別方法に限定するものではなく、音声による記入不備部分の読み上げなど、その他の方法による識別方法であってもよい。 In addition, the display of the incomplete part 802-805 is not limited to a red frame, and the display by which identification by a user is possible, such as enclosure by a frame other than red, filling, a mark, blinking, enlargement, reverse display etc. If it is Further, the present invention is not limited to the identification method by display, and may be an identification method by other methods such as reading out an incomplete portion by voice.
一方、「部分拡大撮像(静止画)」モードでの撮像の場合は、撮像画像901の様な画像は撮像していないため、「○箇所の記入不備があります。」のメッセージ及び記入不備の判定を行った際の動画のキャプチャ画像を記入不備の分だけディスプレイ211に表示する(不図示)。これにより、「部分拡大撮像(静止画)」モードであっても、記入不備のあった領域を識別可能に表示することができる。
On the other hand, in the case of imaging in the "partial enlargement imaging (still image)" mode, since an image such as the captured
また、記入不備チェック結果画面(記入不備あり)800には、「全体を再撮像する(静止画)ボタン804」と「不備部分を拡大して再撮像する(動画)ボタン805」を表示し、記入不備チェックの内容によって、ユーザが再撮像の方法を選択できるようにする。
In addition, on the entry defect check result screen (with an entry defect) 800, a “Recapture whole image (still image)
ステップS409において、情報処理装置101は、ユーザによる再撮像モードの選択を受け付ける。「全体を再撮像する(静止画)ボタン804」の押下を受け付けた場合はステップS403に進み、「不備部分を拡大して再撮像する(動画)ボタン805」の押下を受け付けた場合はステップS411に進む。すなわち、ステップS409は、帳票の全体を撮像する第1モードと、帳票の部分を撮像する第2モードとを切り替える処理の一例を示すステップである。
In step S409, the
具体的には、誤記や記入漏れ等、帳票への記入内容が原因でエラーが発生したとユーザが判断した場合、記入内容を修正した後、ユーザは「全体を再撮像するボタン(静止画)804」を押下する。これにより、複数の記入不備があった場合でも、一度の再撮像で再チェックを行うことができる。一方、撮像画像の不鮮明さ、文字や記号の潰れ、かすれ、重なり、用紙汚れ、ゴミ等が原因でエラーが発生した、つまり拡大して再撮像すればエラーは解消されるとユーザが判断した場合、ユーザは「不備部分を拡大して再撮像する(動画)ボタン805」を押下する。これにより、帳票を再撮像する場合、上記のようにエラー部分を拡大して再撮像するか、エラー部分を記入し直したため帳票全体を再撮像するか、をユーザが自由に選択できないという課題を解決することができる。
Specifically, when the user determines that an error has occurred due to an entry in the form, such as an error or omission, the user corrects the entry, and then the user clicks the “Reimage All button (still image) "804" is pressed. In this way, even if there is a plurality of incomplete entries, rechecking can be performed by one reimaging. On the other hand, when the user determines that an error has occurred due to blurring of the captured image, crushing of characters and symbols, blurring, blurring, overlapping, paper stains, dust, etc. In other words, the error is resolved if re-imaging is performed again. The user presses the “magnify the defective portion and re-image (moving image)
なお、この実施形態のステップS409においては、「全体を再撮像する」か「不備部分を拡大して再撮像する」をユーザが選択するとしたが、これに限定するものではなく、記入不備チェック結果リスト1300の「エラー内容」の値が“必須”、“丸囲み”、“矛盾”等の場合は、誤記など記入内容によるエラーと捉え、帳票を修正するようメッセージを表示して全体を再撮像させ、「エラー内容」の値が“不鮮明”、“認識不可”等の場合は、撮像画像によるエラーと捉え、不備部分のみを拡大して再撮像させるなど、記入不備チェック結果リスト1300に含まれる値に従って、情報処理装置101が「全体を再撮像する」か「不備部分を拡大して再撮像する」のどちらを実行するかを決定するとしてもよい。
In step S409 of this embodiment, the user selects “Re-image the entire image” or “Imagnifies the defective portion and re-image”. However, the present invention is not limited to this, and the entry defect check result If the value of "error content" in list 1300 is "required", "circled", "inconsistency", etc., it is regarded as an error due to the entry content such as an error, and a message is displayed to correct the form and the entire image is recaptured If the value of “error content” is “unclear”, “unrecognizable”, etc., it is regarded as an error due to the captured image, and only the defective portion is enlarged and re-imaged, etc. According to the value, it may be determined whether the
ステップS410において、情報処理装置101は、記入不備チェック結果画面(記入不備あり)800(図8)を表示する。詳細は、ステップS408と同様であるが、ステップS410で表示する記入不備チェック結果画面(記入不備あり)800には、「全体を再撮像する(静止画)ボタン804」を表示しない(又は表示しても押下できないよう非活性化しておく)。その後、「不備部分を拡大して再撮像する(動画)ボタン805」の押下を受け付ける(又は所定時間が経過する)と、ステップS411に進む。これにより、不備数が所定数以上と判定されて帳票を再撮像する場合、エラー部分を拡大して再撮像させるよう制御することにより、複数のエラー部分の文字認識及びチェック処理をリアルタイムに続けて行い、連続して即時に正常・異常を把握できるため、より気軽に且つより効率的に文字認識及びチェックを行うことができる。
In step S410, the
ステップS411において、情報処理装置101は、記入済帳票の部分撮像を開始する。すなわち、ステップS411〜ステップS413は、撮像した撮像画像を電子データとして取得する処理の一例を示すステップである。カメラ215が捉えた画像は、リアルタイムにディスプレイ211に表示する(図10の1001)。その画面には、「文字が読み取れるよう、ゆっくりと動かしてください。」(図10の1002)や「動画撮像中」(図10の1003)の様なメッセージを表示し、ユーザに対し、ゆっくりカメラを動かすよう注意を促す。
In step S411, the
ステップS412において、情報処理装置101は、撮像画像の帳票のフォームIDを特定する。詳細は、ステップS404と同様である。
In step S412, the
ステップS413において、情報処理装置101は、部分記入不備チェック処理(図6)を行う。すなわち、ステップS413は、取得された電子データに含まれる記入内容のエラーを判定する処理の一例を示すステップである。また、ステップS413は、撮像した帳票の部分画像を電子データとして取得する処理の一例を示すステップである。また、ステップS413は、認識領域と記入種別とを用いて記入内容のエラーを判定する処理の一例を示すステップである。ここで、図6について説明しておく。
In step S413, the
図6は、情報処理装置101における部分記入不備チェック処理の一例を示すフローチャートである。図5の全体記入不備チェック処理のフローチャートを部分記入不備チェック処理用に置き換え、図5のステップと同じ処理については、同じステップ番号を付与し説明を省略する。図6の処理により、撮像された部分帳票の記入不備チェックを行う。
FIG. 6 is a flowchart showing an example of the partial entry defect check process in the
ステップS601において、情報処理装置101は、ステップS412にて特定した「フォームID」を検索キーとして、フォーム定義テーブル1200を検索し、フォーム定義情報リストを取得する。
In step S601, the
ステップS602において、情報処理装置101は、撮像画像から座標識別項目を特定する。例えば、撮像画像が図10の1001の様な画像だった場合、撮像画像から「(1)お申込年月日」「(2)お申込者」「(3)お勤め先」の様な黒塗の見出し部分を座標識別項目として特定する。なお、本実施形態においては、黒塗の見出し部分を座標識別項目としたが、これに限定するものではなく、例えば、帳票の各項目、帳票のフォームIDを示すバーコードや番号、帳票の枠、帳票用紙の端又は帳票用紙の座標を識別するドットパターン等を座標識別項目としてもよい。つまり、部分撮像画像から、帳票全体のどの位置が撮像されているのかを特定できる情報であればよい。
In step S602, the
ステップS603において、情報処理装置101は、ステップS602にて特定した座標識別項目から撮像座標を算出する。例えば、撮像画像において、座標識別項目「(1)お申込年月日」が、撮像画像の左上を原点として起点座標(10、30)―終点座標(150、110)の2点を対角とする矩形(ヨコ:140ピクセル、タテ:80ピクセル)に位置した場合、フォーム定義テーブル1200のフォーム定義レコード1201から拡大しない場合の「(1)お申込年月日」は起点座標(50、50)―終点座標(120、90)の2点を対角とする矩形(ヨコ:70ピクセル、タテ:40ピクセル)であるため、帳票を全体に収めて撮像するときに比べて2倍に拡大して撮像していることがわかる。これらから、現在撮像している画像が帳票全体のどの位置(この場合、起点座標(45、35)―終点座標(455、520))を撮像しているかを算出できる。
In step S603, the
ステップS604において、情報処理装置101は、文字認識及びチェック処理がカメラの移動速度に追いつかず、文字認識及びチェック処理を正確に行えないという問題を解消するために、撮像画像内の文字数を算出し、所定値以上の場合はステップS605に進み、所定値未満の場合はステップS606に進む。すなわち、ステップS604は、取得された電子データに含まれる文字数を取得する処理の一例を示すステップである。ここでは、算出した文字数を表示し(図10の1005)、「所定値」が200と設定されていたとする。なお、この算出方法は、撮像画像内の文字数をカウントする方法であっても、ステップS601にて取得したフォーム定義情報リストをステップS603にて算出した撮像座標を用いて限定し、撮像画像内に含まれる項目数等から文字数を算出する等の方法であってもよい。なお、本実施形態においては、撮像画像内の文字数に基づいて判断するとしたが、これに限定するものではなく、文字認識又はチェック処理が完了したか否かを判定し、完了しなかった場合にステップS606に進むとしてもよい。
In step S604, the
ステップS605において、情報処理装置101は、カメラ215のズームを自動で行い、撮像画像を拡大することで撮像画像内の文字数を減らし、文字認識及びチェック処理がリアルタイムでできるようにする。すなわち、ステップS605は、取得された文字数が所定数より大きい場合、前記撮像装置が撮像する画像を拡大すべくズームを行って撮像する処理の一例を示すステップである。ここでは、自動ズームする際に、自動ズームすることをメッセージ表示(図10の1004)し、ユーザが自動ズームに驚かないようにする。また、自動ズームにより拡大した画面(図10の1010)において、ズームが終わったことをメッセージ表示(図10の1011)し、ズーム後の撮像画像内の文字数を表示する(図10の1012)。これにより、文字認識及びチェック処理がカメラの移動速度に追いつかず、文字認識及びチェック処理を正確に行えないという問題を解消でき、適切な拡大及び適切な速度で情報処理装置101を動かすことができるようになる。
In step S605, the
ステップS606において、情報処理装置101は、ステップS601にて取得したフォーム定義情報リストをステップS603にて算出した撮像座標を用いて限定する。具体的には、
ステップS601にて取得したフォーム定義情報リストには、『ショッピングクレジット申込書』の全項目が含まれているが、ステップS603にて算出された撮像座標を用いて限定することにより、撮像画像内に含まれる項目のみをチェック対象としてリスト化することができる。これにより、文字認識及びチェック処理を高速化することができるようになる。
In step S606, the
The form definition information list acquired in step S601 includes all items of “shopping credit application form”, but by using the imaging coordinates calculated in step S603, limitation is performed in the captured image. Only included items can be listed for check. This makes it possible to speed up character recognition and check processing.
以降のステップS502(図6)〜ステップS510(図6)は、図5の説明と同様である。 The subsequent steps S502 (FIG. 6) to S510 (FIG. 6) are the same as the description of FIG.
ただし、ステップS506及びステップS507の認識領域は、ステップS602にて特定した座標識別項目からの距離(ピクセル数)に基づき決定する。例えば、撮像画像において、座標識別項目「(1)お申込年月日」が、撮像画像の左上を原点として起点座標(10、30)―終点座標(150、110)の2点を対角とする矩形(ヨコ:140ピクセル、タテ:80ピクセル)に位置した場合、ステップS603の説明から、2倍に拡大して撮像していることがわかっているため、フォーム定義テーブル1200のフォーム定義レコード1202の「申込年月日」は、座標識別項目「(1)お申込年月日」の撮像画像における座標及びフォーム定義レコード1202の座標に基づき、撮像画像において起点座標(150、30)―終点座標(410、110)の矩形に存在することがわかる。これにより、拡大して撮像された画像を用いて、記入不備チェックを行うことができるようになる。
However, the recognition area in steps S506 and S507 is determined based on the distance (number of pixels) from the coordinate identification item identified in step S602. For example, in the captured image, the coordinate identification item "(1) application date" has two points of origin coordinates (10, 30) -end coordinates (150, 110) with the upper left corner of the captured image as the origin. If it is located in a rectangular shape (horizontal: 140 pixels, vertical: 80 pixels), it is known from the description of step S603 that the image is doubled and imaged, so the
なお、この実施形態においては、拡大して再撮像された撮像画像に含まれる座標識別項目からの距離に従って認識領域を決定するとしたが、これに限定するものではなく、例えば、座標や距離を用いず、撮像画像に含まれる帳票の枠、印刷文字、帳票用紙の座標を識別するドットパターン等を認識することによって、フォーム定義テーブル1200の各レコードの項目の認識領域を直接決定する等の方法であってもよい。 In this embodiment, the recognition area is determined according to the distance from the coordinate identification item included in the enlarged and re-captured captured image, but the present invention is not limited to this. For example, coordinates and distances may be used. Instead, the recognition area of each record item of the form definition table 1200 is determined directly by recognizing the frame of the form included in the captured image, the print character, the dot pattern identifying the coordinates of the form sheet, etc. It may be.
ステップS607において、情報処理装置101は、ステップS506(図6)又はステップS507(図6)にて“NG”と判定した項目の認識領域又はその近傍に「認識NG」とわかるよう撮像画像に重畳して表示する(図10の1014)。また、「認識NG」の近傍には、認識NGの詳細説明を吹き出し等で表示する(図10の1015)。すなわち、ステップS607は、エラーと判定された箇所を識別して表示する処理の一例を示すステップである。以上により、撮像画像をリアルタイムに文字認識及びチェック処理をすることができるため、記入不備チェックを好適に行う仕組みを提供することができる。
In step S 607, the
ステップS608において、情報処理装置101は、ステップS507(図6)にて“OK”と判定した項目の認識領域又はその近傍に「認識OK」とわかるよう撮像画像に重畳して表示する(図10の1013)。以上により、撮像画像をリアルタイムに文字認識及びチェック処理をすることができるため、記入不備チェックを好適に行う仕組みを提供することができる。
In step S608, the
ステップS609において、情報処理装置101は、記入不備チェック結果リスト1300(図13)に、ステップS608にて記入不備チェックの結果=“OK”となったフォーム定義情報レコードが存在する場合、記入不備チェック結果リスト1300からそのレコードを削除する。これにより、記入不備チェックの結果=“NG”→“OK”となったフォーム定義情報レコードがリアルタイムに記入不備チェック結果リスト1300から削除されるため、記入不備チェック結果リスト1300には再度記入不備チェックをする必要のあるレコードのみが残っているということになる。
In step S609, when there is a form definition information record in which the result of the entry defect check = “OK” in step S608 exists in the entry defect check result list 1300 (FIG. 13), the
ステップS610において、情報処理装置101は、記入不備チェック結果リストのレコード有無を判定し、レコードが有る場合はステップS611に進み、無い場合はステップS509(図6)に進む。
In step S610, the
ステップS611において、情報処理装置101は、記入不備チェック結果リストに残っているレコードが示す位置を矢印で表示する。すなわち、ステップS611は、エラーと判定された箇所が撮像した帳票の部分画像に含まれない場合、当該エラーと判定された箇所が当該画像の外に存在することを識別して表示する処理の一例を示すステップである。具体的には、記入不備チェック結果リストにレコード1305が残っている場合、レコード1305(フォーム名:税込年収)の座標と、ステップS603にて算出した現在表示中の撮像画像の撮像座標とを比較し、撮像画像よりも下方向に存在することがわかるため、下向きの矢印と共に「この方向にエラーがあります。カメラをゆっくり移動させてください。」の様なメッセージを表示する(図10の1099)。これにより、記入不備チェックをする必要のある項目へカメラを誘導させることができるため、より効率的に文字認識及びチェックを行うことができる。つまり、拡大して撮像したとき、ユーザが帳票のどの部分を撮像すればよいかわからないという課題を解決することができる。
In step S611, the
以上で、図6の部分記入不備チェック処理の説明を終了する。図6の処理によって、撮像された部分帳票の記入不備チェックを行い、記入不備チェック結果リスト1300には、撮像された部分帳票の記入不備チェックの結果=“NG”が解消されていないフォーム定義情報レコードが残っていることになる。図4の記入不備チェック処理の説明に戻る。
This is the end of the description of the partial entry defect check process of FIG. By the process of FIG. 6, the incompleteness check of the imaged partial form is performed, and the result of the incompleteness check of the imaged partial form in the incompleteness check result list 1300 is form definition information for which the result = "NG" is not eliminated. Records will be left. It returns to the description of the entry defect check process of FIG.
ステップS414において、情報処理装置101は、帳票の部分撮像を終了する。
In step S414, the
以上で、図4の記入不備チェック処理の説明を終了する。
This is the end of the description of the entry defect check process of FIG.
以上により、認識すべき文字数が多いオブジェクトを撮像しながら、撮像装置を移動させた場合、撮像画像が変化していくため文字認識処理が完了しないという課題を解決することができ、撮像画像を用いた文字認識を好適に行う仕組みを提供することができる。
As described above, when the imaging apparatus is moved while capturing an object having a large number of characters to be recognized, the captured image changes and the problem that the character recognition processing is not completed can be solved. It is possible to provide a mechanism for suitably performing character recognition.
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(又はCPUやMPU)が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。 As described above, the recording medium recording the program for realizing the functions of the above-described embodiments is supplied to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores the program stored in the recording medium. It goes without saying that the object of the present invention can also be achieved by reading and executing.
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。 In this case, the program itself read out from the recording medium realizes the novel function of the present invention, and the recording medium recording the program constitutes the present invention.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD−ROM、磁気テープ、不揮発性のメモリカード、ROM、EEPROM、シリコンディスク等を用いることが出来る。 As a recording medium for supplying the program, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD-ROM, magnetic tape, non-volatile memory card, ROM, EEPROM, silicon A disk etc. can be used.
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program read by the computer, not only the functions of the above-described embodiment are realized, but also an operating system (OS) or the like running on the computer is actually executed based on the instructions of the program. It goes without saying that a part or all of the processing is performed and the processing realizes the functions of the above-described embodiments.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program read from the recording medium is written to the memory provided to the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion board is read based on the instruction of the program code. It goes without saying that the case where the CPU or the like provided in the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiment are realized by the processing.
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 Further, the present invention may be applied to a system constituted by a plurality of devices or to an apparatus comprising a single device. It goes without saying that the present invention can also be applied to the case where it is achieved by supplying a program to a system or apparatus. In this case, by reading a recording medium storing a program for achieving the present invention into the system or apparatus, the system or apparatus can receive the effects of the present invention.
上記プログラムの形態は、オブジェクトコード、インタプリタにより実行されるプログラムコード、OS(オペレーティングシステム)に供給されるスクリプトデータ等の形態から成ってもよい。 The form of the program may be an object code, a program code executed by an interpreter, script data supplied to an operating system (OS), and the like.
100 情報処理システム
101 情報処理装置
102 サーバ
103 ネットワーク
100
Claims (6)
前記撮像装置を用いて、オブジェクトを撮像する撮像手段と、
前記撮像手段により撮像した撮像画像を電子データとして取得する撮像画像取得手段と、
前記撮像画像取得手段により取得された電子データに含まれる文字数を取得する文字数取得手段と、
前記文字数取得手段により取得された文字数が所定数より大きい場合、前記撮像装置が撮像する画像を拡大すべくズームを行って撮像するズーム撮像手段と
を備えることを特徴とすることを特徴とする情報処理装置。 An information processing apparatus comprising an imaging device, wherein
Imaging means for imaging an object using the imaging device;
A captured image acquisition unit that acquires a captured image captured by the imaging unit as electronic data;
A character number acquisition unit that acquires the number of characters included in the electronic data acquired by the captured image acquisition unit;
Information characterized by further comprising: a zoom imaging means for performing zooming to magnify an image captured by the imaging device when the number of characters acquired by the character number acquiring means is larger than a predetermined number; Processing unit.
前記エラー判定手段によりエラーと判定された箇所を識別して表示するエラー表示手段と
を特徴とする請求項1に記載の情報処理装置。 An error determination unit that determines an error of the entry content included in the image captured by the zoom imaging unit;
2. The information processing apparatus according to claim 1, further comprising: an error display unit that identifies and displays a portion determined as an error by the error determination unit.
を特徴とする請求項2に記載の情報処理装置。 When the part determined to be an error by the error determination means is not included in the partial image of the form captured by the zoom imaging means, the part determined to be the error is identified and displayed outside the image The information processing apparatus according to claim 2, further comprising an out-of-image error display unit.
前記エラー判定手段は、前記定義情報取得手段により取得された認識領域と記入種別とを用いて判定すること
を特徴とする請求項2または3に記載の情報処理装置。 The information processing apparatus further comprises definition information acquisition means for acquiring form definition information including a recognition area of the object and an entry type.
The information processing apparatus according to claim 2, wherein the error determination unit determines using the recognition area and the entry type acquired by the definition information acquisition unit.
前記情報処理装置が、
前記撮像装置を用いて、オブジェクトを撮像する撮像ステップと、
前記撮像ステップにより撮像した撮像画像を電子データとして取得する撮像画像取得ステップと、
前記撮像画像取得ステップにより取得された電子データに含まれる文字数を取得する文字数取得ステップと、
前記文字数取得ステップにより取得された文字数が所定数より大きい場合、前記撮像装置が撮像する画像を拡大すべくズームを行って撮像するズーム撮像ステップと
を実行することを特徴とする処理方法。 A processing method in an information processing apparatus provided with an imaging device, comprising:
The information processing apparatus
An imaging step of imaging an object using the imaging device;
A captured image acquisition step of acquiring a captured image captured by the imaging step as electronic data;
A character number acquisition step of acquiring the number of characters included in the electronic data acquired by the captured image acquisition step;
A processing method comprising: performing a zoom imaging step of performing zooming and imaging so as to magnify an image captured by the imaging device if the number of characters acquired by the character number acquiring step is larger than a predetermined number.
前記情報処理装置を、
前記撮像装置を用いて、オブジェクトを撮像する撮像手段と、
前記撮像手段により撮像した撮像画像を電子データとして取得する撮像画像取得手段と、
前記撮像画像取得手段により取得された電子データに含まれる文字数を取得する文字数取得手段と、
前記文字数取得手段により取得された文字数が所定数より大きい場合、前記撮像装置が撮像する画像を拡大すべくズームを行って撮像するズーム撮像手段
として機能させるためのプログラム。
A program executable by an information processing apparatus including an imaging apparatus,
The information processing apparatus
Imaging means for imaging an object using the imaging device;
A captured image acquisition unit that acquires a captured image captured by the imaging unit as electronic data;
A character number acquisition unit that acquires the number of characters included in the electronic data acquired by the captured image acquisition unit;
A program for causing the image pickup apparatus to function as a zoom imaging unit that performs zooming to capture an image to be enlarged when the number of characters acquired by the character number acquiring unit is larger than a predetermined number.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017192034A JP2019068263A (en) | 2017-09-29 | 2017-09-29 | Information processing apparatus, processing method thereof, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017192034A JP2019068263A (en) | 2017-09-29 | 2017-09-29 | Information processing apparatus, processing method thereof, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019068263A true JP2019068263A (en) | 2019-04-25 |
Family
ID=66340851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017192034A Pending JP2019068263A (en) | 2017-09-29 | 2017-09-29 | Information processing apparatus, processing method thereof, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019068263A (en) |
-
2017
- 2017-09-29 JP JP2017192034A patent/JP2019068263A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6826293B2 (en) | Information information system and its processing method and program | |
US11328504B2 (en) | Image-processing device for document image, image-processing method for document image, and storage medium on which program is stored | |
WO2011129113A1 (en) | Form processing device, form processing method, and recording medium | |
US11514700B2 (en) | Image-processing device, image-processing method, and storage medium on which program is stored | |
JP6886100B2 (en) | Information processing equipment, its processing method and program | |
WO2020008628A1 (en) | Image processing system, image processing method, and program | |
US11605219B2 (en) | Image-processing device, image-processing method, and storage medium on which program is stored | |
JP6788197B2 (en) | Information processing equipment, its processing method and program | |
JP2019068263A (en) | Information processing apparatus, processing method thereof, and program | |
JP2017097859A (en) | Information processing device, and processing method and program thereof | |
JP6708935B2 (en) | Information processing apparatus, processing method thereof, and program | |
JP2019067145A (en) | Information processing device, processing method of the same, and program | |
JP2019067146A (en) | Information processing device, processing method of the same, and program | |
JP2019067144A (en) | Information processing device, processing method and program of the same | |
JP2008084174A (en) | Printed matter inspection device, printed matter inspection method, and program | |
JP2016085756A (en) | Information reading device and program | |
JP6917688B2 (en) | Form reader, form reading method, program, and form reading system | |
JP2024049893A (en) | Meter reading apparatus, meter reading method, and meter reading program | |
CN114998912A (en) | Data extraction method and device, electronic equipment and storage medium | |
JP2023533297A (en) | Segmentation of consecutive dynamic scans | |
JP2017151639A (en) | Document imaging apparatus, document imaging method and program for document imaging apparatus | |
JP6705984B2 (en) | Information processing apparatus, processing method thereof, and program | |
JP5257061B2 (en) | Image processing apparatus, method, program, and shipment sorting apparatus | |
JPH0981689A (en) | Character recognition method and device therefor | |
JP2016126763A (en) | Information processing system, and information processing method and program thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180703 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181031 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190115 |