JP6255762B2 - Image recognition apparatus, image recognition method, and program - Google Patents
Image recognition apparatus, image recognition method, and program Download PDFInfo
- Publication number
- JP6255762B2 JP6255762B2 JP2013148722A JP2013148722A JP6255762B2 JP 6255762 B2 JP6255762 B2 JP 6255762B2 JP 2013148722 A JP2013148722 A JP 2013148722A JP 2013148722 A JP2013148722 A JP 2013148722A JP 6255762 B2 JP6255762 B2 JP 6255762B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- image
- image recognition
- recognized
- specific information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Cash Registers Or Receiving Machines (AREA)
- Image Processing (AREA)
- Character Discrimination (AREA)
Description
本発明は、画像認識装置、画像認識方法及びプログラムに関する。 The present invention relates to an image recognition apparatus, an image recognition method, and a program.
近年、画像認識技術が様々な場面で利用されている。特許文献１に関連する技術が開示されている。特許文献１には、画像データを入力する入力手段と、入力した画像データから認識すべき構造物を含む認識領域を取得する取得手段と、認識領域から枠線を抽出する枠線抽出手段とを備える画像認識装置が開示されている。
In recent years, image recognition technology has been used in various situations. A technique related to
所定の媒体に付された情報を認識し、認識した情報が所定の条件を満たすか否かを判定する作業を行う場合がある。例えば、シート状の媒体に貼付された複数のシール各々に示された得点（数値）を認識し、それらの合計値が所定の値以上か否かを判定する場合がある。 There is a case where information attached to a predetermined medium is recognized, and an operation of determining whether the recognized information satisfies a predetermined condition is performed. For example, a score (numerical value) shown on each of a plurality of stickers affixed to a sheet-like medium may be recognized, and it may be determined whether or not the total value is a predetermined value or more.
当該作業は、所定の媒体に付された情報（例：得点）が増えるほど、作業効率が悪くなるほか、認識ミス、判定ミス等が発生し易くなる。また、判定対象となる媒体の数が増え、同じ判定作業を繰り返し実行しなければならない場合、認識ミス、判定ミス等が発生し易くなる。 In this work, as the information (for example, a score) attached to a predetermined medium increases, the work efficiency becomes worse, and a recognition error, a determination error, and the like are more likely to occur. Further, when the number of media to be determined increases and the same determination operation must be repeatedly performed, recognition errors, determination errors, and the like are likely to occur.
本発明は、所定の媒体に付された情報を認識し、認識した情報が所定の条件を満たすか否かを判定する作業の助けとなる技術を提供することを課題とする。 It is an object of the present invention to provide a technique for assisting an operation of recognizing information attached to a predetermined medium and determining whether the recognized information satisfies a predetermined condition.
本発明によれば、
特定情報を含む認識対象が１つ又は複数付された被認識媒体を撮像した画像のデータを取得する画像取得手段と、
前記画像のデータに対して画像認識処理を行い、前記画像内に存在する前記認識対象各々の前記特定情報を認識する画像認識手段と、
前記画像認識手段が認識した前記特定情報に基づいて、当該特定情報の統計値を算出し、前記統計値が所定の条件を満たすか否かを判断する算出手段と、
を有する画像認識装置が提供される。
According to the present invention,
Image acquisition means for acquiring data of an image obtained by imaging a recognized medium to which one or more recognition targets including specific information are attached;
Image recognition means for performing image recognition processing on the image data and recognizing the specific information of each of the recognition objects present in the image;
Calculation means for calculating a statistical value of the specific information based on the specific information recognized by the image recognition means, and determining whether the statistical value satisfies a predetermined condition ;
Is provided.
また、本発明によれば、
コンピュータを、
特定情報を含む認識対象が１つ又は複数付された被認識媒体を撮像した画像のデータを取得する画像取得手段、
前記画像のデータに対して画像認識処理を行い、前記画像内に存在する前記認識対象各々の前記特定情報を認識する画像認識手段、
前記画像認識手段が認識した前記特定情報に基づいて、当該特定情報の統計値を算出し、前記統計値が所定の条件を満たすか否かを判断する算出手段、
として機能させるためのプログラムが提供される。
Moreover, according to the present invention,
Computer
Image acquisition means for acquiring data of an image obtained by imaging a recognized medium to which one or more recognition targets including specific information are attached;
Image recognition means for performing image recognition processing on the image data and recognizing the specific information of each of the recognition objects present in the image;
Calculation means for calculating a statistical value of the specific information based on the specific information recognized by the image recognition means, and determining whether the statistical value satisfies a predetermined condition ;
A program for functioning as a server is provided.
また、本発明によれば、
コンピュータが、
特定情報を含む認識対象が１つ又は複数付された被認識媒体を撮像した画像のデータを取得する画像取得工程と、
前記画像のデータに対して画像認識処理を行い、前記画像内に存在する前記認識対象各々の前記特定情報を認識する画像認識工程と、
前記画像認識工程で認識した前記特定情報に基づいて、当該特定情報の統計値を算出し、前記統計値が所定の条件を満たすか否かを判断する算出工程と、
を実行する画像認識方法が提供される。
Moreover, according to the present invention,
Computer
An image acquisition step of acquiring data of an image obtained by imaging a recognized medium to which one or more recognition targets including specific information are attached;
Performing an image recognition process on the image data, and recognizing the specific information of each of the recognition objects present in the image;
A calculation step of calculating a statistical value of the specific information based on the specific information recognized in the image recognition step, and determining whether the statistical value satisfies a predetermined condition ;
An image recognition method for performing is provided.
本発明によれば、所定の媒体に付された情報を認識し、認識した情報が所定の条件を満たすか否かを判定する作業の助けとなる技術が実現される。 ADVANTAGE OF THE INVENTION According to this invention, the technique which assists the operation | work which recognizes the information attached | subjected to the predetermined medium and determines whether the recognized information satisfy | fills predetermined conditions is implement | achieved.
以下、本発明の実施の形態について図面を用いて説明する。なお、同様の構成要素には同様の符号を付し、適宜説明を省略する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, the same code | symbol is attached | subjected to the same component and description is abbreviate | omitted suitably.
＜ハードウェア構成＞
本実施形態の画像認識装置は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされたプログラム（あらかじめ装置を出荷する段階からメモリ内に格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムも含む）、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インタフェイスを中心にハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
<Hardware configuration>
The image recognition apparatus according to this embodiment includes a CPU (Central Processing Unit), a memory, and a program loaded in the memory (a program stored in the memory from the stage of shipping the apparatus in advance, a CD (Compact Disc) and other storage media and programs downloaded from servers on the Internet), storage units such as hard disks for storing the programs, and any combination of hardware and software, centering on the network connection interface Is done. It will be understood by those skilled in the art that there are various modifications to the implementation method and apparatus.
図１は、本実施形態の画像認識装置のハードウェア構成の一例を概念的に示す図である。画像認識装置は据置型の装置であってもよいし、携帯端末であってもよい。図示するように、本実施形態の画像処理装置、例えば、バス１０Ａで相互に接続されるＣＰＵ１Ａ、ＲＡＭ（Random Access Memory）２Ａ、ＲＯＭ（Read Only Memory）３Ａ、通信部４Ａ、表示制御部５Ａ、ディスプレイ６Ａ、操作受付部７Ａ、操作部８Ａ、補助記憶装置９Ａ等を有する。なお、図示しないが、動画像や静止画像を撮像するカメラ部などのその他の要素を含むこともできる。
FIG. 1 is a diagram conceptually illustrating an example of a hardware configuration of the image recognition apparatus according to the present embodiment. The image recognition device may be a stationary device or a portable terminal. As shown in the figure, the image processing apparatus of this embodiment, for example, a
ＣＰＵ１Ａは各要素とともに画像認識装置のコンピュータ全体を制御する。ＲＯＭ３Ａは、コンピュータを動作させるためのプログラムや各種アプリケーションプログラム、それらのプログラムが動作する際に使用する各種設定データなどを記憶する領域を含む。ＲＡＭ２Ａは、プログラムが動作するための作業領域など一時的にデータを記憶する領域を含む。補助記憶装置９Ａは大量のデータを記憶可能であり、例えば磁気記憶のハードディスクであってもよい。
CPU1A controls the whole computer of an image recognition apparatus with each element. The ROM 3A includes an area for storing programs for operating the computer, various application programs, various setting data used when these programs operate. The
操作部８Ａは、操作キー、操作ボタン、スイッチ、ジョグダイヤル、タッチパッド、ディスプレイと一体になったタッチパネルなどを含む。操作受付部７Ａは、ユーザが操作部８Ａを操作することでなされるユーザ入力を受付ける。 The operation unit 8A includes operation keys, operation buttons, switches, a jog dial, a touch pad, a touch panel integrated with a display, and the like. The operation reception unit 7A receives user input made by the user operating the operation unit 8A.
通信部４Ａは、有線で接続された外部機器と通信を行うことができる。また、通信部４Ａは、あらゆる無線通信技術（近距離無線通信、無線ＬＡＮ（Local Area Network）通信、携帯電話通信網を利用した通信等）を利用して外部機器と通信を行うことができる。 The communication unit 4A can communicate with an external device connected by wire. The communication unit 4A can communicate with an external device using any wireless communication technology (short-range wireless communication, wireless LAN (Local Area Network) communication, communication using a mobile phone communication network, etc.).
ディスプレイ６Ａは、ＬＥＤ（Light Emitting Diode）表示器や、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイなどを含む。表示制御部５Ａは、ＣＰＵ１Ａからの指示に従い、ディスプレイ６Ａに各種画面表示を行う。
The
＜第１の実施形態＞
本実施形態では、所定の媒体に付された情報を認識し、認識した情報が所定の条件を満たすか否かを判定する作業の助けとなる技術として、画像認識技術を利用した技術を提供する。
<First Embodiment>
In the present embodiment, a technique using an image recognition technique is provided as a technique for recognizing information attached to a predetermined medium and assisting in determining whether the recognized information satisfies a predetermined condition. .
具体的には、本実施形態の画像認識装置は、特定情報を含む認識対象が１つ又は複数付された被認識媒体を撮像した画像のデータを取得する。そして、取得した画像のデータに対して画像認識処理を行い、１つ又は複数の認識対象各々が含む特定情報の内容を認識する。そして、認識した特定情報の内容に基づいて、被認識媒体に付された特定情報が所定の条件を満たすか否かを判定するために利用される情報を生成する。 Specifically, the image recognition apparatus of the present embodiment acquires data of an image obtained by capturing a recognized medium to which one or more recognition targets including specific information are attached. Then, image recognition processing is performed on the acquired image data to recognize the content of the specific information included in each of the one or more recognition targets. And based on the content of the recognized specific information, the information used in order to determine whether the specific information attached | subjected to the to-be-recognized medium satisfy | fills a predetermined condition is produced | generated.
ここで、本実施形態の画像認識装置の詳細な説明を理解し易くするため、本実施形態の画像認識装置の適用場面の一例を示す。当然、本実施形態の画像認識装置はここで例示する適用場面で利用されるものに限定されない。 Here, in order to facilitate understanding of the detailed description of the image recognition apparatus of the present embodiment, an example of an application scene of the image recognition apparatus of the present embodiment is shown. Of course, the image recognition apparatus of the present embodiment is not limited to the one used in the application scene exemplified here.
図３に、被認識媒体２０の一例を示す。被認識媒体２０は、例えば、１つ又は複数の認識対象２２が付されたシート状媒体２１である。シート状媒体２１は、紙や樹脂フィルムなどであってもよい。
FIG. 3 shows an example of the recognized
認識対象２２は、シート状媒体２１と別個に設けられた子媒体であり、シート状媒体２１の表面に貼付されたものであってもよい。例えば、認識対象２２はシールであってもよいし、又は、糊などの貼付用材料でシート状媒体２１の表面に貼付された紙や樹脂フィルムであってもよい。認識対象２２の形状はあらかじめ定められた形状とすることができる。図示する例では丸であるが、三角、四角などその他の形状であってもよい。
The
認識対象２２は、文字、数字、記号、図形、絵等を用いて形成された特定情報を含む。図示する認識対象２２は、特定情報として得点（数値）を含んでいる。
The
例えば、認識対象２２はシールであり、パン、菓子、飲み物などの商品に貼付されている。各認識対象２２に記されている得点（数値）は、商品の価格に応じた値（例：価格が高いほど高い値）となっていてもよい。商品の販売者は、シート状媒体２１を作成し、顧客に配布する。認識対象２２付き商品を購入した顧客は、商品から認識対象２２をはがし、シート状媒体２１の所定の位置に貼付する。そして、シート状媒体２１に貼付された認識対象２２が含む得点の合計（以下、「被認識媒体２０に付された得点の合計」）が所定の値になると、顧客はその被認識媒体２０を商品引き換え業者に渡し、代わりに所定のサービス（例：商品）を受け取る。
For example, the
上記適用例の場合、本実施形態の画像認識装置は、例えば、商品引き換え業者によって利用される。被認識媒体２０を顧客から受取った商品引き換え業者は、画像認識装置を利用して、受取った被認識媒体２０に付された得点の合計（合計得点）が商品との引き換え条件を満たしているか判定することができる。
In the case of the above application example, the image recognition apparatus of the present embodiment is used by, for example, a merchandise exchange trader. The merchandise exchange trader who received the recognized medium 20 from the customer uses the image recognition apparatus to determine whether the total score (total score) given to the received recognized
また、上記適用例の場合、本実施形態の画像認識装置は、顧客によっても利用される。シート状媒体２１に認識対象２２を貼付した顧客は、画像認識装置を利用して、被認識媒体２０に付された得点の合計（合計得点）が、商品との引き換え条件を満たしているか判定する。この場合、顧客は、例えば自身のカメラ機能付き携帯端末に所定のプログラムをインストールし、当該携帯端末を本実施形態の画像認識装置として利用することができる。
In the case of the above application example, the image recognition apparatus of the present embodiment is also used by a customer. The customer who has attached the
以下、本実施形態の画像認識装置１０の構成について詳細に説明する。図２に、本実施形態の画像認識装置１０の機能ブロック図の一例を示す。図示するように、画像認識装置１０は、画像取得部１１と、画像認識部１２と、算出部１３とを有する。なお、画像認識装置１０は据置型の装置であってもよいし、携帯端末であってもよい。
Hereinafter, the configuration of the
画像取得部１１は、特定情報を含む認識対象２２が１つ又は複数付された被認識媒体２０を撮像した画像のデータ（以下、「画像データ」）を取得する。画像取得部１１が画像データを取得する手段は特段制限されない。例えば、画像取得部１１はカメラ機能を備えおり、被認識媒体２０を撮像することで、画像データを取得してもよい。または、画像取得部１１は、無線及び／又は有線での通信により、外部機器から画像データを取得してもよい。画像取得部１１が取得する画像データは、動画像のデータ（単位時間内に連続的に撮像された所定数の画像フレームを含む画像データ）であってもよいし、静止画像のデータ（連続的に撮像されていない画像データ）であってもよい。
The
画像認識部１２は、画像取得部１１が取得した画像データに対して画像認識処理を行い、その画像内に存在する認識対象２２各々の特定情報を認識する。画像認識部１２が画像内に存在する認識対象２２を特定する手段及び認識対象２２が含む特定情報を認識する手段は特段制限されず、あらゆる技術を採用することができる。例えば、所定の規格により定まった認識対象２２の形状や、特定情報がとり得る値の範囲（例：１〜３の数値など）、特定情報の表記態様（例：アラビア数字、漢数字、アルファベット、カタカナ、ひらがな、漢字等）等を利用して、画像中に存在する認識対象２２対象を特定したり、認識対象２２が有する特定情報を認識したりしてもよい。
The
算出部１３は、画像認識部１２が認識した特定情報に基づいて、当該特定情報の統計値を算出する。統計値としては、合計値、最大値、最小値、最頻値、平均値、分散値などが考えられる。例えば、画像認識部１２が図３に示すような被認識媒体２０を撮像した画像データに対して画像認識処理を行い、１２個の認識対象２２各々が有する数値（１〜３のいずれか）を個別に認識すると、算出部１３はそれらの数値の統計値を算出する。算出部１３が算出した統計値は、当該被認識媒体２０に付された特定情報が所定の条件を満たすか否かを判定するために利用される。
The
なお、算出部１３は、算出した統計値が所定の条件（例：所定の値以上）を満たすか否かをさらに判定してもよい。算出部１３による判定結果は、ユーザに向けて出力されてもよい。出力手段は特段制限されず、ディスプレイ、スピーカ、メール、プリンター、通知用ライト（例：所定の条件を満たす時点灯）などのあらゆる出力装置を用いて実現することができる。
Note that the
ここで、図１５のフローチャートを用いて、本実施形態の画像認識装置１０の処理の流れの一例を説明する。
Here, an example of the flow of processing of the
Ｓ１０では、画像取得部１１が、特定情報を含む認識対象２２が１つ又は複数付された被認識媒体２０を撮像した画像のデータを取得する。例えば、画像取得部１１は、外部機器との通信により、外部機器が撮像した画像のデータ、又は、外部機器に記憶されている画像のデータを取得する。または、画像取得部１１は、ユーザ操作に応じて、自己が有するカメラ機能を起動して被認識媒体２０を撮像した画像のデータを生成し、当該画像のデータを取得する。
In S <b> 10, the
Ｓ２０では、画像認識部１２が、Ｓ１０で画像取得部１１により取得された画像のデータに対して画像認識処理を行い、画像内に存在する認識対象２２各々の特定情報を認識する。
In S20, the
Ｓ３０では、算出部１３が、Ｓ２０で画像認識部１２により認識された特定情報に基づいて、当該特定情報の統計値を算出する。その後、算出部１３は、Ｓ３０で算出した統計値が所定の条件を満たすか判定し、判定結果をユーザに向けて出力してもよい。判定結果の出力は、ディスプレイ、スピーカ、メール、プリンター、通知用ライトなどのあらゆる出力装置を利用することができる。
In S30, the
以上説明した本実施形態の画像認識装置１０によれば、コンピュータ処理により、所定の媒体に付された情報が所定の条件を満たすか否かを判定する作業の助けとなる情報を生成することができる。当該判定作業を行うユーザが本実施形態の画像認識装置１０を用いた場合、ユーザは、被認識媒体２０を撮像した画像を画像認識装置１０に入力し、判定作業を行わせる操作を行うだけでよい。すなわち、ユーザは、特定情報の内容を認識したり、それらが所定の条件を満たすか否か判定したりする必要はない。結果、作業効率を向上させることができるほか、認識ミス、判定ミス等の人為的なミスを軽減することが可能となる。
According to the
＜第２の実施形態＞
本実施形態の画像認識装置１０は、被認識媒体２０を撮像した動画像データを取得し、複数のフレームのデータに対して画像認識処理を行った後、複数のフレームのデータ各々に対応する画像認識処理の結果に基づいて、被認識媒体２０に付された特定情報の統計値を決定する点で、第１の実施形態と異なる。その他の構成は、第１の実施形態と同様である。
<Second Embodiment>
The
図４に、本実施形態の画像認識装置１０の機能ブロック図の一例を示す。図示するように、画像認識装置１０は、画像取得部１１と、画像認識部１２と、算出部１３と、決定部１４とを有する。
FIG. 4 shows an example of a functional block diagram of the
画像取得部１１は、被認識媒体２０を撮像した動画像データ（以下、「動画像データ」）を取得する。すなわち、画像取得部１１は、被認識媒体２０を撮像した複数のフレームのデータを取得する。画像取得部１１は、動画像を撮像する機能を備えており、被認識媒体２０の動画像を撮像することで、動画像データの取得を実現してもよい。または、画像取得部１１は、無線及び／又は有線での通信により、外部機器から動画像データを取得してもよい。外部機器から動画像データを取得する場合、画像取得部１１は、外部機器である撮像装置（不図示）が撮像した動画像データをリアルタイム処理で取得してもよいし、バッチ処理で取得してもよい。
The
画像認識部１２は、画像取得部１１が取得した複数のフレームのデータに対して画像認識処理を行う。そして、画像認識部１２は、複数のフレーム各々の中に存在する認識対象各々の特定情報を認識する。画像認識部１２は、画像取得部１１が取得した複数のフレームのデータすべてに対して画像認識処理を行ってもよいし、一部の複数のフレームのデータに対してのみ行ってもよい。後者の例としては、例えば撮像順に時系列に複数のフレームのデータを並べ、所定数おきのフレームを画像認識処理対象としてもよい。
The
ここで、図５に、画像認識部１２により出力される情報の一例を模式的に示す。図５に示す情報は、フレームＩＤに、被認識媒体２０のＩＤ、認識対象２２のＩＤ、画像認識部１２が認識した特定情報の値、当該値の信頼度を対応付けた情報である。
Here, FIG. 5 schematically shows an example of information output by the
フレームＩＤは、画像認識部１２が画像認識処理を行ったフレームのデータに対して所定の規則に従って付したＩＤである。被認識媒体２０のＩＤは、画像認識部１２が画像認識処理を行ったフレームから抽出した被認識媒体２０に、所定の規則に従って付したＩＤである。原則、１つのフレームには１つの被認識媒体２０が撮像されているものとする。以下の実施形態で一例を説明するが、画像認識装置１０は、例えば時間的に前後する２つのフレーム間のデータの差分などに基づいて、撮像されている被認識媒体２０が切り替わったことを判断する機能を備えてもよい。そして、被認識媒体２０が切り替わったと判断すると、新たな被認識媒体２０に対して所定の規則に従い新たなＩＤを付与してもよい。
The frame ID is an ID assigned to data of a frame that has been subjected to image recognition processing by the
認識対象ＩＤは、画像認識部１２がフレームのデータから抽出した１つ又は複数の認識対象２２各々に所定の規則に従って付したＩＤである。画像認識部１２は、所定のフレームのデータから認識対象２２を抽出してＩＤを付した後に、時間的にそれ以降のフレームのデータに対して画像認識処理を行う際は、ＩＤを付した認識対象２２各々の位置を追跡することで、複数のフレームのデータに跨って存在する認識対象２２の対応関係を把握することができる。複数のフレームのデータに跨って存在する認識対象２２の対応関係を把握する手段はこれに限定されず、あらゆる技術を利用することができる。また、画像認識部１２が認識した特定情報の値の信頼度を算出する手段は特段制限されず、あらゆる技術を利用することができる。
The recognition target ID is an ID assigned to each of one or more recognition targets 22 extracted from the frame data by the
図４に戻り、算出部１３は、画像認識部１２により出力される情報（例：図５）を利用して、複数のフレームのデータ各々に対応する統計値を算出する。
Returning to FIG. 4, the
ここで、図６に、算出部１３により出力される情報の一例を模式的に示す。図６に示す情報は、フレームＩＤに、被認識媒体２０のＩＤ、算出部１３が算出した統計値、統計値の信頼度を対応付けた情報である。図示する統計値の信頼度は、各フレームに含まれる複数の認識対象２２各々の認識結果（値）の信頼度（例：図５）の平均値である。なお、平均値に代えて、合計値等の他の統計値とすることもできる。
Here, FIG. 6 schematically illustrates an example of information output by the
図４に戻り、決定部１４は、複数のフレームのデータ各々に対する画像認識処理の結果に基づいて、被認識媒体２０の統計値を決定する。すなわち、決定部１４は、算出部１３により出力される情報（例：図６）を利用して、各被認識媒体２０の統計値を決定する。
Returning to FIG. 4, the
例えば、決定部１４は、第１の被認識媒体２０に対応づけられた複数のフレーム各々に対応する統計値の中の最大値、最小値、平均値、又は、最頻値を、第１の被認識媒体の統計値として決定してもよい。その他、決定部１４は、統計値の信頼度が最も高いフレームに対応する統計値を、第１の被認識媒体の統計値として決定してもよい。なお、決定部１４は、算出部１３が算出した複数のフレームのデータ各々に対する統計値のすべてを利用して上記決定処理を行ってもよいし、一部を利用して上記決定処理を行ってもよい。
For example, the
ここで、図７に、決定部１４により出力される情報の一例を模式的に示す。図７に示す情報は、被認識媒体２０のＩＤに、決定部１４が決定した統計値（最終統計値）を対応付けた情報である。
Here, FIG. 7 schematically illustrates an example of information output by the
なお、算出部１３は、決定部１４が決定した統計値が所定の条件（例：所定の値以上）を満たすか否かをさらに判定してもよい。算出部１３による判定結果は、ユーザに向けて出力されてもよい。出力手段は特段制限されず、ディスプレイ、スピーカ、メール、プリンター、通知用ライトなどのあらゆる出力装置を用いて実現することができる。
The
ここで、図１６のフローチャートを用いて、本実施形態の画像認識装置１０の処理の流れの一例を説明する。
Here, an example of the flow of processing of the
Ｓ１０では、画像取得部１１が、特定情報を含む認識対象２２が１つ又は複数付された被認識媒体２０を撮像した動画像のデータを取得する。例えば、画像取得部１１は、外部機器との通信により、外部機器が撮像した動画像のデータ、又は、外部機器に記憶されている動画像のデータを、リアルタイム処理又はバッチ処理で取得する。または、画像取得部１１は、ユーザ操作に応じて、自己が有するカメラ機能を起動して被認識媒体２０を撮像した動画像のデータを生成し、当該動画像のデータを取得する。
In S <b> 10, the
Ｓ２０では、画像認識部１２が、Ｓ１０で画像取得部１１により取得された動画像のデータに対して画像認識処理を行い、画像内に存在する認識対象２２各々の特定情報を認識する。
In S20, the
Ｓ１０において画像取得部１１がリアルタイム処理で動画像のデータを外部機器から取得している場合、画像認識部１２はリアルタイム処理で画像認識処理を行ってもよい。これに対し、Ｓ１０において画像取得部１１がバッチ処理で外部機器から動画像のデータを取得している場合、画像認識部１２はバッチ処理で画像認識処理を行ってもよい。また、Ｓ１０において画像取得部１１が自己のカメラ機能により動画像データを生成している場合、画像取得部１１による動画像の撮像と並行して、リアルタイム処理で画像認識処理を行ってもよいし、又は、画像取得部１１による動画像の撮像が終了後、バッチ処理で画像認識処理を行ってもよい。
In S10, when the
Ｓ３０では、算出部１３が、Ｓ２０で画像認識部１２により認識された特定情報に基づいて、当該特定情報の統計値を算出する。Ｓ２０において画像認識部１２がリアルタイム処理で画像認識処理を行っている場合、算出部１３はリアルタイム処理で統計値の算出を行ってもよい。一方、Ｓ２０において画像認識部１２がバッチ処理で画像認識処理を行っている場合、算出部１３はバッチ処理で統計値の算出を行ってもよい。
In S30, the
Ｓ４０では、決定部１４が、複数のフレームのデータ各々に対する画像認識処理の結果に基づいて、被認識媒体２０の統計値を決定する。
In S <b> 40, the
Ｓ３０において算出部１３がリアルタイム処理で統計値を算出している場合、決定部１４はリアルタイム処理で統計値の決定を行ってもよい。この場合、決定部１４は、例えばその時点までに蓄積された画像認識処理の結果を利用して、被認識媒体２０の統計値の決定を行う。そして、新たな画像認識処理の結果が追加されると、新たに追加されたデータを加えて、被認識媒体２０の統計値を決定し直す。
When the
一方、Ｓ３０において算出部１３がバッチ処理で統計値を算出している場合、決定部１４はバッチ処理で統計値の決定を行ってもよい。
On the other hand, when the
Ｓ４０の後、算出部１３は、Ｓ４０で決定部１４が決定した統計値が所定の条件を満たすか判定し、判定結果をユーザに向けて出力してもよい。判定結果の出力は、ディスプレイ、スピーカ、メール、プリンター、通知用ライトなどのあらゆる出力装置を利用することができる。
After S40, the
Ｓ４０において決定部１４がリアルタイム処理で統計値の決定を行っている場合、算出部１３はリアルタイム処理で所定の条件を満たすか判定する処理を行い、その結果を出力してもよい。この場合、最新の判定結果のみを出力してもよい。
When the
一方、Ｓ４０において決定部１４がバッチ処理で統計値の決定を行っている場合、算出部１３はバッチ処理で所定の条件を満たすか判定する処理を行い、その結果をまとめて出力してもよい。この場合、例えば、被認識媒体２０毎の判定結果を示す一覧を出力してもよい。
On the other hand, when the
以上説明した本実施形態の画像認識装置１０によれば、第１の実施形態と同様の作用効果を実現することができる。また、複数のフレームのデータを利用した所定の処理により各被認識媒体２０の統計値を決定することができるので、撮像された画像データ中に瞬間的にノイズ等が重畳しても、信頼度の高い統計値を算出することができる。
According to the
＜第３の実施形態＞
本実施形態の画像認識装置１０は、算出部１３及び決定部１４の構成が第２の実施形態と異なる。具体的には、第２の実施形態では、フレームのデータごとの統計値を算出した後、複数の統計値を利用して１つの統計値を決定した。これに対し、本実施形態では、複数のフレームのデータに跨って存在する各認識対象２２の特定情報をフレームのデータ毎に認識した後、複数の認識結果を利用して、まず、認識対象２２毎に１つの値（認識結果）を決定する。そして、認識対象２２毎に決定した１つの値（認識結果）を利用して、ある被認識対象の統計値を算出する。その他の構成は、第２の実施形態と同様である。
<Third Embodiment>
The
本実施形態の画像認識装置１０の機能ブロック図の一例は、第２の実施形態と同様に図４で示される。すなわち、図示するように、画像認識装置１０は、画像取得部１１と、画像認識部１２と、算出部１３と、決定部１４とを有する。画像取得部１１及び画像認識部１２の構成は、第２の実施形態と同様であるので、ここでの説明は省略する。
An example of a functional block diagram of the
算出部１３は、認識対象２２毎に、複数のフレームのデータ各々に対応する複数の画像認識処理の結果（各認識対象２２が有する特定情報の認識結果）に基づいて一の特定情報を決定する。
For each
すなわち、算出部１３は、画像認識部１２により出力される情報（例：図５）に含まれる、第１の被認識媒体２０に対応付けられている複数の認識対象２２のうち、まず、１つに着目する。そして、着目した認識対象２２が有する複数の認識結果（図５の値。複数のフレーム各々の認識結果。）を利用して、着目した認識対象２２に対応する１つの値（特定情報）を決定する。当該処理を第１の被認識媒体２０に対応付けられている複数の認識対象２２各々に対して行う。
That is, the
例えば、算出部１３は、第１の被認識媒体２０に対応付けられている第１の認識対象２２の複数の認識結果（フレームごとの値。特定情報。）の中の最大値、最小値、平均値、又は、最頻値を、第１の認識対象の１つの値（特定情報）として決定してもよい。
For example, the
ここで、図８に、算出部１３によるここまでの処理により出力される情報の一例を模式的に示す。図８に示す情報は、被認識媒体２０のＩＤに、認識対象２２のＩＤ、算出部１３が決定した各認識対象２２の１つの値（特定情報）を対応付けている。
Here, FIG. 8 schematically shows an example of information output by the processing up to this point by the
その後、算出部１３は、認識対象２２毎に決定した１つの値（特定情報）に基づいて、被認識媒体２０毎に統計値を算出する。統計値は、各被認識媒体２０に対応付けられている複数の認識対象２２の値（特定情報）の合計値、最大値、最小値、最頻値、平均値、分散値などが考えられる。
Thereafter, the
決定部１４は、算出部１３が算出した統計値を、被認識媒体２０の統計値として決定する。
The
以上説明した本実施形態の画像認識装置１０によれば、第１乃至第３の実施形態と同様の作用効果を実現することができる。また、複数のフレームのデータを利用した所定の処理により各被認識媒体２０の統計値を決定することができるので、撮像された画像データ中に瞬間的にノイズ等が重畳しても、信頼度の高い統計値を算出することができる。
According to the
＜第４の実施形態＞
本実施形態の画像認識装置１０は、動画像データ中に含まれる被認識媒体２０が切り替わったことを判断する機能を備える。その他の構成は、第２及び第３の実施形態と同様である。
<Fourth Embodiment>
The
図９に、本実施形態の画像認識装置１０の機能ブロック図の一例を示す。図示するように、画像認識装置１０は、画像取得部１１と、画像認識部１２と、算出部１３と、決定部１４と、切替決定部１５とを有する。画像取得部１１、画像認識部１２、算出部１３及び決定部１４の構成は、第２及び第３の実施形態と同様であるので、ここでの説明は省略する。
FIG. 9 shows an example of a functional block diagram of the
切替決定部１５は、複数のフレームのデータ、及び、画像認識処理の結果の少なくとも一方に基づいて、フレームのデータ内に存在する被認識媒体２０が他の被認識媒体２０に切り替わったことを判定する。判定手段は特段制限されず、あらゆる技術を採用することができる。以下一例を説明するが、これに限定されない。
The switching
例えば、切替決定部１５は、複数のフレームのデータ（動画像データ）内において時間的な位置関係が互いに前後する（隣接する）２つのフレームのデータ各々に対応する統計値（画像認識処理の結果）の差分が所定の閾値以上となると、被認識媒体２０が切り替わったと判定してもよい。または、上記２つのフレームのデータ各々に対応する複数の認識対象２２各々の値の組み合わせの差分が所定の閾値以上となると、被認識媒体２０が切り替わったと判定してもよい。その他、フレーム内に入ってきた被認識媒体２０を特定した後、当該被認識媒体２０の移動を追跡してもよい。そして、当該被認識媒体２０がフレーム外に移動した後に、１つの被認識媒体２０がフレーム内に入ってくると、被認識媒体２０が切り替わったと判定してもよい。
For example, the switching
本実施形態によれば、第１乃至第３の実施形態と同様の作用効果を実現することができる。また、複数の被認識媒体２０を連続的に動画像として撮像した場合であっても、複数の被認識媒体２０各々を個別に識別し、各々の統計値を算出することができる。
According to the present embodiment, it is possible to achieve the same operational effects as the first to third embodiments. Further, even when a plurality of recognized
＜第５の実施形態＞
本実施形態の画像認識装置１０は、所定の条件を満たす被認識媒体２０の数を特定するための情報を外部機器に送信する機能を有する。その他の構成は、第２乃至第４の実施形態と同様である。
<Fifth Embodiment>
The
図１０に、本実施形態の画像認識装置１０の機能ブロック図の一例を示す。図示するように、画像認識装置１０は、画像取得部１１と、画像認識部１２と、算出部１３と、決定部１４と、切替決定部１５と、送信部１６とを有する。画像取得部１１、画像認識部１２、算出部１３、決定部１４及び切替決定部１５の構成は、第２及び第４の実施形態と同様であるので、ここでの説明は省略する。
FIG. 10 shows an example of a functional block diagram of the
送信部１６は、決定部１４が決定した統計値が所定の条件を満たす被認識媒体２０の数を特定するための情報（以下、「特定情報」）を外部機器に送信する。
The
特定情報は、図７に示すような決定部１４が決定した各被認識媒体２０の統計値であってもよい。当該情報を受信した外部機器は、当該情報を利用して所定の条件（例：統計値が２０以上）を満たす認識対象２２を抽出し、その数をカウントすることができる。
The specific information may be a statistical value of each recognized medium 20 determined by the
その他の例として、特定情報は、図７に示すような決定部１４が決定した各被認識媒体２０の統計値を利用して算出された、所定の条件を満たす被認識媒体２０の数（カウント値）そのものであってもよい。すなわち、画像認識装置１０が、所定の条件を満たす被認識媒体２０の数（カウント値）をカウントし、その結果を特定情報として外部機器に送信してもよい。かかる場合、画像認識装置１０は、所定の条件を満たす被認識媒体２０の数（カウント値）をカウントする手段を備えることができる。
As another example, the specific information is the number (count) of the recognized
本実施形態によれば、外部機器は、所定の条件を満たした被認識媒体２０の数を把握することができる。
According to this embodiment, the external device can grasp the number of recognized
例えば、第１の実施形態で説明した適用場面の例のように、所定の条件を満たす被認識媒体２０と引き換えに所定の商品を提供するサービスを行っている場合、当該サービスの提供者は、送信部１６から送信されてきた特定情報を利用して、顧客に提供された商品の数や在庫の数を把握し、今後の生産計画などに反映させることができる。結果、商品が不足するなどの不都合を回避することができる。
For example, as in the example of the application scene described in the first embodiment, when a service is provided that provides a predetermined product in exchange for a recognized medium 20 that satisfies a predetermined condition, the provider of the service Using the specific information transmitted from the
＜第６の実施形態＞
本実施形態の画像認識装置１０は、画像取得部１１が取得した画像データをディスプレイ６Ａに表示するとともに、あわせて、当該画像データに含まれる被認識媒体２０に対する画像認識処理の結果をディスプレイ６Ａに表示する。その他の構成は、第１乃至第５の実施形態と同様である。
<Sixth Embodiment>
The
図１１に、本実施形態の画像認識装置１０の機能ブロック図の一例を示す。図示するように、画像認識装置１０は、画像取得部１１と、画像認識部１２と、算出部１３と、特定部１７と、出力部１８とを有する。なお、図示しないが、決定部１４、切替決定部１５、送信部１６をさらに有してもよい。画像取得部１１、画像認識部１２、算出部１３、決定部１４、切替決定部１５及び送信部１６の構成は、第１乃至第５の実施形態と同様である。
FIG. 11 shows an example of a functional block diagram of the
画像認識部１２は、第１の実施形態で説明したように、認識対象２２各々から認識した特定情報各々の認識信頼度を示す信頼度情報を算出する（例：図５）。また、画像認識部１２は、画像データ中から抽出した認識対象２２各々の位置情報を特定してもよい。位置情報は、画像データ中に定められた２次元座標の座標データで示された情報であってもよい。
As described in the first embodiment, the
特定部１７は、認識信頼度が予め定められた所定レベル以下の認識対象２２を特定する。出力部１８は、画像取得部１１が取得した画像のデータを用いて被認識媒体２０をディスプレイ６Ａに表示するとともに、特定手部１７が特定した認識対象２２を他の認識対象２２と識別する情報を出力する。
The specifying
ここで、図１２に、出力部１８がディスプレイ６Ａに表示する情報の一例を模式的に示す。
Here, FIG. 12 schematically shows an example of information that the
図１２に示すようにディスプレイ６Ａには、撮像画像表示領域３１と、認識結果表示領域３２とを含む画像が表示されている。
As shown in FIG. 12, an image including a captured
撮像画像表示領域３１には、画像取得部１１が取得した画像データが表示される。画像データは静止画像のデータであってもよいし、動画像のデータであってもよい。動画像のデータの場合、出力部１８は、リアルタイム処理で、画像取得部１１が取得した動画像のデータを撮像画像表示領域３１に表示してもよい。
In the captured
出力部１８は、図示するように、撮像画像表示領域３１に表示した画像データに重畳して、認識対象表示マーク３３を表示する。認識対象表示マーク３３は、画像認識装置１０が認識対象２２として認識している認識対象２２を示すための情報である。すなわち、認識対象表示マーク３３により囲まれている認識対象２２は、画像認識装置１０に認識対象２２として認識されている。画像認識部１２が算出した各認識対象２２の位置情報を利用して、認識対象表示マーク３３を表示すべき位置を特定することができる。このような認識対象表示マーク３３により、ユーザは、どの認識対象２２が正しく認識され、どの認識対象２２が正しく認識されていないかを把握することができる。
As illustrated, the
また、認識対象表示マーク３３は、認識している特定情報の内容（図の場合、１、２、３のいずれか）に応じて表示態様が異なる。図示する例の場合、特定情報の内容に応じて、認識対象表示マーク３３の形状が異なっている。特定情報が「１」と認識されている認識対象２２は、四角の認識対象表示マーク３３で囲まれている。特定情報が「２」と認識されている認識対象２２は、三角の認識対象表示マーク３３で囲まれている。特定情報が「３」と認識されている認識対象２２は、丸の認識対象表示マーク３３で囲まれている。ユーザは、認識対象表示マーク３３の形状により、各認識対象２２の特定情報がどのように認識されているのかを把握することができる。
Further, the display mode of the recognition
なお、認識している特定情報の内容に応じて認識対象表示マーク３３の表示態様を異ならせる手法は図１２に示す形状の変化に限定されず、色の変化、線種（点線、破線等）の変化など、あらゆる手法を採用することができる。
Note that the method of changing the display mode of the recognition
認識結果表示領域３２には、画像認識部１２による認識結果及び算出部１３による算出結果（統計値）が表示される。
In the recognition
ところで、図１２に示すように、認識対象２２の中に欠損部分を有する認識対象２２´が存在するなどの理由により、ある認識対象２２から認識した特定情報の認識信頼度が所定のレベル以下となる場合がある。出力部１８は、認識信頼度が所定レベル以下である認識対象２２を、他の認識対象２２と識別可能に表示する。例えば、図示する欠損部分を有する認識対象２２´の認識信頼度が所定レベル以下であるとする。かかる場合、出力部１８は、欠損部分を有する認識対象２２´を他の認識対象２２と識別可能に表示する。識別可能に表示する手段は特段制限されないが、例えば、図示するように、認識信頼度が所定のレベル以下である認識対象２２のみを点滅表示するなどして強調表示してもよい。ユーザは、当該表示により、認識信頼度が所定のレベル以下である認識対象２２を容易に把握することができる。そして、その認識対象２２の特定情報の認識内容が正しいか、特に注意して確認することができる。
By the way, as shown in FIG. 12, the recognition reliability of the specific information recognized from a
さらに、認識対象２２の状態によっては、認識対象２２としては認識できるものの、特定情報を全く認識できない場合が存在し得る。出力部１８は、このような認識対象２２を、さらに他の認識対象２２と識別可能に表示してもよい。例えば、出力部２２は、複数の認識対象２２を、所定のレベルより高い信頼度で認識している認識対象２２、所定のレベル以下の信頼度で認識している認識対象２２、及び、特定情報を全く認識できない認識対象２２の中の何れに該当するのか識別可能に表示してもよい。識別可能に表示する手法は特段制限されない。
Furthermore, depending on the state of the
なお、図１２に示す例の場合、欠損部分を有する認識対象２２´の特定情報の認識内容は正しいが、図１３に示すように誤って認識される場合がある。図１３に示す例の場合、欠損部分を有する認識対象２２´の特定情報が三角の認識対象表示マーク３３で囲まれていることから、「２」と認識されていることが分かる。このような場合、ユーザは、間違っている特定情報の内容を修正することができてもよい。これを実現するため、画像認識装置１０は、特定情報の訂正を受付ける訂正受付部をさらに有してもよい。訂正受付部は、出力部１８により、画像認識部１２が認識した特定情報を識別可能に出力されている認識対象２２（図１３の場合、認識対象表示マーク３３の表示態様により、画像認識部１２が認識している特定情報を識別可能に表示されている認識対象２２）の中の１つを選択して、画像認識部１２が認識している特定情報を訂正する入力を受付ける。
In the case of the example shown in FIG. 12, the recognition content of the specific information of the
例えば、ユーザは、図１３に示す画面において、認識されている特定情報の内容が間違っている認識対象２２に対応する認識対象表示マーク３３を選択する入力操作を行う。当該入力操作はディスプレイ６Ａ上の対象となる認識対象表示マーク３３が表示されている位置をタッチする操作であってもよいし、その他の操作であってもよい。訂正受付部が当該入力操作を受付けると、出力部１８は、図１４に示すように、ディスプレイ６Ａに修正受付領域３４を新たに表示する。訂正受付部は、修正受付領域３４を介して特定情報を修正する入力を受付けてもよい。
For example, on the screen shown in FIG. 13, the user performs an input operation to select a recognition
ユーザは、撮像画像表示領域３１に表示された画像データを観察することで、欠損部分を有する認識対象２２´の特定情報は「３」であることを認識し、修正受付領域２３における変更後の特定情報として「３」を選択する。図の場合、変更後の特定情報として入力されている値に応じて、撮像画像表示領域３１における欠損部分を有する認識対象２２´を囲っている認識対象表示マーク３３の表示態様、及び、認識結果表示領域３２の表示内容が変更されている。なお、出力部１８は、修正対象として選択されている認識対象２２（又はそれを囲っている認識対象表示マーク３３）を、他の認識対象２２（認識信頼度が所定のレベルより高い認識対象２２、及び、認識信頼度が所定のレベル以下であるその他の認識対象２２）と識別可能に表示してもよい。
By observing the image data displayed in the captured
ここで、本実施形態の変形例を説明する。本実施形態の画像認識装置１０は、特定情報の統計値を算出する構成（算出部１３）を備えなくてもよい。かかる場合、出力部１８は、図１２、図１３及び図１４に示す認識結果表示領域３２内の合計値を表示しない。その他の構成は、上述した本実施形態の構成と同様とすることができる。
Here, a modification of the present embodiment will be described. The
以上説明した本実施形態の画像認識装置１０によれば、第１乃至第５の実施形態と同様の作用効果を実現することができる。また、ユーザに、認識内容を提示するとともに、認識内容を修正する入力を受付けることができる。結果、画像認識処理に基づいて認識した結果に誤りが含まれる場合であっても、ユーザによる確認及び修正作業により当該誤りを訂正することができる。このように、本実施形態の画像認識装置１０は、ユーザによる確認作業及び修正作業が可能な構成となっているので、認識結果の信頼度をさらに向上させることができる。
According to the
以下、参考形態の例を付記する。
１． 特定情報を含む認識対象が１つ又は複数付された被認識媒体を撮像した画像のデータを取得する画像取得手段と、
前記画像のデータに対して画像認識処理を行い、前記画像内に存在する前記認識対象各々の前記特定情報を認識する画像認識手段と、
前記画像認識手段が認識した前記特定情報に基づいて、当該特定情報の統計値を算出する算出手段と、
を有する画像認識装置。
２． １に記載の画像認識装置において、
前記画像取得手段は、前記被認識媒体を撮像した複数のフレームのデータを取得し、
前記画像認識手段は、前記複数のフレームのデータに対して画像認識処理を行い、
前記複数のフレームのデータ各々に対する前記画像認識処理の結果に基づいて、前記被認識媒体の統計値を決定する決定手段をさらに有する画像認識装置。
３． ２に記載の画像認識装置において、
前記算出手段は、前記複数のフレームのデータ各々に対応する前記統計値を算出し、前記決定手段は、前記複数のフレームのデータ各々に対応する前記統計値を利用して、前記被認識媒体の統計値を決定する画像認識装置。
４． ３に記載の画像認識装置において、
前記決定手段は、前記算出手段により算出された前記複数のフレームのデータ各々に対応する前記統計値の中の最大値、最小値、平均値、又は、最頻値を、前記被認識媒体の統計値として決定する画像認識装置。
５． ２に記載の画像認識装置において、
前記算出手段は、前記認識対象毎に、前記複数のフレームのデータ各々に対応する複数の前記画像認識処理の結果に基づいて一の前記特定情報を決定し、前記認識対象毎に決定した前記特定情報の統計値を算出し、
前記決定手段は、前記認識対象毎に決定した前記特定情報の統計値を、前記被認識媒体の前記統計値として決定する画像認識装置。
６． ５に記載の画像認識装置において、
前記算出手段は、前記認識対象毎に、前記複数のフレームのデータ各々に対応する複数の前記特定情報の中の最大値、最小値、平均値、又は、最頻値を前記認識対象各々の一の前記特定情報として決定し、前記認識対象毎に決定した一の前記特定情報に基づいて前記統計値を算出する画像認識装置。
７． ２から６のいずれかに記載の画像認識装置において、
前記複数のフレームのデータ、及び、前記画像認識処理の結果の少なくとも一方に基づいて、前記フレーム内に存在する前記被認識媒体が他の前記被認識媒体に切り替わったことを判定する切替判定手段をさらに有する画像認識装置。
８． ７に記載の画像認識装置において、
前記決定手段が決定した前記統計値が所定の条件を満たす前記被認識媒体の数を特定するための情報を外部機器に送信する送信手段をさらに有する画像認識装置。
９． ２から８のいずれかに記載の画像認識装置において、
前記決定手段が決定した前記統計値が所定の条件を満たすか否かを報知する手段をさらに有する画像認識装置。
１０． １から９のいずれかに記載の画像認識装置において、
前記画像認識手段は、前記認識対象各々から認識した複数の前記特定情報各々の認識信頼度を示す信頼度情報を算出し、
前記認識信頼度が所定レベル以下の前記認識対象を特定する特定手段と、
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記特定手段が特定した前記認識対象を他の前記認識対象と識別する情報を出力する出力手段と、
を有する画像認識装置。
１１． １から１０のいずれかに記載の画像認識装置において、
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記画像認識手段が認識した前記認識対象を識別する情報を出力する出力手段をさらに有する画像認識装置。
１２． １から１１のいずれかに記載の画像認識装置において、
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記画像認識手段が認識した前記認識対象の前記特定情報を識別する情報を出力する出力手段をさらに有する画像認識装置。
１３． １から１２のいずれかに記載の画像認識装置において、
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記算出手段が算出した前記統計値を出力する出力手段をさらに有する画像認識装置。
１４． １から１３のいずれかに記載の画像認識装置において、
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記画像認識手段により前記認識対象として認識されているが、前記特定情報を認識されていない前記認識対象を、他の前記認識対象と識別する情報を出力する出力手段をさらに有する画像認識装置。
１５． １から１４のいずれかに記載の画像認識装置において、
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記画像認識手段が認識した前記認識対象の前記特定情報を識別する情報を出力する出力手段と、
前記出力手段により前記特定情報を識別する情報を出力された前記認識対象の中の１つを選択して、前記画像認識手段が認識した前記特定情報を訂正する入力を受付ける訂正受付手段と、
をさらに有する画像認識装置。
１６． １から１５のいずれかに記載の画像認識装置において、
前記被認識媒体は、シート状の媒体に、前記特定情報を含む１つ又は複数の前記認識対象を貼付した媒体である画像認識装置。
１７． コンピュータを、
特定情報を含む認識対象が１つ又は複数付された被認識媒体を撮像した画像のデータを取得する画像取得手段、
前記画像のデータに対して画像認識処理を行い、前記画像内に存在する前記認識対象各々の前記特定情報を認識する画像認識手段、
前記画像認識手段が認識した前記特定情報に基づいて、当該特定情報の統計値を算出する算出手段、
として機能させるためのプログラム。
１７−２． １７に記載のプログラムにおいて、
前記画像取得手段に、前記被認識媒体を撮像した複数のフレームのデータを取得させ、
前記画像認識手段に、前記複数のフレームのデータに対して画像認識処理を行わせ、
前記コンピュータを、さらに、前記複数のフレームのデータ各々に対する前記画像認識処理の結果に基づいて、前記被認識媒体の統計値を決定する決定手段として機能させるプログラム。
１７−３． １７−２に記載のプログラムにおいて、
前記算出手段に、前記複数のフレームのデータ各々に対応する前記統計値を算出させ、前記決定手段に、前記複数のフレームのデータ各々に対応する前記統計値を利用して、前記被認識媒体の統計値を決定させるプログラム。
１７−４． １７−３に記載のプログラムにおいて、
前記決定手段に、前記算出手段により算出された前記複数のフレームのデータ各々に対応する前記統計値の中の最大値、最小値、平均値、又は、最頻値を、前記被認識媒体の統計値として決定させるプログラム。
１７−５． １７−２に記載のプログラムにおいて、
前記算出手段に、前記認識対象毎に、前記複数のフレームのデータ各々に対応する複数の前記画像認識処理の結果に基づいて一の前記特定情報を決定させ、前記認識対象毎に決定した前記特定情報の統計値を算出させ、
前記決定手段に、前記認識対象毎に決定した前記特定情報の統計値を、前記被認識媒体の前記統計値として決定させるプログラム。
１７−６． １７−５に記載のプログラムにおいて、
前記算出手段に、前記認識対象毎に、前記複数のフレームのデータ各々に対応する複数の前記特定情報の中の最大値、最小値、平均値、又は、最頻値を前記認識対象各々の一の前記特定情報として決定させ、前記認識対象毎に決定した一の前記特定情報に基づいて前記統計値を算出させるプログラム。
１７−７． １７−２から１７−６のいずれかに記載のプログラムにおいて、
前記コンピュータを、前記複数のフレームのデータ、及び、前記画像認識処理の結果の少なくとも一方に基づいて、前記フレーム内に存在する前記被認識媒体が他の前記被認識媒体に切り替わったことを判定する切替判定手段として機能させるプログラム。
１７−８． １７−７に記載のプログラムにおいて、
前記コンピュータを、前記決定手段が決定した前記統計値が所定の条件を満たす前記被認識媒体の数を特定するための情報を外部機器に送信する送信手段として機能させるプログラム。
１７−９． １７−２から１７−８のいずれかに記載のプログラムにおいて、
前記コンピュータを、前記決定手段が決定した前記統計値が所定の条件を満たすか否かを報知する手段として機能させるプログラム。
１７−１０． １７から１７−９のいずれかに記載のプログラムにおいて、
前記画像認識手段に、前記認識対象各々から認識した複数の前記特定情報各々の認識信頼度を示す信頼度情報を算出させ、
前記コンピュータを、
前記認識信頼度が所定レベル以下の前記認識対象を特定する特定手段、
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記特定手段が特定した前記認識対象を他の前記認識対象と識別する情報を出力する出力手段、
として機能させるプログラム。
１７−１１． １７から１７−１０のいずれかに記載のプログラムにおいて、
前記コンピュータを、前記画像のデータを用いて前記被認識媒体を表示するとともに、前記画像認識手段が認識した前記認識対象を識別する情報を出力する出力手段として機能させるプログラム。
１７−１２． １７から１７−１１のいずれかに記載のプログラムにおいて、
前記コンピュータを、前記画像のデータを用いて前記被認識媒体を表示するとともに、前記画像認識手段が認識した前記認識対象の前記特定情報を識別する情報を出力する出力手段として機能させるプログラム。
１７−１３． １７から１７−１２のいずれかに記載のプログラムにおいて、
前記コンピュータを、前記画像のデータを用いて前記被認識媒体を表示するとともに、前記算出手段が算出した前記統計値を出力する出力手段として機能させるプログラム。
１７−１４． １７から１７−１３のいずれかに記載のプログラムにおいて、
前記コンピュータを、前記画像のデータを用いて前記被認識媒体を表示するとともに、前記画像認識手段により前記認識対象として認識されているが、前記特定情報を認識されていない前記認識対象を、他の前記認識対象と識別する情報を出力する出力手段として機能させるプログラム。
１７−１５． １７から１７−１４のいずれかに記載のプログラムにおいて、
前記コンピュータを、
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記画像認識手段が認識した前記認識対象の前記特定情報を識別する情報を出力する出力手段、
前記出力手段により前記特定情報を識別する情報を出力された前記認識対象の中の１つを選択して、前記画像認識手段が認識した前記特定情報を訂正する入力を受付ける訂正受付手段、
として機能させるプログラム。
１７−１６． １７から１７−１５のいずれかに記載のプログラムにおいて、
前記被認識媒体は、シート状の媒体に、前記特定情報を含む１つ又は複数の前記認識対象を貼付した媒体であるプログラム。
１８． コンピュータが、
特定情報を含む認識対象が１つ又は複数付された被認識媒体を撮像した画像のデータを取得する画像取得工程と、
前記画像のデータに対して画像認識処理を行い、前記画像内に存在する前記認識対象各々の前記特定情報を認識する画像認識工程と、
前記画像認識工程で認識した前記特定情報に基づいて、当該特定情報の統計値を算出する算出工程と、
を実行する画像認識方法。
１８−２． １８に記載の画像認識方法において、
前記画像取得工程では、前記被認識媒体を撮像した複数のフレームのデータを取得し、
前記画像認識工程では、前記複数のフレームのデータに対して画像認識処理を行い、
前記複数のフレームのデータ各々に対する前記画像認識処理の結果に基づいて、前記被認識媒体の統計値を決定する決定工程をさらに実行する画像認識方法。
１８−３． １８−２に記載の画像認識方法において、
前記算出工程では、前記複数のフレームのデータ各々に対応する前記統計値を算出し、前記決定工程では、前記複数のフレームのデータ各々に対応する前記統計値を利用して、前記被認識媒体の統計値を決定する画像認識方法。
１８−４． １８−３に記載の画像認識方法において、
前記決定工程では、前記算出工程で算出された前記複数のフレームのデータ各々に対応する前記統計値の中の最大値、最小値、平均値、又は、最頻値を、前記被認識媒体の統計値として決定する画像認識方法。
１８−５． １８−２に記載の画像認識方法において、
前記算出工程では、前記認識対象毎に、前記複数のフレームのデータ各々に対応する複数の前記画像認識処理の結果に基づいて一の前記特定情報を決定し、前記認識対象毎に決定した前記特定情報の統計値を算出し、
前記決定工程では、前記認識対象毎に決定した前記特定情報の統計値を、前記被認識媒体の前記統計値として決定する画像認識方法。
１８−６． １８−５に記載の画像認識方法において、
前記算出工程では、前記認識対象毎に、前記複数のフレームのデータ各々に対応する複数の前記特定情報の中の最大値、最小値、平均値、又は、最頻値を前記認識対象各々の一の前記特定情報として決定し、前記認識対象毎に決定した一の前記特定情報に基づいて前記の統計値を算出する画像認識方法。
１８−７． １８−２から１８−６のいずれかに記載の画像認識方法において、
前記複数のフレームのデータ、及び、前記画像認識処理の結果の少なくとも一方に基づいて、前記フレーム内に存在する前記被認識媒体が他の前記被認識媒体に切り替わったことを判定する切替判定工程をさらに実行する画像認識方法。
１８−８． １８−７に記載の画像認識方法において、
前記決定工程で決定した前記統計値が所定の条件を満たす前記被認識媒体の数を特定するための情報を外部機器に送信する送信工程をさらに実行する画像認識方法。
１８−９． １８−２から１８−８のいずれかに記載の画像認識方法において、
前記決定工程で決定した前記統計値が所定の条件を満たすか否かを報知する工程をさらに実行する画像認識方法。
１８−１０． １８から１８−９のいずれかに記載の画像認識方法において、
前記画像認識工程では、前記認識対象各々から認識した複数の前記特定情報各々の認識信頼度を示す信頼度情報を算出し、
前記認識信頼度が所定レベル以下の前記認識対象を特定する特定工程と、
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記特定工程で特定した前記認識対象を他の前記認識対象と識別する情報を出力する出力工程と、
を実行する画像認識方法。
１８−１１． １８から１８−１０のいずれかに記載の画像認識方法において、
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記画像認識工程で認識した前記認識対象を識別する情報を出力する出力工程をさらに実行する画像認識方法。
１８−１２． １８から１８−１１のいずれかに記載の画像認識方法において、
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記画像認識工程で認識した前記認識対象の前記特定情報を識別する情報を出力する出力工程をさらに実行する画像認識方法。
１８−１３． １８から１８−１２のいずれかに記載の画像認識方法において、
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記算出工程で算出した前記統計値を出力する出力工程をさらに実行する画像認識方法。
１８−１４． １８から１８−１３のいずれかに記載の画像認識方法において、
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記画像認識工程で前記認識対象として認識されているが、前記特定情報を認識されていない前記認識対象を、他の前記認識対象と識別する情報を出力する出力工程をさらに実行する画像認識方法。
１８−１５． １８から１８−１４のいずれかに記載の画像認識方法において、
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記画像認識工程で認識した前記認識対象の前記特定情報を識別する情報を出力する出力工程と、
前記出力工程で前記特定情報を識別する情報を出力された前記認識対象の中の１つを選択して、前記画像認識工程で認識した前記特定情報を訂正する入力を受付ける訂正受付工程と、
をさらに実行する画像認識方法。
１８−１６． １８から１８−１５のいずれかに記載の画像認識方法において、
前記被認識媒体は、シート状の媒体に、前記特定情報を含む１つ又は複数の前記認識対象を貼付した媒体である画像認識方法。
Hereinafter, examples of the reference form will be added.
1. Image acquisition means for acquiring data of an image obtained by imaging a recognized medium to which one or more recognition targets including specific information are attached;
Image recognition means for performing image recognition processing on the image data and recognizing the specific information of each of the recognition objects present in the image;
Calculation means for calculating a statistical value of the specific information based on the specific information recognized by the image recognition means;
An image recognition apparatus.
2. The image recognition apparatus according to 1, wherein
The image acquisition means acquires data of a plurality of frames obtained by imaging the recognized medium,
The image recognition means performs image recognition processing on the data of the plurality of frames,
An image recognition apparatus, further comprising: a determination unit that determines a statistical value of the recognized medium based on a result of the image recognition process for each of the data of the plurality of frames.
3. In the image recognition device according to 2,
The calculating means calculates the statistical value corresponding to each of the data of the plurality of frames, and the determining means uses the statistical value corresponding to each of the data of the plurality of frames, An image recognition device that determines statistical values.
4). In the image recognition device according to 3,
The determining means calculates a maximum value, a minimum value, an average value, or a mode value among the statistical values corresponding to each of the data of the plurality of frames calculated by the calculating means, from the statistics of the recognized medium. An image recognition device that determines the value.
5. In the image recognition device according to 2,
The calculation means determines one specific information for each recognition target based on a plurality of results of the image recognition processing corresponding to each of the data of the plurality of frames, and the specific determination determined for each recognition target Calculate statistics of information,
The determination unit is an image recognition apparatus that determines a statistical value of the specific information determined for each recognition target as the statistical value of the recognized medium.
6). In the image recognition device according to 5,
For each recognition object, the calculation means calculates a maximum value, a minimum value, an average value, or a mode value among the plurality of specific information corresponding to each of the data of the plurality of frames. An image recognition device that calculates the statistical value based on the one specific information determined for each recognition target.
7). In the image recognition device according to any one of 2 to 6,
Switching determining means for determining that the recognized medium existing in the frame is switched to another recognized medium based on at least one of the data of the plurality of frames and the result of the image recognition processing; Furthermore, the image recognition apparatus which has.
8). In the image recognition apparatus according to 7,
An image recognition apparatus, further comprising: a transmission unit configured to transmit, to an external device, information for specifying the number of recognized media whose statistical values determined by the determination unit satisfy a predetermined condition.
9. In the image recognition device according to any one of 2 to 8,
An image recognition apparatus further comprising means for notifying whether or not the statistical value determined by the determining means satisfies a predetermined condition.
10. In the image recognition device according to any one of 1 to 9,
The image recognition means calculates reliability information indicating recognition reliability of each of the plurality of specific information recognized from each of the recognition targets,
Identifying means for identifying the recognition object whose recognition reliability is a predetermined level or less;
An output means for displaying the recognized medium using the image data and outputting information for identifying the recognition target specified by the specifying means from the other recognition targets;
An image recognition apparatus.
11. In the image recognition device according to any one of 1 to 10,
An image recognition apparatus further comprising: output means for displaying the recognized medium using the image data and outputting information for identifying the recognition object recognized by the image recognition means.
12 In the image recognition device according to any one of 1 to 11,
An image recognition apparatus further comprising an output unit that displays the recognized medium using the image data and outputs information for identifying the specific information of the recognition target recognized by the image recognition unit.
13. In the image recognition device according to any one of 1 to 12,
An image recognition apparatus further comprising an output unit that displays the recognized medium using the image data and outputs the statistical value calculated by the calculation unit.
14 In the image recognition device according to any one of 1 to 13,
The recognized medium is displayed using the image data, and the recognition target that is recognized as the recognition target by the image recognition unit but is not recognized as the specific information is defined as another recognition target. An image recognition apparatus further comprising output means for outputting identification information.
15. In the image recognition device according to any one of 1 to 14,
An output means for displaying the recognized medium using the image data and outputting information for identifying the specific information of the recognition target recognized by the image recognition means;
Correction accepting means for selecting one of the recognition targets from which information for identifying the specific information is output by the output means and receiving an input for correcting the specific information recognized by the image recognition means;
An image recognition apparatus further comprising:
16. In the image recognition device according to any one of 1 to 15,
The recognition medium is an image recognition device in which one or a plurality of recognition objects including the specific information is attached to a sheet-like medium.
17. Computer
Image acquisition means for acquiring data of an image obtained by imaging a recognized medium to which one or more recognition targets including specific information are attached;
Image recognition means for performing image recognition processing on the image data and recognizing the specific information of each of the recognition objects present in the image;
Calculation means for calculating a statistical value of the specific information based on the specific information recognized by the image recognition means;
Program to function as.
17-2. In the program described in 17,
Causing the image acquisition means to acquire data of a plurality of frames obtained by imaging the recognized medium;
Causing the image recognition means to perform image recognition processing on the data of the plurality of frames;
A program that causes the computer to further function as a determination unit that determines a statistical value of the recognized medium based on a result of the image recognition processing for each of the data of the plurality of frames.
17-3. In the program described in 17-2,
The calculating means calculates the statistical value corresponding to each of the data of the plurality of frames, and the determining means uses the statistical value corresponding to each of the data of the plurality of frames, A program that determines statistics.
17-4. In the program described in 17-3,
The determination unit is configured to obtain a maximum value, a minimum value, an average value, or a mode value among the statistical values corresponding to each of the data of the plurality of frames calculated by the calculation unit. A program that determines the value.
17-5. In the program described in 17-2,
The calculation means causes the specific information to be determined for each recognition target based on a plurality of the image recognition processing results corresponding to the data of the plurality of frames, and the specific determination determined for each recognition target. Let's calculate the statistics of the information,
The program which makes the said determination means determine the statistical value of the said specific information determined for every said recognition object as the said statistical value of the said to-be-recognized medium.
17-6. In the program described in 17-5,
For each recognition object, the calculating means calculates a maximum value, a minimum value, an average value, or a mode value among the plurality of specific information corresponding to each of the data of the plurality of frames. A program for determining the statistical value based on the specific information determined for each recognition target.
17-7. In the program according to any one of 17-2 to 17-6,
The computer determines, based on at least one of the data of the plurality of frames and the result of the image recognition processing, that the recognized medium existing in the frame has been switched to another recognized medium. A program that functions as a switching determination unit.
17-8. In the program described in 17-7,
A program that causes the computer to function as a transmission unit that transmits information for specifying the number of recognized media for which the statistical value determined by the determination unit satisfies a predetermined condition to an external device.
17-9. In the program according to any one of 17-2 to 17-8,
A program for causing the computer to function as means for notifying whether or not the statistical value determined by the determining means satisfies a predetermined condition.
17-10. In the program according to any one of 17 to 17-9,
Causing the image recognition means to calculate reliability information indicating recognition reliability of each of the plurality of specific information recognized from each of the recognition targets;
The computer,
A specifying means for specifying the recognition object whose recognition reliability is a predetermined level or less;
An output means for displaying the recognized medium using the image data and outputting information for identifying the recognition target specified by the specifying means from the other recognition targets;
Program to function as.
17-11. In the program according to any one of 17 to 17-10,
A program that causes the computer to function as an output unit that displays the recognized medium using the image data and outputs information for identifying the recognition target recognized by the image recognition unit.
17-12. In the program according to any one of 17 to 17-11,
A program that causes the computer to function as an output unit that displays the recognized medium using the image data and outputs information that identifies the specific information of the recognition target recognized by the image recognition unit.
17-13. In the program according to any one of 17 to 17-12,
A program that causes the computer to function as an output unit that displays the recognized medium using the image data and outputs the statistical value calculated by the calculation unit.
17-14. In the program according to any one of 17 to 17-13,
The computer displays the recognized medium using the image data, and recognizes the recognition target that is recognized as the recognition target by the image recognition unit but has not recognized the specific information. A program that functions as an output unit that outputs information for identifying the recognition target.
17-15. In the program according to any one of 17 to 17-14,
The computer,
An output means for displaying the recognized medium using the image data and outputting information for identifying the specific information of the recognition target recognized by the image recognition means;
Correction accepting means for selecting one of the recognition targets from which information for identifying the specific information is output by the output means and receiving an input for correcting the specific information recognized by the image recognition means;
Program to function as.
17-16. In the program according to any one of 17 to 17-15,
The recognized medium is a program in which one or more recognition targets including the specific information are pasted on a sheet-like medium.
18. Computer
An image acquisition step of acquiring data of an image obtained by imaging a recognized medium to which one or more recognition targets including specific information are attached;
Performing an image recognition process on the image data, and recognizing the specific information of each of the recognition objects present in the image;
A calculation step of calculating a statistical value of the specific information based on the specific information recognized in the image recognition step;
An image recognition method to execute.
18-2. The image recognition method according to
In the image acquisition step, data of a plurality of frames obtained by imaging the recognized medium is acquired,
In the image recognition step, image recognition processing is performed on the data of the plurality of frames,
An image recognition method that further executes a determination step of determining a statistical value of the recognized medium based on a result of the image recognition processing for each of the data of the plurality of frames.
18-3. In the image recognition method described in 18-2,
In the calculating step, the statistical value corresponding to each of the data of the plurality of frames is calculated, and in the determining step, using the statistical value corresponding to each of the data of the plurality of frames, An image recognition method for determining statistical values.
18-4. In the image recognition method described in 18-3,
In the determination step, a maximum value, a minimum value, an average value, or a mode value among the statistical values corresponding to each of the data of the plurality of frames calculated in the calculation step is used as the statistics of the recognized medium. Image recognition method determined as a value.
18-5. In the image recognition method described in 18-2,
In the calculation step, for each recognition target, one specific information is determined based on a plurality of results of the image recognition processing corresponding to each of the data of the plurality of frames, and the specific information determined for each recognition target is determined. Calculate statistics of information,
In the determining step, an image recognition method for determining a statistical value of the specific information determined for each recognition target as the statistical value of the recognized medium.
18-6. In the image recognition method described in 18-5,
In the calculation step, for each recognition target, a maximum value, a minimum value, an average value, or a mode value among the plurality of specific information corresponding to each of the data of the plurality of frames is determined for each recognition target. An image recognition method for calculating the statistical value based on the one specific information determined for each recognition target.
18-7. In the image recognition method according to any one of 18-2 to 18-6,
A switching determination step of determining whether the recognized medium existing in the frame is switched to another recognized medium based on at least one of the data of the plurality of frames and the result of the image recognition processing. An image recognition method to be further executed.
18-8. In the image recognition method described in 18-7,
An image recognition method for further executing a transmission step of transmitting information for specifying the number of recognized media for which the statistical value determined in the determination step satisfies a predetermined condition to an external device.
18-9. In the image recognition method according to any one of 18-2 to 18-8,
An image recognition method further executing a step of notifying whether or not the statistical value determined in the determination step satisfies a predetermined condition.
18-10. In the image recognition method according to any one of 18 to 18-9,
In the image recognition step, the reliability information indicating the recognition reliability of each of the plurality of specific information recognized from each of the recognition objects is calculated,
A specifying step of specifying the recognition target whose recognition reliability is a predetermined level or less;
An output step of displaying the recognized medium using the image data and outputting information for identifying the recognition target specified in the specifying step from the other recognition targets;
An image recognition method to execute.
18-11. In the image recognition method according to any one of 18 to 18-10,
An image recognition method for further executing an output step of displaying the recognized medium using the image data and outputting information for identifying the recognition target recognized in the image recognition step.
18-12. In the image recognition method according to any one of 18 to 18-11,
An image recognition method for further executing an output step of displaying the recognized medium using the image data and outputting information for identifying the specific information of the recognition target recognized in the image recognition step.
18-13. In the image recognition method according to any one of 18 to 18-12,
An image recognition method that further executes an output step of displaying the recognized medium using the image data and outputting the statistical value calculated in the calculation step.
18-14. In the image recognition method according to any one of 18 to 18-13,
The recognized medium is displayed using the image data, and the recognition target that is recognized as the recognition target in the image recognition step but is not recognized as the specific information is defined as another recognition target. An image recognition method for further executing an output step of outputting identification information.
18-15. In the image recognition method according to any one of 18 to 18-14,
An output step of displaying the recognized medium using the image data and outputting information for identifying the specific information of the recognition target recognized in the image recognition step;
A correction accepting step of selecting one of the recognition targets from which information identifying the specific information is output in the output step, and receiving an input for correcting the specific information recognized in the image recognition step;
An image recognition method for further executing.
18-16. In the image recognition method according to any one of 18 to 18-15,
The image recognition method, wherein the recognized medium is a sheet in which one or more recognition targets including the specific information are pasted on a sheet-like medium.
１Ａ ＣＰＵ
２Ａ ＲＡＭ
３Ａ ＲＯＭ
４Ａ 通信部
５Ａ 表示制御部
６Ａ ディスプレイ
７Ａ 操作受付部
８Ａ 操作部
９Ａ 補助記憶装置
１０Ａ バス
１０ 画像認識装置
１１ 画像取得部
１２ 画像認識部
１３ 算出部
１４ 決定部
１５ 切替決定部
１６ 送信部
１７ 特定部
１８ 出力部
２０ 被認識媒体
２１ シート状媒体
２２ 認識対象
２２´ 欠損部分を有する認識対象
３１ 撮像画像表示領域
３２ 認識結果表示領域
３３ 認識対象表示マーク
３４ 修正受付領域
1A CPU
2A RAM
3A ROM
4A Communication unit 5A
Claims (18)
前記画像のデータに対して画像認識処理を行い、前記画像内に存在する前記認識対象各々の前記特定情報を認識する画像認識手段と、
前記画像認識手段が認識した前記特定情報に基づいて、当該特定情報の統計値を算出し、前記統計値が所定の条件を満たすか否かを判断する算出手段と、
を有する画像認識装置。 Image acquisition means for acquiring data of an image obtained by imaging a recognized medium to which one or more recognition targets including specific information are attached;
Image recognition means for performing image recognition processing on the image data and recognizing the specific information of each of the recognition objects present in the image;
Calculation means for calculating a statistical value of the specific information based on the specific information recognized by the image recognition means, and determining whether the statistical value satisfies a predetermined condition ;
An image recognition apparatus.
前記統計値が前記所定の条件を満たすか否かを報知する手段をさらに有する画像認識装置。 An image recognition apparatus further comprising means for notifying whether or not the statistical value satisfies the predetermined condition.
前記画像取得手段は、前記被認識媒体を撮像した複数のフレームのデータを取得し、
前記画像認識手段は、前記複数のフレームのデータに対して画像認識処理を行い、
前記複数のフレームのデータ各々に対する前記画像認識処理の結果に基づいて、前記被認識媒体の統計値を決定する決定手段をさらに有する画像認識装置。 The image recognition apparatus according to claim 1 or 2 ,
The image acquisition means acquires data of a plurality of frames obtained by imaging the recognized medium,
The image recognition means performs image recognition processing on the data of the plurality of frames,
An image recognition apparatus, further comprising: a determination unit that determines a statistical value of the recognized medium based on a result of the image recognition process for each of the data of the plurality of frames.
前記算出手段は、前記複数のフレームのデータ各々に対応する前記統計値を算出し、前記決定手段は、前記複数のフレームのデータ各々に対応する前記統計値を利用して、前記被認識媒体の統計値を決定する画像認識装置。 The image recognition apparatus according to claim 3 .
The calculating means calculates the statistical value corresponding to each of the data of the plurality of frames, and the determining means uses the statistical value corresponding to each of the data of the plurality of frames, An image recognition device that determines statistical values.
前記決定手段は、前記算出手段により算出された前記複数のフレームのデータ各々に対応する前記統計値の中の最大値、最小値、平均値、又は、最頻値を、前記被認識媒体の統計値として決定する画像認識装置。 The image recognition apparatus according to claim 4 .
The determining means calculates a maximum value, a minimum value, an average value, or a mode value among the statistical values corresponding to each of the data of the plurality of frames calculated by the calculating means, from the statistics of the recognized medium. An image recognition device that determines the value.
前記算出手段は、前記認識対象毎に、前記複数のフレームのデータ各々に対応する複数の前記画像認識処理の結果に基づいて一の前記特定情報を決定し、前記認識対象毎に決定した前記特定情報の統計値を算出し、
前記決定手段は、前記認識対象毎に決定した前記特定情報の統計値を、前記被認識媒体の前記統計値として決定する画像認識装置。 The image recognition apparatus according to claim 3 .
The calculation means determines one specific information for each recognition target based on a plurality of results of the image recognition processing corresponding to each of the data of the plurality of frames, and the specific determination determined for each recognition target Calculate statistics of information,
The determination unit is an image recognition apparatus that determines a statistical value of the specific information determined for each recognition target as the statistical value of the recognized medium.
前記算出手段は、前記認識対象毎に、前記複数のフレームのデータ各々に対応する複数の前記特定情報の中の最大値、最小値、平均値、又は、最頻値を前記認識対象各々の一の前記特定情報として決定し、前記認識対象毎に決定した一の前記特定情報に基づいて前記統計値を算出する画像認識装置。 The image recognition device according to claim 6 .
For each recognition object, the calculation means calculates a maximum value, a minimum value, an average value, or a mode value among the plurality of specific information corresponding to each of the data of the plurality of frames. An image recognition device that calculates the statistical value based on the one specific information determined for each recognition target.
前記複数のフレームのデータ、及び、前記画像認識処理の結果の少なくとも一方に基づいて、前記フレーム内に存在する前記被認識媒体が他の前記被認識媒体に切り替わったことを判定する切替判定手段をさらに有する画像認識装置。 The image recognition apparatus according to any one of claims 3 to 7 ,
Switching determining means for determining that the recognized medium existing in the frame is switched to another recognized medium based on at least one of the data of the plurality of frames and the result of the image recognition processing; Furthermore, the image recognition apparatus which has.
前記決定手段が決定した前記統計値が所定の条件を満たす前記被認識媒体の数を特定するための情報を外部機器に送信する送信手段をさらに有する画像認識装置。 The image recognition apparatus according to claim 8 .
An image recognition apparatus, further comprising: a transmission unit configured to transmit, to an external device, information for specifying the number of recognized media for which the statistical value determined by the determination unit satisfies a predetermined condition.
前記画像認識手段は、前記認識対象各々から認識した複数の前記特定情報各々の認識信頼度を示す信頼度情報を算出し、
前記認識信頼度が所定レベル以下の前記認識対象を特定する特定手段と、
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記特定手段が特定した前記認識対象を他の前記認識対象と識別する情報を出力する出力手段と、
を有する画像認識装置。 The image recognition apparatus according to any one of claims 1 to 9,
The image recognition means calculates reliability information indicating recognition reliability of each of the plurality of specific information recognized from each of the recognition targets,
Identifying means for identifying the recognition object whose recognition reliability is a predetermined level or less;
An output means for displaying the recognized medium using the image data and outputting information for identifying the recognition target specified by the specifying means from the other recognition targets;
An image recognition apparatus.
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記画像認識手段が認識した前記認識対象を識別する情報を出力する出力手段をさらに有する画像認識装置。 The image recognition device according to any one of claims 1 to 10,
An image recognition apparatus further comprising: output means for displaying the recognized medium using the image data and outputting information for identifying the recognition object recognized by the image recognition means.
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記画像認識手段が認識した前記認識対象の前記特定情報を識別する情報を出力する出力手段をさらに有する画像認識装置。 The image recognition device according to any one of claims 1 to 11,
An image recognition apparatus further comprising an output unit that displays the recognized medium using the image data and outputs information for identifying the specific information of the recognition target recognized by the image recognition unit.
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記算出手段が算出した前記統計値を出力する出力手段をさらに有する画像認識装置。 The image recognition device according to any one of claims 1 to 12,
An image recognition apparatus further comprising an output unit that displays the recognized medium using the image data and outputs the statistical value calculated by the calculation unit.
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記画像認識手段により前記認識対象として認識されているが、前記特定情報を認識されていない前記認識対象を、他の前記認識対象と識別する情報を出力する出力手段をさらに有する画像認識装置。 The image recognition device according to any one of claims 1 to 13,
The recognized medium is displayed using the image data, and the recognition target that is recognized as the recognition target by the image recognition unit but is not recognized as the specific information is defined as another recognition target. An image recognition apparatus further comprising output means for outputting identification information.
前記画像のデータを用いて前記被認識媒体を表示するとともに、前記画像認識手段が認識した前記認識対象の前記特定情報を識別する情報を出力する出力手段と、
前記出力手段により前記特定情報を識別する情報を出力された前記認識対象の中の１つを選択して、前記画像認識手段が認識した前記特定情報を訂正する入力を受付ける訂正受付手段と、
をさらに有する画像認識装置。 The image recognition apparatus according to any one of claims 1 to 14,
An output means for displaying the recognized medium using the image data and outputting information for identifying the specific information of the recognition target recognized by the image recognition means;
Correction accepting means for selecting one of the recognition targets from which information for identifying the specific information is output by the output means and receiving an input for correcting the specific information recognized by the image recognition means;
An image recognition apparatus further comprising:
前記被認識媒体は、シート状の媒体に、前記特定情報を含む１つ又は複数の前記認識対象を貼付した媒体である画像認識装置。 The image recognition device according to any one of claims 1 to 15,
The recognition medium is an image recognition device in which one or a plurality of recognition objects including the specific information is attached to a sheet-like medium.
特定情報を含む認識対象が１つ又は複数付された被認識媒体を撮像した画像のデータを取得する画像取得手段、
前記画像のデータに対して画像認識処理を行い、前記画像内に存在する前記認識対象各々の前記特定情報を認識する画像認識手段、
前記画像認識手段が認識した前記特定情報に基づいて、当該特定情報の統計値を算出し、前記統計値が所定の条件を満たすか否かを判断する算出手段、
として機能させるためのプログラム。 Computer
Image acquisition means for acquiring data of an image obtained by imaging a recognized medium to which one or more recognition targets including specific information are attached;
Image recognition means for performing image recognition processing on the image data and recognizing the specific information of each of the recognition objects present in the image;
Calculation means for calculating a statistical value of the specific information based on the specific information recognized by the image recognition means, and determining whether the statistical value satisfies a predetermined condition ;
Program to function as.
特定情報を含む認識対象が１つ又は複数付された被認識媒体を撮像した画像のデータを取得する画像取得工程と、
前記画像のデータに対して画像認識処理を行い、前記画像内に存在する前記認識対象各々の前記特定情報を認識する画像認識工程と、
前記画像認識工程で認識した前記特定情報に基づいて、当該特定情報の統計値を算出し、前記統計値が所定の条件を満たすか否かを判断する算出工程と、
を実行する画像認識方法。 Computer
An image acquisition step of acquiring data of an image obtained by imaging a recognized medium to which one or more recognition targets including specific information are attached;
Performing an image recognition process on the image data, and recognizing the specific information of each of the recognition objects present in the image;
A calculation step of calculating a statistical value of the specific information based on the specific information recognized in the image recognition step, and determining whether the statistical value satisfies a predetermined condition ;
An image recognition method to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013148722A JP6255762B2 (en) | 2013-07-17 | 2013-07-17 | Image recognition apparatus, image recognition method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013148722A JP6255762B2 (en) | 2013-07-17 | 2013-07-17 | Image recognition apparatus, image recognition method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015022432A JP2015022432A (en) | 2015-02-02 |
| JP6255762B2 true JP6255762B2 (en) | 2018-01-10 |
Family
ID=52486846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013148722A Active JP6255762B2 (en) | 2013-07-17 | 2013-07-17 | Image recognition apparatus, image recognition method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6255762B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017091035A (en) * | 2015-11-05 | 2017-05-25 | 株式会社野村総合研究所 | Verification device and method of string of figure and/or character, and computer program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4742404B2 (en) * | 2000-05-17 | 2011-08-10 | コニカミノルタビジネステクノロジーズ株式会社 | Image recognition apparatus, image forming apparatus, image recognition method, and computer-readable recording medium storing image recognition program |
| JP2004199141A (en) * | 2002-12-16 | 2004-07-15 | Nec Saitama Ltd | Symbol recognition device and symbol recognition method |
| JP4970008B2 (en) * | 2006-11-27 | 2012-07-04 | 東芝テック株式会社 | Sticker reader, data code reader, privilege sticker |
-
2013
- 2013-07-17 JP JP2013148722A patent/JP6255762B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015022432A (en) | 2015-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102596920B1 (en) | Camera platform and object inventory control | |
| US20200151657A1 (en) | Information processing apparatus, control method, and program | |
| US10205871B1 (en) | Focus specification and focus stabilization | |
| EP3234750B1 (en) | Floating soft trigger for touch displays on electronic device | |
| JP6489262B2 (en) | Guided image capture user interface | |
| US20170011606A1 (en) | Systems, Devices, and/or Methods for Managing Transactions | |
| JP6439566B2 (en) | Multilingual display device, multilingual display system, multilingual display method, and multilingual display program | |
| EP2568412A1 (en) | Apparatus for recognizing character and barcode simultaneously and method for controlling the same | |
| JP7096804B2 (en) | How to process a large number of decryptable stamps | |
| US10452707B2 (en) | Product auditing in point-of-sale images | |
| WO2020142744A1 (en) | Networked system including a recognition engine for identifying products within an image captured using a terminal device | |
| CN103189864A (en) | Methods and apparatuses for determining shared friends in images or videos | |
| WO2018016214A1 (en) | Image processing device, image processing method, and program | |
| JP5605725B2 (en) | Information notification system, information notification method, information processing apparatus, control method thereof, and control program | |
| JP6624063B2 (en) | Vending machine recognition device, merchandise shelf recognition device, vending machine recognition method, program and image processing device | |
| WO2020227845A1 (en) | Compressed network for product recognition | |
| JPWO2015147333A1 (en) | Sales registration device, program and sales registration method | |
| WO2006011556A1 (en) | Information processing system, and information processing method | |
| JP5744944B2 (en) | Promotion information display system and promotion information display method | |
| US20170161387A1 (en) | Content Provisioning System for Wearable Technology Devices | |
| JP2008257462A (en) | Commodity sales registration data processor | |
| JP5250670B2 (en) | Product sales registration data processing device | |
| JP6255762B2 (en) | Image recognition apparatus, image recognition method, and program | |
| US11966435B2 (en) | Information processing apparatus, control method, and program | |
| JP2022093466A (en) | Information processing device, information processing system, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160603 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170516 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170623 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171120 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6255762 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |