JP2022079899A - Image recognition device, learning system, image storage device, image recognition method, image storage method, and program - Google Patents
Image recognition device, learning system, image storage device, image recognition method, image storage method, and program Download PDFInfo
- Publication number
- JP2022079899A JP2022079899A JP2020190765A JP2020190765A JP2022079899A JP 2022079899 A JP2022079899 A JP 2022079899A JP 2020190765 A JP2020190765 A JP 2020190765A JP 2020190765 A JP2020190765 A JP 2020190765A JP 2022079899 A JP2022079899 A JP 2022079899A
- Authority
- JP
- Japan
- Prior art keywords
- image
- recognition
- unit
- learning
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮影した画像に対して認識処理を行う画像認識装置等に関するものである。 The present invention relates to an image recognition device or the like that performs recognition processing on a captured image.
従来、撮影された画像に対して、機械学習により画像認識を行い、検出対象物を特定する技術が存在した(例えば、特許文献1参照)。 Conventionally, there has been a technique for identifying an object to be detected by performing image recognition on a captured image by machine learning (see, for example, Patent Document 1).
しかしながら、従来技術においては、高い精度で撮影した画像の認識を行うことは困難であった。なお、撮影した画像を、適宜、撮影画像と言う。 However, in the prior art, it has been difficult to recognize an image taken with high accuracy. The captured image is appropriately referred to as a captured image.
本第一の発明の画像認識装置は、撮影し、光信号を取得する光信号取得部と、光信号を用いて、2以上の異なる元画像を取得する元画像取得部と、2以上の元画像を用いて、光信号に関する認識処理を行い、認識結果を取得する認識部と、認識結果を出力する出力部とを具備する画像認識装置である。 The image recognition device of the first invention has an optical signal acquisition unit that shoots and acquires an optical signal, an original image acquisition unit that acquires two or more different original images using the optical signal, and two or more elements. It is an image recognition device including a recognition unit that performs recognition processing related to an optical signal using an image and acquires a recognition result, and an output unit that outputs the recognition result.
かかる構成により、高い精度で撮影画像の認識ができる。 With such a configuration, the captured image can be recognized with high accuracy.
また、本第二の発明の画像認識装置は、第一の発明に対して、2以上の元画像を合成し、合成画像を取得する合成画像取得部をさらに具備し、認識部は、少なくとも合成画像を用いて、画像の認識処理を行い、認識結果を取得する、画像認識装置である。 Further, the image recognition device of the second invention further includes a composite image acquisition unit for synthesizing two or more original images and acquiring a composite image with respect to the first invention, and the recognition unit is at least synthesized. It is an image recognition device that performs image recognition processing using images and acquires recognition results.
かかる構成により、さらに高い精度で撮影画像の認識ができる。 With such a configuration, the captured image can be recognized with higher accuracy.
また、本第三の発明の画像認識装置は、第一または第二の発明に対して、元画像取得部が取得した2以上の元画像を含む候補画像から、認識処理に使用する1以上の対象画像を選択する選択部をさらに具備し、認識部は、1以上の対象画像を用いて、画像の認識処理を行い、認識結果を取得する、画像認識装置である。 Further, the image recognition device of the third invention has one or more candidate images used for recognition processing from candidate images including two or more original images acquired by the original image acquisition unit for the first or second invention. A selection unit for selecting a target image is further provided, and the recognition unit is an image recognition device that performs image recognition processing using one or more target images and acquires a recognition result.
かかる構成により、高い精度で撮影画像の認識ができる。 With such a configuration, the captured image can be recognized with high accuracy.
また、本第四の発明の画像認識装置は、第三の発明に対して、選択部は、2以上の候補画像のうち、予め決められた条件を満たす1以上の対象画像を選択する、画像認識装置である。 Further, in the image recognition device of the fourth invention, with respect to the third invention, the selection unit selects one or more target images satisfying a predetermined condition from the two or more candidate images. It is a recognition device.
かかる構成により、高い精度で撮影画像の認識ができる。 With such a configuration, the captured image can be recognized with high accuracy.
また、本第五の発明の画像認識装置は、第四の発明に対して、選択部は、少なくとも2以上の元画像、および選択された画像を特定する画像識別情報を有する2以上の教師データを用いて、学習処理を行い取得された選択学習器と2以上の候補画像とを用いて、機械学習の予測処理を行い、1以上の対象画像を特定する、画像認識装置である。 Further, in the image recognition device of the fifth invention, with respect to the fourth invention, the selection unit has at least two original images and two or more teacher data having image identification information for identifying the selected image. This is an image recognition device that performs machine learning prediction processing using a selective learning device acquired by performing learning processing and two or more candidate images, and identifies one or more target images.
かかる構成により、高い精度で撮影画像の認識ができる。 With such a configuration, the captured image can be recognized with high accuracy.
また、本第六の発明の画像認識装置は、第一から第五いずれか1つの発明に対して、認識部は、2以上の元画像を含むセットと認識結果とを用いて、学習処理を行い取得された認識学習器と、2以上の元画像とを用いて、機械学習の予測処理を行い、認識結果を取得する、画像認識装置である。 Further, in the image recognition device of the sixth invention, for any one of the first to fifth inventions, the recognition unit performs learning processing using a set including two or more original images and a recognition result. It is an image recognition device that performs prediction processing of machine learning and acquires a recognition result by using the recognition learner obtained by performing and the two or more original images.
かかる構成により、より高い精度で撮影画像の認識ができる。 With such a configuration, the captured image can be recognized with higher accuracy.
また、本第七の発明の学習システムは、画像蓄積装置と学習装置とを具備する学習システムであって、画像蓄積装置は、撮影し、光信号を取得する光信号取得部と、光信号を用いて、2以上の異なる元画像を取得する元画像取得部と、光信号に対する認識結果を受け付ける認識結果受付部と、2以上の異なる元画像を含む2以上の候補画像のうちの1以上の候補画像と認識結果とを有する教師データを蓄積する教師データ蓄積部とを具備し、学習装置は、画像蓄積装置が蓄積した2以上の教師データを用いて、学習処理を行い、認識学習器を取得する認識学習部と、認識学習器を蓄積する学習器蓄積部とを具備する、学習システムである。 Further, the learning system of the seventh invention is a learning system including an image storage device and a learning device, and the image storage device has an optical signal acquisition unit for photographing and acquiring an optical signal, and an optical signal. An original image acquisition unit that acquires two or more different original images, a recognition result reception unit that accepts recognition results for optical signals, and one or more of two or more candidate images including two or more different original images. It is equipped with a teacher data storage unit that stores teacher data having candidate images and recognition results, and the learning device performs learning processing using two or more teacher data stored by the image storage device, and uses the recognition learner. It is a learning system including a cognitive learning unit for acquisition and a learning device storage unit for accumulating cognitive learning devices.
かかる構成により、精度の高い撮影画像の認識を可能にする認識学習器を取得できる。 With such a configuration, it is possible to acquire a recognition learner that enables highly accurate recognition of captured images.
また、本第八の発明の学習システムは、第七の発明に対して、画像蓄積装置は、2以上の元画像を合成し、合成画像を取得する合成画像取得部をさらに具備し、教師データ蓄積部は、2以上の異なる元画像と合成画像とを含む3以上の候補画像のうちの1以上の候補画像と認識結果とを有する教師データを蓄積する、学習システムである。 Further, in the learning system of the eighth invention, with respect to the seventh invention, the image storage device further includes a composite image acquisition unit for synthesizing two or more original images and acquiring the composite image, and the teacher data. The storage unit is a learning system that stores teacher data having one or more candidate images and recognition results among three or more candidate images including two or more different original images and composite images.
かかる構成により、合成画像をも用いて、より精度の高い撮影画像の認識を可能にする認識学習器を取得できる。 With such a configuration, it is possible to acquire a recognition learner that enables more accurate recognition of a captured image by using a composite image as well.
また、本第九の発明の学習システムは、第七または第八の発明に対して、画像蓄積装置は、2以上の異なる元画像を含む2以上の候補画像を含むセットを出力するセット出力部と、セットに含まれる2以上候補画像のうち、一の候補画像の選択を受け付ける選択受付部とをさらに具備し、選択受付部が受け付けた選択に対応する一の候補画像を正例とし、選択されなかった1以上の候補画像を負例として、区別する処理を行う区別部とをさらに具備し、学習装置は、正例の一の候補画像と負例の1以上の候補画像とを含む2以上のセットを用いて、学習処理を行い、選択学習器を取得する選択学習部をさらに具備し、学習器蓄積部は、選択学習器を蓄積する、学習システムである。 Further, in the learning system of the ninth invention, for the seventh or eighth invention, the image storage device outputs a set including two or more candidate images including two or more different original images. And, among the two or more candidate images included in the set, a selection reception unit that accepts the selection of one candidate image is further provided, and one candidate image corresponding to the selection accepted by the selection reception unit is used as a positive example for selection. The learning device further includes a distinguishing unit that performs a process of distinguishing one or more candidate images that have not been performed as a negative example, and the learning device includes one candidate image of a positive example and one or more candidate images of a negative example. Using the above set, a selective learning unit that performs learning processing and acquires a selective learning device is further provided, and the learning device storage unit is a learning system that stores selective learning devices.
かかる構成により、画像の認識に用いる対象画像を精度高く選択できる。 With such a configuration, the target image used for image recognition can be selected with high accuracy.
本発明による画像認識装置によれば、高い精度で画像の認識ができる。 According to the image recognition device according to the present invention, an image can be recognized with high accuracy.
以下、画像認識装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。 Hereinafter, embodiments of the image recognition device and the like will be described with reference to the drawings. In addition, since the components with the same reference numerals perform the same operation in the embodiment, the description may be omitted again.
(実施の形態1)
本実施の形態において、撮影により、光信号を取得し、当該光信号を用いて2以上の元画像を取得し、2以上の元画像を用いて、認識処理を行い、認識結果を出力する画像認識装置について説明する。
(Embodiment 1)
In the present embodiment, an image that acquires an optical signal by photographing, acquires two or more original images using the optical signal, performs recognition processing using two or more original images, and outputs a recognition result. The recognition device will be described.
また、本実施の形態において、2以上の元画像を合成し、合成画像を取得し、当該合成画像を用いて、認識処理を行い、認識結果を出力する画像認識装置について説明する。 Further, in the present embodiment, an image recognition device that synthesizes two or more original images, acquires a composite image, performs recognition processing using the composite image, and outputs a recognition result will be described.
また、本実施の形態において、2以上の元画像を含む候補画像のセットから、画像認識処理の対象となる対象画像を自動選択し、当該対象画像に対して認識処理を行い、認識結果を出力する画像認識装置について説明する。 Further, in the present embodiment, a target image to be image recognition processing is automatically selected from a set of candidate images including two or more original images, recognition processing is performed on the target image, and a recognition result is output. The image recognition device to be used will be described.
また、本実施の形態において、機械学習のアルゴリズムにより、対象画像を選択する画像認識装置について説明する。 Further, in the present embodiment, an image recognition device that selects a target image by a machine learning algorithm will be described.
さらに、本実施の形態において、機械学習のアルゴリズムにより、認識処理を行う画像認識装置について説明する。 Further, in the present embodiment, an image recognition device that performs recognition processing by a machine learning algorithm will be described.
図1は、本実施の形態における画像認識装置Aのブロック図である。画像認識装置Aは、格納部1、受付部2、処理部3、および出力部4を備える。処理部3は、光信号取得部31、元画像取得部32、合成画像取得部33、選択部34、および認識部35を備える。
FIG. 1 is a block diagram of the image recognition device A according to the present embodiment. The image recognition device A includes a
格納部1には、各種の情報が格納される。各種の情報は、例えば、後述する選択学習器、後述する認識学習器、2以上の元画像識別情報、1以上の合成画像識別情報、合成画像フラグである。
Various types of information are stored in the
元画像識別情報とは、取得する元画像の種類を識別する情報である。元画像識別情報は、例えば、「RGB画像」「IR画像」「NIR画像」である。元画像識別情報は、例えば、元画像を取得するためのプログラムの識別子(例えば、実行モジュール名、関数名、メソッド名)である。元画像識別情報は、例えば、元画像を取得するために行う画像処理識別子である。画像処理識別子は、画像処理を識別する情報であり、例えば、ID、1以上の画像処理を行うプログラムの識別子(例えば、実行モジュール名、関数名、メソッド名)である。 The original image identification information is information for identifying the type of the original image to be acquired. The original image identification information is, for example, "RGB image", "IR image", and "NIR image". The original image identification information is, for example, an identifier of a program for acquiring the original image (for example, an execution module name, a function name, a method name). The original image identification information is, for example, an image processing identifier performed to acquire the original image. The image processing identifier is information that identifies image processing, and is, for example, an ID, an identifier of a program that performs image processing of one or more (for example, an execution module name, a function name, and a method name).
元画像とは、光信号を用いて取得される画像である。元画像は、合成されていない画像である。元画像は、例えば、光信号を分光して得られる分光画像である。元画像は、例えば、一の分光画像に対して、所定の1以上の画像処理を施した画像である。元画像は、候補画像になり得る画像である。 The original image is an image acquired by using an optical signal. The original image is an uncombined image. The original image is, for example, a spectroscopic image obtained by dispersing an optical signal. The original image is, for example, an image obtained by subjecting one spectroscopic image to a predetermined one or more image processing. The original image is an image that can be a candidate image.
合成画像識別情報とは、取得する合成画像の種類を識別する情報である。合成画像識別情報は、例えば、合成画像を取得するためのプログラムの識別子(例えば、実行モジュール名、関数名、メソッド名)である。合成画像識別情報は、例えば、合成画像を取得する場合に使用する元画像の元画像識別情報を含む。かかる場合の元画像識別情報は、例えば、「RGB画像」「IR画像」「NIR画像」である。 The composite image identification information is information that identifies the type of the composite image to be acquired. The composite image identification information is, for example, an identifier of a program for acquiring a composite image (for example, an execution module name, a function name, or a method name). The composite image identification information includes, for example, the original image identification information of the original image used when acquiring the composite image. The original image identification information in such a case is, for example, "RGB image", "IR image", and "NIR image".
合成画像とは、2以上の画像を合成した画像である。なお、合成方法は問わない。合成画像とは、2以上の画像から取得される画像である。 A composite image is an image obtained by synthesizing two or more images. The synthesis method does not matter. A composite image is an image acquired from two or more images.
合成画像フラグとは、合成画像を取得するか否かを示す情報である。 The composite image flag is information indicating whether or not to acquire a composite image.
受付部2は、各種の指示や情報等を受け付ける。各種の指示や情報等とは、例えば、設定情報である。設定情報は、選択部34が取得する一の画像を特定するための情報である。
The
ここで、受け付けとは、通常、タッチパネルやキーボードやマウスなどの入力デバイスから入力された情報の受け付けである。ただし、受け付けは、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念であっても良い。 Here, the acceptance is usually the acceptance of information input from an input device such as a touch panel, a keyboard, or a mouse. However, acceptance may be a concept including reception of information transmitted via a wired or wireless communication line, acceptance of information read from a recording medium such as an optical disk, a magnetic disk, or a semiconductor memory.
ユーザの指示の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。 The input means of the user's instruction may be anything such as a touch panel, a keyboard, a mouse, or a menu screen.
処理部3は、各種の処理を行う。各種の処理は、光信号取得部31、元画像取得部32、合成画像取得部33、選択部34、認識部35が行う処理である。
The
光信号取得部31は、撮影し、光信号を取得する。光信号取得部31は、公知技術であるので詳細な説明を省略する。
The optical
元画像取得部32は、光信号取得部31が取得した光信号を用いて、2以上の異なる元画像を取得する。2以上の異なる各元画像の元になる光信号は同じ光信号である。
The original
また、2以上の異なる元画像の中に含まれる対象は、通常、同じであるが、異なっていても良い。つまり、例えば、一の元画像が光信号と同じ領域の画像であり、他の元画像が当該画像の一部の領域の画像(いわゆるズームした画像)でも良い。例えば、元画像取得部32は、光信号取得部31が取得した光信号を分光し、近距離の「RGB画像」と遠距離の「IR画像」とを取得しても良い。かかる場合、遠距離の「IR画像」の領域は、近距離の「RGB画像」の領域より狭い。また、例えば、元画像取得部32はビームスプリッターを具備し、当該ビームスプリッターにより、単レンズからの光を2分割し、当該2分割した同じ分光特性を持つ光を、それぞれ焦点距離の違うセンサーに入力し、焦点距離が違う2つの画像(例えば、「近RGB画像」と「遠RGB画像」)を取得する。
Also, the objects contained in two or more different original images are usually the same, but may be different. That is, for example, one original image may be an image in the same region as the optical signal, and the other original image may be an image in a partial region of the image (so-called zoomed image). For example, the original
元画像取得部32は、例えば、光信号取得部31が取得した光信号をから一部の波長を抽出した2以上の分光画像を取得する。かかる場合、元画像は、分光画像である。2以上の分光画像は、例えば、RGB画像(カラー画像)とIR画像(赤外線画像)とNIR画像(近赤外線)のうちの2以上の画像である。
The original
元画像取得部32は、例えば、RGBとNIRを同時撮影できるセンサー(例えば、「http://www.optronics-media.com/news/20160606/42937/」参照(令和2年11月1日検索)を用いて実現できる。
For example, the original
元画像取得部32は、例えば、光信号取得部31が取得した光信号からRGB画像を取得し、当該RGB画像に対して所定の画像処理が施された画像を取得する。かかる場合、元画像は、例えば、RGB画像と所定の画像処理が施された画像である。所定の画像処理は、例えば、シャープネス処理、ノイズ低減処理、明度向上の処理等であり、種々の公知の画像処理が該当し得る。
The original
元画像取得部32は、例えば、光信号取得部31が取得した光信号からIR画像を取得し、当該IR画像に対して所定の画像処理が施された画像を取得する。かかる場合、元画像は、例えば、IR画像と所定の画像処理が施された画像である。所定の画像処理は、例えば、シャープネス処理、ノイズ低減処理、明度向上の処理等であり、種々の公知の画像処理が該当し得る。
The original
元画像取得部32は、例えば、光信号取得部31が取得した光信号を分光し、RGB画像とIR画像とを取得する。そして、元画像取得部32は、例えば、当該RGB画像に対して所定の画像処理が施された画像と、当該IR画像に対して所定の画像処理が施された画像を取得する。かかる場合、元画像は、例えば、RGB画像とIR画像とRGB画像に対して所定の画像処理が施された画像とIR画像に対して所定の画像処理が施された画像である。
The original
なお、元画像取得部32が取得する2以上の異なる元画像の撮影対象は同一である。
The shooting targets of two or more different original images acquired by the original
合成画像取得部33は、2以上の元画像を合成し、合成画像を取得する。合成画像取得部33は、元画像と合成画像とを合成し、新たな合成画像を取得しても良い。元画像の合成方法は問わない。
The composite
合成画像取得部33は、例えば、2以上の元画像のうちのいずれか1以上の元画像の一部の領域の部分元画像を、一部の領域に対応する領域に採用した合成画像を取得する。
The composite
合成画像取得部33は、例えば、2以上の元画像のうちの第一の元画像の第一の領域の第一の部分元画像を、第一の領域に対応する領域に採用した合成画像であり、2以上の元画像のうちの第二の元画像の第二の領域の第二の部分元画像を、第二の領域に対応する領域に採用した合成画像を取得する。
The composite
合成画像取得部33は、例えば、2以上の各元画像から信号強度の強い画素を選択し、一の合成画像を取得する。例えば、合成画像取得部33は、2以上の異なる元画像(例えば、RGB画像とIR画像)をNAM回路で合成する。つまり、合成画像取得部33は、例えば、NAM回路を用いて、二つの元画像の同じ位置の各画素のうち、レベルの高い画素値を優先して出力し、合成画像を取得する。
The composite
合成画像取得部33は、例えば、2以上の各元画像を予め決められた領域に区切り、同じ位置の領域ごとに、信号強度の強い方の領域を決定し、当該決定した領域の画素集合を組み合わせて、合成画像を取得する。なお、領域は、2以上の画素を有する。
The composite
合成画像取得部33は、例えば、2以上の元画像と学習器とを、機械学習の予測処理のモジュールに与え、2以上の元画像が合成された合成画像を取得しても良い。かかる場合の学習器は、2以上の元画像と合成画像とからなる2以上の教師データを、機械学習の学習処理のモジュールに与え、当該モジュールが実行され、取得された学習器である。なお、機械学習のアルゴリズムは問わないことは、上述した通りである。また、かかる学習器は、2以上の元画像を入力し、合成画像を出力する予測処理で使用される。
The composite
なお、合成画像と2以上の元画像の中のオブジェクトは、通常、同じオブジェクトであるが異なっていても良い。 Note that the composite image and the objects in the two or more original images are usually the same object, but may be different.
選択部34は、元画像取得部32が取得した2以上の元画像を含む候補画像から、認識処理に使用する1以上の対象画像を選択する。
The
選択部34は、2以上の元画像と合成画像を含む3以上の候補画像のうち、一の対象画像を取得することは好適である。
It is preferable for the
選択部34は、2以上の候補画像のうち、予め決められた条件を満たす1以上の対象画像を自動的に選択する。
The
なお、予め決められた条件は、例えば、後述する機械学習の予測処理により選択されることである。予め決められた条件は、例えば、後述する機械学習の予測処理により取得されたスコアが最大であることである。予め決められた条件は、例えば、候補画像が有する各画素の代表値(例えば、平均値、中央値)が最大であることである。予め決められた条件は、例えば、候補画像が有する各画素の属性値(例えば、輝度,明度)の代表値(例えば、平均値、中央値)が最大であることである。 It should be noted that the predetermined condition is selected, for example, by the prediction processing of machine learning described later. The predetermined condition is, for example, that the score obtained by the prediction process of machine learning described later is the maximum. The predetermined condition is, for example, that the representative value (for example, the average value and the median value) of each pixel of the candidate image is the maximum. The predetermined condition is that, for example, the representative value (for example, the average value, the median value) of the attribute values (for example, luminance, brightness) of each pixel of the candidate image is the maximum.
選択部34は、選択学習器と2以上の候補画像とを用いて、機械学習の予測処理を行い、1以上の対象画像を特定する。なお、選択学習器は、少なくとも2以上の元画像、および選択された画像を特定する画像識別情報を有する2以上の教師データを用いて、学習処理を行い取得された情報である。選択学習器は、後述する学習装置6が取得した学習器であることは好適である。
The
選択部34は、例えば、選択学習器と2以上の候補画像とを用いて、機械学習の予測処理を行い、一の対象画像を特定する画像識別情報を取得し、画像識別情報により特定される一の対象画像を取得する。なお、機械学習のアルゴリズムは、例えば、ランダムフォレスト、決定木、深層学習、SVM等であり、機械学習のアルゴリズムは問わない。また、機械学習の予測処理には、例えば、TensorFlowのライブラリ、tinySVM、R言語のrandom forestのモジュール等の各種の機械学習の関数や、種々の既存のライブラリを用いることができる。また、選択学習器は、例えば、後述する実施の形態2における学習装置6が取得した学習器である。なお、学習器は、分類器、モデルと言っても良い。
The
また、ここでの選択学習器は、例えば、2以上の候補画像を入力し、一の候補画像または一の候補画像の識別子を出力するための情報である。選択学習器は、例えば、2以上の候補画像のうちのいずれかの候補画像を入力し、当該候補画像を対象画像として選択されるか否かを示すフラグ(真または偽)を出力するめの情報である。選択学習器は、例えば、2以上の候補画像のうちのいずれかの候補画像を入力し、当該候補画像を対象画像として選択されるか否かを示すフラグ(真または偽)およびスコアを出力するめの情報である。なお、対象画像は、画像認識の対象となる画像である。 Further, the selection learner here is information for inputting two or more candidate images and outputting one candidate image or an identifier of one candidate image. The selection learner inputs, for example, one of two or more candidate images, and outputs a flag (true or false) indicating whether or not the candidate image is selected as the target image. Is. The selection learner inputs, for example, one of two or more candidate images, and outputs a flag (true or false) and a score indicating whether or not the candidate image is selected as the target image. Information. The target image is an image that is the target of image recognition.
つまり、選択部34は、例えば、選択学習器を格納部1から取得し、当該選択学習器と2以上の候補画像とを、機械学習の予測処理のモジュールに与え、当該モジュールを実行し、一の候補画像を、対象画像として決定する。
That is, for example, the
また、選択部34は、例えば、選択学習器を格納部1から取得する。そして選択部34は、例えば、2以上の候補画像のうちの一の候補画像と選択学習器との組を、順に、機械学習の予測処理のモジュールに与え、選択されるか否かを示すフラグと、スコアとを取得する。そして、選択部34は、例えば、選択されることを示すフラグが得られた候補画像であり、スコアが最大の候補画像を、対象画像として決定する。
Further, the
また、選択部34は、例えば、選択学習器を格納部1から取得し、当該選択学習器と2以上の候補画像とを、機械学習の予測処理のモジュールに与え、当該モジュールを実行し、2以上の候補画像を、対象画像として決定する。
Further, for example, the
また、選択部34は、例えば、選択学習器を格納部1から取得する。そして選択部34は、例えば、2以上の候補画像のうちの一の候補画像と選択学習器との組を、順に、機械学習の予測処理のモジュールに与え、選択されるか否かを示すフラグと、スコアとを取得する。そして、選択部34は、例えば、選択されることを示すフラグが得られた候補画像であり、スコアが閾値以上または閾値より大きい1または2以上の候補画像を、対象画像として決定する。
Further, the
選択部34は、例えば、2以上の候補画像から、ユーザの指示に応じた一の候補画像を、対象画像として選択する。例えば、ユーザの指示が設定情報である場合、選択部34は、2以上の候補画像から、格納部1の設定情報に対応する候補画像を対象画像として選択する。設定情報は、例えば、2以上の候補画像の種類のうち、一の候補画像の種類を示す種類識別子である。種類識別子は、例えば、「RGB画像」「IR画像」「合成画像」である。
The
認識部35は、2以上の元画像を用いて、光信号に関する認識処理を行い、認識結果を取得する。光信号に関する認識処理とは、通常、対象画像に対する画像認識処理である。
The
認識部35は、例えば、少なくとも合成画像を用いて、画像認識処理を行い、認識結果を取得する。認識部35は、例えば、2以上の元画像と合成画像とを用いて、画像の認識処理を行い、認識結果を取得する。
The
認識部35は、通常、1または2以上の対象画像を用いて、画像認識処理を行い、認識結果を取得する。1以上の対象画像は、2以上の候補画像から選択部34が選択した画像である。
The
認識部35は、例えば、2以上の元画像を含むセットと認識結果とを用いて、学習処理を行い取得された認識学習器と、2以上の元画像とを用いて、機械学習の予測処理を行い、認識結果を取得する。2以上の元画像とを用いることは、2以上の元画像から取得された対象画像を用いることでも良い。
The
認識部35は、機械学習のアルゴリズム以外の技術を用いて、対象画像に対して認識処理を行い、認識結果を取得しても良い。なお、機械学習のアルゴリズム以外の技術は、例えば、公知のオブジェクト認識技術、文字認識技術である。つまり、認識部35は、画像認識処理により、対象画像の中のオブジェクトを認識し、当該オブジェクトを識別するオブジェクト識別子を取得しても良い。また、認識部35は、対象画像の中のオブジェクトの色や形状を、画像認識処理により取得しても良い。
The
認識結果は、例えば、撮影された光信号の中に含まれるオブジェクトのオブジェクト名、撮影された光信号の中に含まれる文字列(数字列でも良い)、当該オブジェクトの属性値(色、形状、サイズなど)である。また、光信号の中の情報とは、対象画像の中の情報である。 The recognition result is, for example, the object name of the object included in the photographed optical signal, the character string (may be a numerical string) included in the photographed optical signal, and the attribute value (color, shape, of the object) of the object. Size etc.). Further, the information in the optical signal is the information in the target image.
認識部35は、2以上の各対象画像に対して認識処理を行い、2以上の各対象画像から異なる種類の認識結果を取得し、当該2以上の種類の認識結果を用いて、出力する認識結果を取得しても良い。認識部35は、例えば、一の対象画像から自動車の車種名と色とを有する認識結果を取得し、他の対象画像からナンバープレートの情報を取得しても良い。また、認識部35は、2以上の各対象画像に対して認識処理を行い、2以上の各対象画像から異なる認識結果を取得する場合に、2以上の各対象画像に対して異なる2以上のアルゴリズムを用いて、認識処理を行っても良い。例えば、認識部35は、一の対象画像に対して、機械学習の予測処理を行い車種名を取得し、当該一の対象画像に対して、画像認識を行い、自動車の輪郭を抽出し、当該自動車の領域の色情報(例えば、「白」)を取得し、他の対象画像からナンバープレートの領域の輪郭を抽出し、当該領域に対して文字認識処理を行い、ナンバープレートの番号を取得しても良い。なお、上記した通り、認識部35は、一つの対象画像に対して、2以上の異なるアルゴリズムにより、2以上の認識結果を取得しても良い。
The
認識部35は、例えば、対象画像に写っている指紋の領域を検知し、指紋認証処理を行い、当該指紋に対応する人物の識別情報を図示しない格納部から取得する。かかる場合、格納部には、指紋の情報と人物の識別情報とを対応付ける情報が格納されている。
For example, the
認識部35は、例えば、対象画像に写っている人物の顔の領域を検出し、当該顔の領域の画像を用いて顔認証処理を行い、当該顔の画像に対応する人物の識別情報を図示しない格納部から取得する。かかる場合、格納部には、顔の画像と人物の識別情報とを対応付ける情報が格納されている。
For example, the
認識部35は、例えば、元画像取得部32が取得した焦点距離が違う2つの画像(近焦点側の画像をW、遠焦点側の画像をTとする)で得られた画像信号からパターン認識または機械学習等により、画像内のオブジェクト(例えば、前方の車)を認識する。そして、WとTとの画像の差をXとすると、認識部35は、Xを基準としてWとTの信号量を比較し、オブジェクトとの距離を算出する。なお、予めWの最大信号となる焦点距離を、例えば、1.0メーターとし、Tの信号が最大となる焦点距離を3.0メーターと設定しておけば、Xとの関連を取る事により、認識部35は、距離は取得できる。つまり、認識部35は、光信号取得部31から画像内のオブジェクトへの距離を、認識結果を構成する情報として取得できる。
The
出力部4は、認識部35が取得した認識結果を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
The
格納部1は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
A non-volatile recording medium is suitable for the
格納部1に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部1で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部1で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部1で記憶されるようになってもよい。
The process in which the information is stored in the
受付部2は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
The
処理部3、元画像取得部32、合成画像取得部33、選択部34、および認識部35は、通常、プロセッサやメモリ等から実現され得る。処理部3等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。なお、プロセッサは、例えば、CPU、MPU、GPU等であり、その種類は問わない。
The
光信号取得部31は、例えば、いわゆるカメラの光学部品と撮像素子とにより実現される。
The optical
出力部4は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部4は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
The
次に、画像認識装置Aの第一の動作例について、図2のフローチャートを用いて説明する。 Next, a first operation example of the image recognition device A will be described with reference to the flowchart of FIG.
(ステップS201)光信号取得部31は、光信号を取得する。
(Step S201) The optical
(ステップS202)元画像取得部32は、光信号取得部31が取得した光信号を用いて、2以上の異なる元画像を取得する。かかる元画像取得処理の例について、図3のフローチャートを用いて説明する。
(Step S202) The original
(ステップS203)合成画像取得部33は、合成画像を取得するか否かを判断する。合成画像を取得する場合はステップS205に行き、合成画像を取得しない場合はステップS206に行く。なお、合成画像取得部33は、常に、合成画像を取得しても良い。また、合成画像取得部33は、例えば、格納部1の合成画像フラグが合成画像を取得する旨を示す情報である場合に、合成画像を取得すると判断しても良い。ただし、合成画像を取得すると判断するための条件は問わない。
(Step S203) The composite
(ステップS204)合成画像取得部33は、合成画像を取得する。かかる合成画像取得処理の例について、図4のフローチャートを用いて説明する。
(Step S204) The composite
(ステップS205)選択部34は、元画像取得部32が取得した2以上の元画像を含む候補画像のうち、一の対象画像を取得する。なお、選択部34は、2以上の元画像と合成画像を含む3以上の候補画像のうち、一の対象画像を取得することは好適である。かかる選択処理の例について、図5、図6のフローチャートを用いて説明する。
(Step S205) The
(ステップS206)認識部35は、ステップS205で取得された一の対象画像に対して、画像認識処理を行い、認識結果を取得する。
(Step S206) The
(ステップS207)出力部4は、ステップS206で取得された認識結果を出力する。
(Step S207) The
(ステップS208)処理部3は、処理を終了するか否かを判断する。処理を終了すると判断した場合は処理を終了し、処理を終了しないと判断した場合はステップS201に戻る。ここで、処理を終了するための条件は問わない。画像認識装置Aが、例えば、自動車等に搭載される車載装置である場合、処理を終了するための条件は、例えば、自動車等の移動体のエンジンがOFFになったことである。
(Step S208) The
次に、ステップS202の元画像取得処理の例について、図3のフローチャートを用いて説明する。 Next, an example of the original image acquisition process in step S202 will be described with reference to the flowchart of FIG.
(ステップS301)元画像取得部32は、カウンタiに1を代入する。
(Step S301) The original
(ステップS302)元画像取得部32は、元画像を取得するためのi番目の元画像識別情報が格納部1に存在するか否かを判断する。
(Step S302) The original
(ステップS303)元画像取得部32は、i番目の元画像識別情報に対応するi番目の元画像を取得し、図示しないバッファに一時蓄積する。
(Step S303) The original
(ステップS304)元画像取得部32は、カウンタiを1、インクリメントする。ステップS302に戻る。
(Step S304) The original
次に、ステップS204の合成画像取得処理の例について、図4のフローチャートを用いて説明する。 Next, an example of the composite image acquisition process in step S204 will be described with reference to the flowchart of FIG.
(ステップS401)合成画像取得部33は、カウンタiに1を代入する。
(Step S401) The composite
(ステップS402)合成画像取得部33は、i番目の合成画像を取得するか否かを判断する。i番目の合成画像を取得する場合はステップS403に行き、i番目の合成画像を取得しない場合は上位処理にリターンする。なお、例えば、合成画像取得部33は、格納部1にi番目の合成画像識別情報が存在するか否かにより、i番目の合成画像を取得するか否かを判断する。
(Step S402) The composite
(ステップS403)合成画像取得部33は、i番目の合成画像を取得するために使用する2以上の元画像を図示しないバッファから取得する。
(Step S403) The composite
(ステップS404)合成画像取得部33は、ステップS403で取得した2以上の元画像を用いて、i番目の合成画像を取得し、当該合成画像を図示しないバッファに一時蓄積する。
(Step S404) The composite
(ステップS405)合成画像取得部33は、カウンタiを1、インクリメントする。ステップS402に戻る。
(Step S405) The composite
次に、ステップS205の選択処理の第一の例について、図5のフローチャートを用いて説明する。 Next, a first example of the selection process in step S205 will be described with reference to the flowchart of FIG.
(ステップS501)選択部34は、格納部1から選択学習器を取得する。
(Step S501) The
(ステップS502)選択部34は、カウンタiに1を代入する。
(Step S502) The
(ステップS503)選択部34は、図示しないバッファにi番目の候補画像が存在するか否かを判断する。i番目の候補画像が存在する場合はステップS504に行き、i番目の候補画像が存在しない場合はステップS508に行く。
(Step S503) The
(ステップS504)選択部34は、図示しないバッファからi番目の候補画像を取得する。
(Step S504) The
(ステップS505)選択部34は、選択学習器とi番目の候補画像とを機械学習の予測モジュールに与え、当該予測モジュールを実行し、予測結果を取得する。なお、予測結果は、ここでは、選択されるか否かを示すフラグ(予測値)とスコアである。スコアは高いほど、選択される尤度が大きい、とする。
(Step S505) The
(ステップS506)選択部34は、i番目の候補画像に対応付けて、予測値とスコアとを図示しないバッファに一時蓄積する。
(Step S506) The
(ステップS507)選択部34は、カウンタiを1、インクリメントする。ステップS503に戻る。
(Step S507) The
(ステップS508)選択部34は、選択されることを示す予測値であり、最大のスコアと対になる候補画像を、対象画像に決定する。上位処理にリターンする。
(Step S508) The
次に、ステップS205の選択処理の第二の例について、図6のフローチャートを用いて説明する。図6のフローチャートにおいて、図5のフローチャートと同一のステップについて説明を省略する。 Next, a second example of the selection process in step S205 will be described with reference to the flowchart of FIG. In the flowchart of FIG. 6, the same steps as the flowchart of FIG. 5 will be omitted.
(ステップS601)選択部34は、2以上の候補画像を図示しないバッファから取得する。
(Step S601) The
(ステップS602)選択部34は、選択学習器と2以上の候補画像とを機械学習の予測モジュールに与え、当該予測モジュールを実行し、予測結果を取得する。なお、予測結果は、ここでは、対象画像を特定する情報である。対象画像を特定する情報は、対象画像でも良いし、対象画像の識別子(例えば、ファイル名)等でも良い。
(Step S602) The
(ステップS603)選択部34は、予測結果に対応する候補画像を対象画像に決定する。
(Step S603) The
次に、画像認識装置Aの第二の動作例について、図7のフローチャートを用いて説明する。図7のフローチャートにおいて、図2のフローチャートと同一のステップについて説明を省略する。 Next, a second operation example of the image recognition device A will be described with reference to the flowchart of FIG. 7. In the flowchart of FIG. 7, the same steps as the flowchart of FIG. 2 will be omitted.
(ステップS701)認識部35は、カウンタiに1を代入する。
(Step S701) The
(ステップS702)認識部35は、画像認識処理の対象であるi番目の対象画像が存在するか否かを判断する。i番目の対象画像が存在する場合はステップS703に行き、i番目の対象画像が存在しない場合はステップS705に行く。
(Step S702) The
(ステップS703)認識部35は、i番目の対象画像に対して画像認識処理を行い、i番目の認識結果を取得し、図示しないバッファに一時蓄積する。
(Step S703) The
(ステップS704)認識部35は、カウンタiを1、インクリメントする。ステップS702に戻る。
(Step S704) The
(ステップS705)認識部35は、図示しないバッファ内の1以上の認識結果を用いて、出力する認識結果を取得する。ステップS207に行く。
(Step S705) The
なお、認識部35は、例えば、画像認識処理の結果、取得された最大のスコアに対応する認識結果を取得する。認識部35は、例えば、2以上の認識結果のうち、最も多い認識結果を、出力する認識結果として取得する。
The
なお、図7のフローチャートにおいて、すべての候補画像に対して、画像認識処理を行った。しかし、候補画像から1または2以上の対象画像を選択し、当該1以上の対象画像に対して、画像認識処理を行っても良い。 In the flowchart of FIG. 7, image recognition processing was performed on all the candidate images. However, one or two or more target images may be selected from the candidate images, and image recognition processing may be performed on the one or more target images.
以下、本実施の形態における撮影装置Aの具体的な動作について説明する。撮影装置Aの外観は、例えば、カメラである。 Hereinafter, the specific operation of the photographing apparatus A in the present embodiment will be described. The appearance of the photographing apparatus A is, for example, a camera.
今、格納部1には、「RGB画像」「IR画像」の2つの元画像識別情報が格納されている、とする。また、格納部1には、合成画像を取得する一のプログラムのモジュール名である合成画像識別情報が格納されている、とする。当該一のプログラムは、「RGB画像」「IR画像」のうちの輝度の平均値が高い方の元画像をベースとして採用し、ナンバープレートの領域を検知し、ナンバープレートの領域のシャープネスが大きい方の元画像のナンバープレートの領域を採用するプログラムである、とする。
Now, it is assumed that the
また、格納部1には、3つの候補画像から一の候補画像を選択する選択学習器が格納されている。
Further, the
さらに、格納部1には、対象画像を与えると、当該対象画像に写っている自動車の車種を識別する車種情報を取得する認識学習器が格納されている、とする。なお、かかる認識学習器は、自動車を撮影した画像と車種情報とを有する2以上の教師データに対して、機械学習の学習処理を行い取得された情報である。
Further, it is assumed that the
以上の状況において、撮影装置Aの光信号取得部31は、撮影し、光信号を取得した、とする。
In the above situation, it is assumed that the optical
次に、元画像取得部32は、光信号取得部31が取得した光信号を用いて、「RGB画像」「IR画像」の2つの元画像を取得する。「RGB画像」は、図8の81である。「IR画像」は、図8の82である。
Next, the original
また、合成画像取得部33は、合成画像識別情報が示すモジュール名で識別されるモジュールを実行し、合成画像を取得する。かかる合成画像は、図8の83である。
Further, the composite
次に、選択部34は、格納部1の選択学習器を取得する。選択部34は、3つの候補画像(「RGB画像81」「IR画像82」「合成画像83」)と選択学習器とを、機械学習の予測モジュールに与え、一の画像(ここでは、合成画像83)を取得した、とする。
Next, the
次に、認識部35は、合成画像83に対して、画像認識処理を行い、ナンバープレートの番号「20-20」を取得する。また、自動車の色「白」を取得する。
Next, the
また、認識部35は、格納部1の認識学習器を取得する。そして、認識部35は、合成画像83と認識学習器とを、機械学習の予測モジュールに与え、当該予測モジュールを実行し、合成画像83に写っている自動車の車種「XXX」を取得した、とする。
Further, the
次に、出力部4は、認識結果「<車種>XXX <色>白 <ナンバープレート>20-20」を出力する。
Next, the
以上、本実施の形態によれば、高い精度で画像の認識ができる。つまり、本実施の形態によれば、2以上の候補画像から画像認識対象の対象画像を選択し、当該対象画像に対して画像認識処理を行うことにより、高い精度で画像の認識ができる。 As described above, according to the present embodiment, the image can be recognized with high accuracy. That is, according to the present embodiment, by selecting a target image to be image-recognized from two or more candidate images and performing image recognition processing on the target image, image recognition can be performed with high accuracy.
なお、本実施の形態における画像認識装置Aの用途は問わないことは言うまでもない。画像認識装置Aは、例えば、監視カメラとして利用可能である。監視カメラは、例えば、車の自動運転やドライブレコーダ用の監視カメラである。また、監視カメラは、例えば、ドライブレコーダの車内監視のためのカメラ、後部座席の監視のためのカメラ、運転者の動向や居眠り監視のためのカメラである。画像認識装置Aは、例えば、車の自動運転のためのカメラ、ドライブレコーダの車外監視のためのカメラである。 Needless to say, the use of the image recognition device A in the present embodiment is not limited. The image recognition device A can be used as, for example, a surveillance camera. The surveillance camera is, for example, a surveillance camera for automatic driving of a car or a drive recorder. Further, the surveillance camera is, for example, a camera for monitoring the inside of a drive recorder, a camera for monitoring the rear seats, and a camera for monitoring the driver's movement and falling asleep. The image recognition device A is, for example, a camera for automatic driving of a car and a camera for monitoring the outside of a drive recorder.
また、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD-ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における画像認識装置Aを実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、撮影し、光信号を取得する光信号取得部と、前記光信号を用いて、2以上の異なる元画像を取得する元画像取得部と、前記2以上の元画像を用いて、前記光信号に関する認識処理を行い、認識結果を取得する認識部と、前記認識結果を出力する出力部として機能させるためのプログラムである。 Further, the processing in the present embodiment may be realized by software. Then, this software may be distributed by software download or the like. Further, this software may be recorded on a recording medium such as a CD-ROM and disseminated. It should be noted that this also applies to other embodiments herein. The software that realizes the image recognition device A in this embodiment is the following program. That is, this program includes an optical signal acquisition unit that photographs a computer and acquires an optical signal, an original image acquisition unit that acquires two or more different original images using the optical signal, and the two or more elements. This is a program for functioning as a recognition unit that performs recognition processing related to the optical signal using an image and acquires the recognition result, and an output unit that outputs the recognition result.
(実施の形態2)
本実施の形態において、画像認識装置Aが使用し得る選択学習器、認識学習器を取得する学習システムについて説明する。
(Embodiment 2)
In the present embodiment, a selection learning device that can be used by the image recognition device A and a learning system for acquiring a recognition learning device will be described.
図9は、本実施の形態における学習システムBの概念図である。学習システムBは、1または2以上の画像蓄積装置5、および学習装置6を備える。なお、学習システムBは、一の装置で実現されても良いし、3以上の装置で実現されても良い。
FIG. 9 is a conceptual diagram of the learning system B in the present embodiment. The learning system B includes one or more
画像蓄積装置5は、画像を撮影し、当該画像を用いて、2以上の候補画像のセットを取得し、当該セットから一の選択を受け付ける。そして、画像蓄積装置5は、セットの中で、選択された候補画像と選択されなかった候補画像とを区別可能な状態で、セットを蓄積する。また、画像蓄積装置5は、画像の中のオブジェクトに関するオブジェクト情報を受け付ける。オブジェクト情報は、上述した認識結果に相当する情報である。画像蓄積装置5は、例えば、カメラ、またはカメラ付きのコンピュータである。カメラは、静止画を撮影できるものでも、動画を撮影できるものでも良い。
The
学習装置6は、2以上のセットを用いて学習処理を行い、2以上の候補画像から一の画像を選択するための選択学習器を構成する装置である。また、学習装置6は、画像とオブジェクト情報とを有する2以上の教師データを学習し、認識学習器を構成する装置である。
The
図10は、本実施の形態における学習システムBのブロック図である。学習システムBを構成する画像蓄積装置5は、格納部51、受付部52、処理部53、および出力部54を備える。受付部52は、選択受付部521、および認識結果受付部522を備える。処理部53は、光信号取得部31、元画像取得部32、合成画像取得部33、教師データ蓄積部531、および区別部532を備える。出力部54は、セット出力部541を備える。
FIG. 10 is a block diagram of the learning system B according to the present embodiment. The
学習装置6は、学習格納部61、選択学習部62、認識学習部63、および学習器蓄積部64を備える。
The
画像蓄積装置5を構成する格納部51には、各種の情報が格納される。各種の情報は、例えば、2以上の候補画像のセットである。
Various types of information are stored in the
受付部52は、各種の指示や情報を受け付ける。各種の指示や情報は、例えば、撮影指示、選択指示、後述する認識結果である。選択指示は、画像の選択の指示である。選択指示は、単に、選択と言っても良い。
The
各種の指示や情報の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。 The means for inputting various instructions and information may be any, such as a touch panel, a keyboard, a mouse, or a menu screen.
選択受付部521は、セットに含まれる2以上候補画像のうち、一の候補画像の選択を受け付ける。
The
認識結果受付部522は、光信号に対する認識結果を受け付ける。光信号に対する認識結果は、画像に対する認識結果と同じ意味である。認識結果は、光信号に対する画像の中のオブジェクトに関するオブジェクト情報である。
The recognition
処理部53は、各種の処理を行う。各種の処理は、例えば、光信号取得部31、元画像取得部32、合成画像取得部33、セット蓄積部531、区別部532が行う処理である。
The
教師データ蓄積部531は、2以上の教師データを蓄積する。教師データは、元画像取得部32が取得した2以上の異なる元画像を含む2以上の候補画像のうちの1以上の候補画像を含む。教師データは、例えば、選択受付部521が受け付けた選択に対応する候補画像と、選択に対応しない1以上の候補画像とを区別可能な候補画像のセットを含む。教師データは、例えば、認識結果受付部522が受け付けた認識結果を有する。
The teacher
なお、教師データが有する1以上の候補画像は、選択受付部521が受け付けられた選択に対応する一つの候補画像でも良いし、2以上の候補画像のセットでも良い。2以上の候補画像は、例えば、元画像取得部32が取得した2以上の元画像である。2以上の候補画像は、例えば、元画像取得部32が取得した2以上の元画像と合成画像取得部33が取得した1以上の合成画像である。2以上の候補画像は、例えば、選択受付部521が受け付けた選択に対応する2以上の候補画像である。
The one or more candidate images possessed by the teacher data may be one candidate image corresponding to the selection accepted by the
教師データ蓄積部531は、例えば、元画像取得部32が取得した2以上の異なる元画像を含む2以上の候補画像のうち、選択受付部521が受け付けた候補画像と、認識結果受付部522が受け付けた認識結果とを有する教師データを蓄積する。
In the teacher
教師データ蓄積部531は、2以上の異なる元画像と合成画像とを含む3以上の候補画像のうちの1以上の候補画像と認識結果とを有する教師データを蓄積する。
The teacher
区別部532は、選択受付部521が受け付けた選択に対応する一の候補画像を正例とし、選択されなかった1以上の候補画像を負例として、区別する処理を行う。区別する処理とは、例えば、選択された一の候補画像に、正例フラグを対応付ける処理である。区別する処理とは、例えば、選択されなかった1以上の各候補画像に、負例フラグを対応付ける処理である。区別する処理とは、例えば、選択された一の候補画像に、正例フラグを対応付け、選択されなかった1以上の各候補画像に、負例フラグを対応付ける処理である。区別する処理とは、例えば、選択された一の候補画像と、選択されなかった1以上の候補画像とを、異なるフォルダに蓄積する処理である。選択された一の候補画像と、選択されなかった1以上の候補画像とを区別できれば良く、区別する処理、方法は問わない。
The
出力部54は、各種の情報を出力する。各種の情報は、2以上の候補画像のセットである。また、ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
The
セット出力部541は、2以上の異なる元画像を含む2以上の候補画像を含むセットを出力する。
The
学習装置6を構成する学習格納部61には、各種の情報が格納される。各種の情報は、2以上の教師データである。2以上の教師データは、画像蓄積装置5が蓄積したデータである。
Various types of information are stored in the
教師データは、例えば、正例画像と1以上の負例画像とを含む。なお、正例画像は、正例の候補画像である。負例画像は、負例の候補画像である。また、かかる教師データは、選択学習器を取得するためのデータである。 The teacher data includes, for example, a positive example image and one or more negative example images. The regular image is a regular candidate image. The negative example image is a candidate image of the negative example. Further, the teacher data is data for acquiring a selective learner.
教師データは、例えば、画像と認識結果とを含む。かかる教師データは、認識学習器を取得するためのデータである。 The teacher data includes, for example, an image and a recognition result. Such teacher data is data for acquiring a recognition learner.
選択学習部62は、一の正例画像と1以上の負例画像とを含む2以上のセットを用いて、学習処理を行い、選択学習器を取得する。選択学習器は、2以上の候補画像から、1以上の対象画像を決定するための学習器である。
The
かかる学習処理は、機械学習のアルゴリズムを用いた学習処理である。なお、機械学習のアルゴリズムは、例えば、ランダムフォレスト、決定木、深層学習、SVM等であり、機械学習のアルゴリズムは問わない。また、機械学習の学習処理には、例えば、TensorFlowのライブラリ、tinySVM、R言語のrandom forestのモジュール等の各種の機械学習の関数や、種々の既存のライブラリを用いることができる。 Such a learning process is a learning process using a machine learning algorithm. The machine learning algorithm is, for example, random forest, decision tree, deep learning, SVM, or the like, and the machine learning algorithm does not matter. In addition, various machine learning functions such as a TensorFlow library, tinySVM, and R language random forest module, and various existing libraries can be used for the machine learning learning process.
選択学習部62は、例えば、一の正例画像と1以上の負例画像とを含む2以上のセットを、機械学習の学習モジュールに与え、当該学習モジュールを実行し、選択学習器を取得する。
The
選択学習部62は、例えば、一の正例画像と、当該一の正例画像と同じ撮影対象の一の負例画像の組を、2以上のセットから構成する。選択学習部62は、構成した2以上の画像の組を、機械学習の学習モジュールに与え、当該学習モジュールを実行し、選択学習器を取得する。
The
認識学習部63は、画像蓄積装置5が蓄積した2以上の教師データを用いて、学習処理を行い、認識学習器を取得する。ここでの教師データは、一の対象画像と認識結果である。なお、教師データは、2以上の対象画像と認識結果でも良い。
The
認識学習部63は、2以上の教師データを、機械学習の学習モジュールに与え、当該学習モジュールを実行し、認識学習器を取得する。
The
なお、かかる学習処理も、機械学習のアルゴリズムを用いた学習処理であり、そのアルゴリズムは問わない。 The learning process is also a learning process using a machine learning algorithm, and the algorithm does not matter.
学習器蓄積部64は、選択学習部62が取得した選択学習器を蓄積する。学習器蓄積部64は、認識学習部63が取得した認識学習器を蓄積する。なお、学習器の蓄積先は問わない。
The learning
格納部51、および学習格納部61は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
A non-volatile recording medium is suitable for the
格納部51等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部51等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部51等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部51等で記憶されるようになってもよい。
The process of storing information in the
受付部52、選択受付部521、および認識結果受付部522は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
The
処理部53、教師データ蓄積部531、区別部532、選択学習部62、認識学習部63、および学習器蓄積部64は、通常、プロセッサやメモリ等から実現され得る。処理部53等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。なお、プロセッサは、例えば、CPU、MPU、GPU等であり、その種類は問わない。
The
次に、学習システムBの動作例について説明する。まず、画像蓄積装置5の動作例について、図11のフローチャートを用いて説明する。図11のフローチャートにおいて、図2のフローチャートと同一のステップについて、説明を省略する。
Next, an operation example of the learning system B will be described. First, an operation example of the
(ステップS1101)処理部53は、撮影を行うか否かを判断する。撮影を行う場合はステップS202に行き、撮影を行わない場合はステップS201に戻る。なお、処理部53は、例えば、受付部52が撮影指示を受け付けた場合に、撮影を行うと判断する。また、処理部53は、例えば、受付部52が撮影指示を受け付けた後、撮影終了の指示を受け付けるまで、撮影を行うと判断する。処理部53が撮影を行うと判断する条件は問わない。
(Step S1101) The
(ステップS1102)出力部54は、取得された2以上の候補画像を出力する。なお、2以上の候補画像は、例えば、2以上の元画像である。2以上の候補画像は、例えば、2以上の元画像と1以上の合成画像である。なお、かかる出力は、通常、ディスプレイへの出力である。
(Step S1102) The
(ステップS1103)選択受付部521は、ユーザからの選択を受け付けたか否かを判断する。選択を受け付けた場合はステップS1104に行き、選択を受け付けなかった場合はステップS1103に戻る。
(Step S1103) The
(ステップS1104)区別部532は、ステップS1103で選択された候補画像に、正例フラグを対応付ける。
(Step S1104) The
(ステップS1105)認識結果受付部522は、認識結果を受け付けたか否かを判断する。認識結果を受け付けた場合はステップS1106に行き、認識結果を受け付けなかった場合はステップS1105に戻る。なお、かかる認識結果は、通常、ユーザが入力した情報である。
(Step S1105) The recognition
(ステップS1106)教師データ蓄積部531は、教師データを構成する。教師データ蓄積部531は、例えば、一の正例画像と1以上の負例画像と認識結果とを有する教師データを構成する。教師データ蓄積部531は、例えば、2以上の正例画像と1以上の負例画像と認識結果とを有する教師データを構成する。
(Step S1106) The teacher
(ステップS1107)教師データ蓄積部531は、ステップS1106で構成した教師データを図示しないバッファに蓄積する。ステップS1101に戻る。
(Step S1107) The teacher
なお、図11のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。 In the flowchart of FIG. 11, the process is terminated by turning off the power or interrupting the end of the process.
次に、学習装置6が選択学習器を取得する選択学習処理の例について、図12のフローチャートを用いて説明する。なお、学習格納部61には、2以上のセットが格納されている、とする。なお、セットは、例えば、選択された一の正例の候補画像と1以上の負例の候補画像のセットである。つまり、セットとは、正例画像と負例画像が区別された2以上の候補画像を有する。
Next, an example of the selective learning process in which the
(ステップS1201)学習装置6は、学習を開始するか否かを判断する。学習を開始する場合はステップS1202に行き、学習を開始しない場合はステップS1201に戻る。なお、学習を開始する条件は問わない。例えば、ユーザの指示により、学習装置6は、学習を開始すると判断する。
(Step S1201) The
(ステップS1202)選択学習部62は、カウンタiに1を代入する。
(Step S1202) The
(ステップS1203)選択学習部62は、学習格納部61に、i番目のセットが存在するか否かを判断する。
(Step S1203) The
(ステップS1204)選択学習部62は、i番目のセットが有する一の正例画像を取得する。なお、正例画像とは、正例フラグに対応付く候補画像である。
(Step S1204) The
(ステップS1205)選択学習部62は、カウンタjに1を代入する。
(Step S1205) The
(ステップS1206)選択学習部62は、i番目のセットが有するj番目の負例画像を取得する。
(Step S1206) The
(ステップS1207)選択学習部62は、ステップS1204で取得した正例画像とステップS1206で取得したj番目の負例画像との組を取得し、図示しないバッファに一時蓄積する。
(Step S1207) The
(ステップS1208)選択学習部62は、カウンタjを1、インクリメントする。ステップS1206に戻る。
(Step S1208) The
(ステップS1209)選択学習部62は、カウンタiを1、インクリメントする。ステップS1203に戻る。
(Step S1209) The
(ステップS1210)選択学習部62は、図示しないバッファに一時蓄積した2以上の正例画像と負例画像との組を学習モジュールに与え、当該モジュールを実行し、選択学習器を取得する。
(Step S1210) The
(ステップS1211)学習器蓄積部64は、ステップS1210で取得された選択学習器を蓄積する。ステップS1201に戻る。
(Step S1211) The learning
なお、図11のフローチャートにおいて、選択学習部62は、2以上のセットを、機械学習の学習モジュールに与え、当該学習モジュールを実行し、選択学習器を取得しても良い。
In the flowchart of FIG. 11, the
また、図11のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。 Further, in the flowchart of FIG. 11, the processing is terminated by the power off or the interrupt of the processing termination.
次に、学習装置6が認識学習器を取得する認識学習処理の例について説明する。認識学習部63は、2以上の教師データを学習格納部61から取得する。次に、認識学習部63は、当該2以上の教師データを、機械学習の学習モジュールに与え、当該学習モジュールを実行し、認識学習器を取得する。なお、ここでの教師データは、例えば、一の対象画像と認識結果とを有する。
Next, an example of the recognition learning process in which the
以下、本実施の形態における学習システムBの具体的な動作について説明する。 Hereinafter, the specific operation of the learning system B in the present embodiment will be described.
画像蓄積装置5の出力部54は、上述した処理により、格納部51の中の各セットの4つ候補画像を出力する。なお、4つ候補画像は、2つの元画像と2つの合成画像である、とする。また、2つの元画像は、「RGB画像」と「IR画像」である、とする。
The
そして、ユーザは、セットごとに、一の候補画像を選択する。すると、選択受付部521は、かかる選択を受け付ける。次に、区別部532は、選択された候補画像に対応付けて、正例フラグを蓄積する。
Then, the user selects one candidate image for each set. Then, the
また、ユーザは、選択された候補画像に写っているオブジェクトの名称を入力する。すると、画像蓄積装置5の認識結果受付部522は、オブジェクト名を受け付ける。そして、処理部53は、当該オブジェクト名を選択された候補画像に対応付けて蓄積する。
In addition, the user inputs the name of the object shown in the selected candidate image. Then, the recognition
以上の処理により、格納部51に、図13に示す教師データ管理表が蓄積された、とする。教師データ管理表は「ID」「元画像1」「元画像2」「合成画像1」「合成画像2」「認識結果」を有する2以上の教師データを有する。「ID」は、セットを識別する情報である。「元画像1」はRGB画像、「元画像2」はIR画像である。「合成画像1」「合成画像2」は、各々、異なるアルゴリズムにより合成された画像であり、元画像1と元画像2とを用いて合成された画像である、とする。「認識結果」は、選択された候補画像に写っているオブジェクトの名称である。
It is assumed that the teacher data management table shown in FIG. 13 is accumulated in the
また、図13において、ユーザにより選択された候補画像には、正例であることを示す「○」が付与され、ユーザにより選択されなかった候補画像には、負例であることを示す「×」が付与されている。 Further, in FIG. 13, a “◯” indicating that the candidate image is a positive example is given to the candidate image selected by the user, and a “×” indicating that the candidate image is not selected by the user is a negative example. "Is given.
そして、かかる教師データ管理表は、学習装置6の学習格納部61にも蓄積された、する。
Then, the teacher data management table is also stored in the
次に、学習装置6は、学習を開始する、と判断した、とする。
Next, it is assumed that the
次に、学習装置6の選択学習部62は、例えば、図12のフローチャートに従って、選択学習処理を行う。つまり、選択学習部62は、教師データ管理表の各教師データから、一の正例画像と3つの負例画像とを有するセットを取得する。そして、選択学習部62は、2以上のセットを、機械学習の学習モジュールに与え、当該学習モジュールを実行し、選択学習器を取得し、当該選択学習器を学習格納部61に蓄積する。なお、かかる選択学習器は、上述した撮影装置Aが選択処理のために利用することは好適である。
Next, the
また、認識学習部63は、例えば、教師データ管理表の各教師データから、一の正例画像(○に対応する候補画像)と認識結果とを取得する。そして、認識学習部63は、一の正例画像と認識結果との組、2組以上を、機械学習の学習モジュールに与え、当該学習モジュールを実行し、認識学習器を取得し、当該認識学習器を学習格納部61に蓄積する。なお、かかる認識学習器は、上述した撮影装置Aが画像認識処理のために利用することは好適である。
Further, the
以上、本実施の形態によれば、画像認識に必要な画像を選択するための選択学習器が得られる。 As described above, according to the present embodiment, a selection learning device for selecting an image necessary for image recognition can be obtained.
また、本実施の形態によれば、画像認識に必要な認識学習器が得られる。 Further, according to the present embodiment, a recognition learning device necessary for image recognition can be obtained.
なお、本実施の形態における画像蓄積装置5を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、撮影し、光信号を取得する光信号取得部と、前記光信号を用いて、2以上の異なる元画像を取得する元画像取得部と、前記元画像取得部が取得した2以上の元画像を含む2以上の候補画像を出力する出力部と、ユーザからの一の候補画像の選択を受け付ける選択受付部と、前記選択受付部が受け付けた選択に対応する一の候補画像を正例とし、選択されなかった1以上の候補画像を負例として、区別する処理を行う区別部と、光信号に対する認識結果を受け付ける認識結果受付部と、正例画像と1以上の負例画像と認識結果とを含む教師データを蓄積する教師データ蓄積部として機能させるためのプログラムである。
The software that realizes the
また、学習装置6を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、このプログラムは、正例画像と1以上の負例画像と認識結果とを含む2以上の教師データが格納される学習格納部にアクセス可能なコンピュータを、前記2以上のセットを用いて、学習処理を行い、選択学習器を取得する選択学習部と2以上の教師データを用いて、学習処理を行い、認識学習器を取得する認識学習部と、選択学習器と認識学習器とを蓄積する学習器蓄積部として機能させるためのプログラムである。なお、学習装置6を実現するソフトウェアは、選択学習器と認識学習器のうちの一方の学習器のみを取得し、蓄積するものでも良い。
The software that realizes the
また、上述の実施の形態において、認識結果をどのように用いても良い。つまり、例えば、画像認識装置Aを自動運転に用いても良い。例えば、画像認識装置Aの出力部4が出力した認識結果が有する距離を用いて、当該距離が閾値以内であると判断した場合には、自動車のブレーキをかける制御を行っても良い。
Further, in the above-described embodiment, the recognition result may be used in any way. That is, for example, the image recognition device A may be used for automatic operation. For example, if it is determined that the distance is within the threshold value by using the distance of the recognition result output by the
また、上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図14は、撮影装置A、画像蓄積装置5、学習装置6を実現し得るコンピュータシステム300のブロック図である。
Further, the above-described embodiment can be realized by computer hardware and a computer program executed on the computer hardware. FIG. 14 is a block diagram of a
図14において、コンピュータシステム300は、CD-ROMドライブを含むコンピュータ301と、キーボード302と、マウス303と、モニタ304とを含む。
In FIG. 14, the
図14において、コンピュータ301は、CD-ROMドライブ3012に加えて、MPU3013と、CD-ROMドライブ3012等に接続されたバス3014と、ブートアッププログラム等のプログラムを記憶するためのROM3015と、MPU3013に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM3016と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3017とを含む。ここでは、図示しないが、コンピュータ301は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
In FIG. 14, in addition to the CD-
コンピュータシステム300に、上述した実施の形態の撮影装置A等の機能を実行させるプログラムは、CD-ROM3101に記憶されて、CD-ROMドライブ3012に挿入され、さらにハードディスク3017に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ301に送信され、ハードディスク3017に記憶されても良い。プログラムは実行の際にRAM3016にロードされる。プログラムは、CD-ROM3101またはネットワークから直接、ロードされても良い。
The program for causing the
プログラムは、コンピュータ301に、上述した実施の形態の撮影装置Aの機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム300がどのように動作するかは周知であり、詳細な説明は省略する。
The program does not necessarily have to include an operating system (OS), a third-party program, or the like that causes the
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。つまり、画像蓄積装置5等は、スタンドアロンの装置であっても良く、2以上の装置から構成されても良い。
Further, the number of computers that execute the above program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed. That is, the
また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。 Further, in each of the above embodiments, each process may be realized by centralized processing by a single device, or may be realized by distributed processing by a plurality of devices.
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。 It goes without saying that the present invention is not limited to the above embodiments, and various modifications can be made, and these are also included in the scope of the present invention.
以上のように、本発明にかかる画像認識装置は、高い精度で画像の認識ができる、という効果を有し、画像認識装置等として有用である。 As described above, the image recognition device according to the present invention has the effect of being able to recognize an image with high accuracy, and is useful as an image recognition device or the like.
A 画像認識装置
B 学習システム
1、51 格納部
2、52 受付部
3、53 処理部
4、54 出力部
5 画像蓄積装置
6 学習装置
31 光信号取得部
32 元画像取得部
33 合成画像取得部
34 選択部
35 認識部
61 学習格納部
62 選択学習部
63 認識学習部
64 学習器蓄積部
521 選択受付部
522 認識結果受付部
531 教師データ蓄積部
531 セット蓄積部
532 区別部
541 セット出力部
A Image recognition device
Claims (11)
前記光信号を用いて、2以上の異なる元画像を取得する元画像取得部と、
前記2以上の元画像を用いて、前記光信号に関する認識処理を行い、認識結果を取得する認識部と、
前記認識結果を出力する出力部とを具備する画像認識装置。 An optical signal acquisition unit that shoots and acquires an optical signal,
An original image acquisition unit that acquires two or more different original images using the optical signal,
A recognition unit that performs recognition processing on the optical signal using the two or more original images and acquires the recognition result.
An image recognition device including an output unit that outputs the recognition result.
前記認識部は、
少なくとも前記合成画像を用いて、前記画像の認識処理を行い、認識結果を取得する、請求項1記載の画像認識装置。 A composite image acquisition unit for synthesizing the two or more original images and acquiring the composite image is further provided.
The recognition unit
The image recognition device according to claim 1, wherein at least the composite image is used to perform the image recognition process and acquire the recognition result.
前記認識部は、
前記1以上の対象画像を用いて、前記画像の認識処理を行い、認識結果を取得する、請求項1または請求項2記載の画像認識装置。 A selection unit for selecting one or more target images to be used for the recognition process from candidate images including two or more original images acquired by the original image acquisition unit is further provided.
The recognition unit
The image recognition device according to claim 1 or 2, wherein the image recognition process is performed using the one or more target images and the recognition result is acquired.
前記2以上の候補画像のうち、予め決められた条件を満たす1以上の対象画像を選択する、請求項3記載の画像認識装置。 The selection unit is
The image recognition device according to claim 3, wherein one or more target images satisfying a predetermined condition are selected from the two or more candidate images.
少なくとも2以上の元画像、および選択された画像を特定する画像識別情報を有する2以上の教師データを用いて、学習処理を行い取得された選択学習器と前記2以上の候補画像とを用いて、機械学習の予測処理を行い、前記1以上の対象画像を特定する、請求項4記載の画像認識装置。 The selection unit is
Using at least two original images and two or more teacher data having image identification information for identifying the selected image, a selection learner acquired by learning processing and the two or more candidate images are used. The image recognition device according to claim 4, wherein the prediction process of machine learning is performed to specify one or more target images.
2以上の元画像を含むセットと認識結果とを用いて、学習処理を行い取得された認識学習器と、前記2以上の元画像とを用いて、機械学習の予測処理を行い、認識結果を取得する、請求項1から請求項5いずれか一項に記載の画像認識装置。 The recognition unit
Using the recognition learner acquired by performing learning processing using a set containing two or more original images and the recognition result, machine learning prediction processing is performed using the two or more original images, and the recognition result is obtained. The image recognition device according to any one of claims 1 to 5 to be acquired.
前記画像蓄積装置は、
撮影し、光信号を取得する光信号取得部と、
前記光信号を用いて、2以上の異なる元画像を取得する元画像取得部と、
前記光信号に対する認識結果を受け付ける認識結果受付部と、
前記2以上の異なる元画像を含む2以上の候補画像のうちの1以上の候補画像と前記認識結果とを有する教師データを蓄積する教師データ蓄積部とを具備し、
前記学習装置は、
前記画像蓄積装置が蓄積した2以上の教師データを用いて、学習処理を行い、認識学習器を取得する認識学習部と、
前記認識学習器を蓄積する学習器蓄積部とを具備する、学習システム。 A learning system equipped with an image storage device and a learning device.
The image storage device is
An optical signal acquisition unit that shoots and acquires an optical signal,
An original image acquisition unit that acquires two or more different original images using the optical signal,
A recognition result receiving unit that receives the recognition result for the optical signal,
A teacher data storage unit for accumulating teacher data having one or more candidate images and the recognition result among two or more candidate images including the two or more different original images is provided.
The learning device is
A recognition learning unit that performs learning processing and acquires a recognition learner using two or more teacher data accumulated by the image storage device.
A learning system including a learning device storage unit that stores the recognition learning device.
前記2以上の元画像を合成し、合成画像を取得する合成画像取得部をさらに具備し、
前記教師データ蓄積部は、
前記2以上の異なる元画像と前記合成画像とを含む3以上の候補画像のうちの1以上の候補画像と前記認識結果とを有する教師データを蓄積する、請求項7記載の学習システム。 The image storage device is
A composite image acquisition unit for synthesizing the two or more original images and acquiring the composite image is further provided.
The teacher data storage unit
The learning system according to claim 7, wherein teacher data having one or more candidate images out of three or more candidate images including the two or more different original images and the composite image and the recognition result are accumulated.
前記2以上の異なる元画像を含む2以上の候補画像を含むセットを出力するセット出力部と、
前記セットに含まれる2以上候補画像のうち、一の候補画像の選択を受け付ける選択受付部とをさらに具備し、
前記選択受付部が受け付けた選択に対応する一の候補画像を正例とし、当該選択されなかった1以上の候補画像を負例として、区別する処理を行う区別部とをさらに具備し、
前記学習装置は、
正例の一の候補画像と負例の1以上の候補画像とを含む2以上のセットを用いて、学習処理を行い、選択学習器を取得する選択学習部をさらに具備し、
前記学習器蓄積部は、
前記選択学習器を蓄積する、請求項7または請求項8記載の学習システム。 The image storage device is
A set output unit that outputs a set including two or more candidate images including the two or more different original images, and a set output unit.
Further, a selection reception unit that accepts the selection of one candidate image from the two or more candidate images included in the set is further provided.
A distinguishing unit for performing a distinguishing process is further provided, with one candidate image corresponding to the selection accepted by the selection receiving unit as a positive example and one or more candidate images not selected as a negative example.
The learning device is
Further provided with a selection learning unit for performing learning processing and acquiring a selection learning device using two or more sets including one candidate image of a positive example and one or more candidate images of a negative example.
The learning device storage unit is
The learning system according to claim 7 or 8, wherein the selective learning device is accumulated.
前記光信号取得部が、撮影し、光信号を取得する光信号取得ステップと、
前記元画像取得部が、前記光信号を用いて、2以上の異なる元画像を取得する元画像取得ステップと、
前記認識部が、前記2以上の元画像を用いて、前記光信号に関する認識処理を行い、認識結果を取得する認識ステップと、
前記出力部が、前記認識結果を出力する出力ステップとを具備する画像認識方法。 It is an image recognition method realized by an optical signal acquisition unit, an original image acquisition unit, a recognition unit, and an output unit.
An optical signal acquisition step in which the optical signal acquisition unit captures and acquires an optical signal,
An original image acquisition step in which the original image acquisition unit acquires two or more different original images using the optical signal.
A recognition step in which the recognition unit performs recognition processing on the optical signal using the two or more original images and acquires a recognition result.
An image recognition method in which the output unit includes an output step for outputting the recognition result.
撮影し、光信号を取得する光信号取得部と、
前記光信号を用いて、2以上の異なる元画像を取得する元画像取得部と、
前記2以上の元画像を用いて、前記光信号に関する認識処理を行い、認識結果を取得する認識部と、
前記認識結果を出力する出力部として機能させるためのプログラム。 Computer,
An optical signal acquisition unit that shoots and acquires an optical signal,
An original image acquisition unit that acquires two or more different original images using the optical signal,
A recognition unit that performs recognition processing on the optical signal using the two or more original images and acquires the recognition result.
A program for functioning as an output unit that outputs the recognition result.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020190765A JP6902150B1 (en) | 2020-11-17 | 2020-11-17 | Image recognition device, learning system, image storage device, image recognition method, image storage method, and program |
JP2021085205A JP2022080248A (en) | 2020-11-17 | 2021-05-20 | Image recognition device, image recognition method, and program |
PCT/JP2021/041081 WO2022107636A1 (en) | 2020-11-17 | 2021-11-09 | Image recognition device, learning system, image storage device, image recognition method, image storage method, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020190765A JP6902150B1 (en) | 2020-11-17 | 2020-11-17 | Image recognition device, learning system, image storage device, image recognition method, image storage method, and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021085205A Division JP2022080248A (en) | 2020-11-17 | 2021-05-20 | Image recognition device, image recognition method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6902150B1 JP6902150B1 (en) | 2021-07-14 |
JP2022079899A true JP2022079899A (en) | 2022-05-27 |
Family
ID=76753118
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020190765A Active JP6902150B1 (en) | 2020-11-17 | 2020-11-17 | Image recognition device, learning system, image storage device, image recognition method, image storage method, and program |
JP2021085205A Pending JP2022080248A (en) | 2020-11-17 | 2021-05-20 | Image recognition device, image recognition method, and program |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021085205A Pending JP2022080248A (en) | 2020-11-17 | 2021-05-20 | Image recognition device, image recognition method, and program |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP6902150B1 (en) |
WO (1) | WO2022107636A1 (en) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020154854A (en) * | 2019-03-20 | 2020-09-24 | 株式会社ニコン | Inspection device, evaluation device, and program |
US11748977B2 (en) * | 2019-03-22 | 2023-09-05 | Nec Corporation | Image processing system, image processing device, image processing method, and computer-readable medium |
-
2020
- 2020-11-17 JP JP2020190765A patent/JP6902150B1/en active Active
-
2021
- 2021-05-20 JP JP2021085205A patent/JP2022080248A/en active Pending
- 2021-11-09 WO PCT/JP2021/041081 patent/WO2022107636A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP6902150B1 (en) | 2021-07-14 |
WO2022107636A1 (en) | 2022-05-27 |
JP2022080248A (en) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8224069B2 (en) | Image processing apparatus, image matching method, and computer-readable recording medium | |
JP5361524B2 (en) | Pattern recognition system and pattern recognition method | |
US20160267339A1 (en) | Image processing apparatus and method of generating face image | |
KR102598104B1 (en) | Method for displaying text information on an object contained in an image by compensating for motion generated during time of receiving text information from an external electronic device and electronic device thereof | |
KR102383134B1 (en) | Electronic device for processing image based on priority and method for operating thefeof | |
KR20100124738A (en) | Automatic redeye detection | |
CN111598065B (en) | Depth image acquisition method, living body identification method, apparatus, circuit, and medium | |
KR102423295B1 (en) | An apparatus for composing objects using depth map and a method thereof | |
EP2282224B1 (en) | Image processing apparatus, image processing method, and computer program | |
JP6374849B2 (en) | User terminal, color correction system, and color correction method | |
JP2018194346A (en) | Image processor, method for processing image, and image processing program | |
JP2018029270A (en) | Image processing apparatus, control method thereof, imaging apparatus, and program | |
JP6902150B1 (en) | Image recognition device, learning system, image storage device, image recognition method, image storage method, and program | |
JP2006318061A (en) | Apparatus, method, and program for image processing | |
JP7321772B2 (en) | Image processing device, image processing method, and program | |
JP2008217220A (en) | Image retrieval method and image retrieval system | |
JP2002216131A (en) | Image collating device, image collating method and storage medium | |
WO2022107635A1 (en) | Imaging device, image production method, and recording medium | |
JP7040627B2 (en) | Calculator, information processing method and program | |
JP2018055591A (en) | Information processing apparatus, information processing method and program | |
JP6460510B2 (en) | Image processing apparatus, image processing method, and program | |
JP2008148161A (en) | Imaging apparatus, its control method, program, and storage medium | |
CN114071005B (en) | Object detection method, electronic device and computer-readable storage medium | |
JP4814616B2 (en) | Pattern recognition apparatus and pattern recognition program | |
KR20220060801A (en) | Vehicle and method of displaying contents for the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210113 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210113 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210506 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210618 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6902150 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |