JP2009033561A - Information code reader and method of reading the same code - Google Patents

Information code reader and method of reading the same code Download PDF

Info

Publication number
JP2009033561A
JP2009033561A JP2007196402A JP2007196402A JP2009033561A JP 2009033561 A JP2009033561 A JP 2009033561A JP 2007196402 A JP2007196402 A JP 2007196402A JP 2007196402 A JP2007196402 A JP 2007196402A JP 2009033561 A JP2009033561 A JP 2009033561A
Authority
JP
Japan
Prior art keywords
image
information code
filter
decoding
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007196402A
Other languages
Japanese (ja)
Inventor
Yoichi Miyauchi
洋一 宮内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2007196402A priority Critical patent/JP2009033561A/en
Publication of JP2009033561A publication Critical patent/JP2009033561A/en
Pending legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information code reader for raising a success rate of decoding of information code and moreover improving reliability of the decoding and also provide a method of reading the information code. <P>SOLUTION: The information code reader includes an optical system 210 having optical wave surface modulating element forming a primary image, an imaging element 220, an image processing unit 230 to form the high definition final image from the primary image, and a control unit 240 having a decoding function to allow determining whether to decode or not the filtered image data by receiving the signal having completed the filtering process in the image processing unit 230 and also having a determining function to determine the decoding data in accordance with the result of decoding by the decoding function by filtering the image data using a plurality of image recovery filters in the filtering process function of the image processing unit 230. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、撮像素子を用い、光学系を備えた情報コード読取装置およびその方法に関するものである。   The present invention relates to an information code reading apparatus using an image sensor and having an optical system, and a method thereof.

近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面はフィルムに変わって固体撮像素子であるCCD(Charge Coupled Device),CMOS(Complementary Metal Oxide Semiconductor)センサが使用されているのが大半である。
In response to the digitization of information, which has been rapidly developing in recent years, the response in the video field is also remarkable.
In particular, as symbolized by a digital camera, the imaging surface is changed to a film, and a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) sensor, which is a solid-state imaging device, is used in most cases.

このように、撮像素子にCCDやCMOSセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、情報コード読取装置(バーコードリーダ)、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末(PDA:Personal DigitalAssistant)、画像検査装置、自動制御用産業カメラ等に用いられている。   As described above, an imaging lens device using a CCD or CMOS sensor as an imaging element is for taking an image of a subject optically by an optical system and extracting it as an electrical signal by the imaging element. In addition to a digital still camera, It is used in information code reading devices (bar code readers), video cameras, digital video units, personal computers, mobile phones, personal digital assistants (PDAs), image inspection devices, automatic control industrial cameras, and the like.

図32は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置1は、光学系2とCCDやCMOSセンサ等の撮像素子3とを有する。
光学系は、物体側レンズ21,22、絞り23、および結像レンズ24を物体側(OBJS)から撮像素子3側に向かって順に配置されている。
FIG. 32 is a diagram schematically illustrating a configuration and a light flux state of a general imaging lens device.
The imaging lens device 1 includes an optical system 2 and an imaging element 3 such as a CCD or CMOS sensor.
In the optical system, the object side lenses 21 and 22, the diaphragm 23, and the imaging lens 24 are sequentially arranged from the object side (OBJS) toward the image sensor 3 side.

撮像レンズ装置1においては、図32に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図33(A)〜(C)は、撮像レンズ装置1の撮像素子3の受光面でのスポット像を示している。
In the imaging lens device 1, as shown in FIG. 32, the best focus surface is matched with the imaging device surface.
33A to 33C show spot images on the light receiving surface of the imaging element 3 of the imaging lens device 1.

ところで、F値が明るいレンズは合焦位置からデフォーカスすると急激に変調伝達関数(MTF:Modulation Transfer Function)が下がってしまう。その結果、MTFが0まで下がりそこから高い周波数で再び値を持ついわゆるバウンドが発生する。
そして、このバウンド点以上は位相がずれているので解像はつぶれてしまう。
F値を絞るとデフォーカスさせた時のMTFの変化が低く抑えられるのでバウンドしないデフォーカス範囲を広くすることができる。これがF値を絞ることで被写界深度をかせぐ方法である。
By the way, when a lens with a bright F value is defocused from the in-focus position, the modulation transfer function (MTF: Modulation Transfer Function) is suddenly lowered. As a result, the MTF falls to 0 and a so-called bounce having a value again at a high frequency occurs.
Since the phase is shifted beyond this bounce point, the resolution is lost.
If the F value is reduced, the change in MTF at the time of defocusing can be kept low, so that the defocus range that does not bounce can be widened. This is a method of increasing the depth of field by reducing the F value.

さて、たとえばバーコードリーダの深度拡張技術としては、上記のようにF値を絞ることで被写界深度を広げて固定ピントとしている。
フォーカシングすれば撮影距離は伸びるが複雑な機構が必要になるため、耐衝撃の信頼性や耐久性問題、または即時性の問題でオートフォーカス機構を有しているものはない。すなわち、バーコードリーダは、信頼性の観点から固定焦点レンズが用いられている。
しかしながら、F値を絞ると撮像素子に入射する光エネルギーが小さくなってしまうため感度が低下してノイズが増えバーコードのデコードを失敗してしまうという問題がある。
そこで、バーコードリーダにおいては、製品仕様の撮影距離とF値のバランスをとって被写界深度は決まっている。
For example, as a depth extension technique for a barcode reader, the depth of field is expanded by narrowing the F value as described above to achieve a fixed focus.
Focusing increases the shooting distance but requires a complicated mechanism. Therefore, there is no problem that has an autofocus mechanism due to a problem of reliability of impact resistance, durability, or immediacy. That is, the barcode reader uses a fixed focus lens from the viewpoint of reliability.
However, if the F value is reduced, the light energy incident on the image sensor is reduced, so that there is a problem that the sensitivity is lowered, noise increases, and barcode decoding fails.
Therefore, in the barcode reader, the depth of field is determined by balancing the shooting distance of the product specification and the F value.

また、位相板により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている(たとえば非特許文献1,2、特許文献1〜5参照)。
この手法を用いれば、F値は明るいままで、被写界深度を伸ばすことができる。
“Wavefront Coding;jointly optimized optical and digital imaging systems”,Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama. “Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems”,Edward R.Dowski,Jr.,Gregory E.Johnson. USP6,021,005 USP6,642,504 USP6,525,302 USP6,069,738 特開2003−235794号公報
In addition, imaging devices have been proposed in which light beams are regularly dispersed by a phase plate and restored by digital processing to enable imaging with a deep depth of field (for example, Non-Patent Documents 1 and 2 and Patent Documents). 1-5).
If this method is used, the F-number remains bright and the depth of field can be extended.
“Wavefront Coding; jointly optimized optical and digital imaging systems”, Edward R. Dowski, Jr., Robert H. Cormack, Scott D. Sarama. “Wavefront Coding; A modern method of achieving high performance and / or low cost imaging systems”, Edward R. Dowski, Jr., Gregory E. Johnson. USP 6,021,005 USP 6,642,504 USP 6,525,302 USP 6,069,738 JP 2003-235794 A

ところが、絞りによって得られた被写界深度の限界距離では、絞り効果によってMTFのバウンドが低周波まで下がってこない様に抑えられているものの、MTF自体は低くデコード精度が低下した状態にある。したがって、被写界深度ぎりぎりの位置ではデコードの信頼性が低くなってしまう。   However, although the limit distance of the depth of field obtained by the aperture is limited so that the bounce of the MTF does not decrease to a low frequency due to the aperture effect, the MTF itself is low and the decoding accuracy is lowered. Therefore, the reliability of decoding is lowered at a position near the depth of field.

また、上述した各文献に記載の位相変調素子を用いたシステムでは、F値が明るくてもバウンドの発生を極力抑え広い深度を得られるメリットがある。
しかしながら、合焦の位置に対して出来る限りPSFの変化を抑えようとしても全く同一にはできず、深度ぎりぎりの箇所では合焦位置と比較しPSFの形状は変わっており、その差分が復元画像の劣化となる。結果深度ぎりぎりではやはりデコードの信頼性が低下してしまうという不利益がある。
In addition, the system using the phase modulation element described in each of the above-described documents has an advantage that even if the F value is bright, bounce can be suppressed as much as possible and a wide depth can be obtained.
However, even if an attempt is made to suppress the change in the PSF as much as possible with respect to the in-focus position, it cannot be made exactly the same, and the shape of the PSF has changed compared to the in-focus position at the marginal depth, and the difference is the restored image. Deterioration. There is a disadvantage that the reliability of the decoding is lowered at the last minute depth.

本発明は、情報コードのデコードの成功率を高めることができ、ひいてはデコードの信頼性の向上を図ることができる情報コード読取装置およびその方法を提供することにある。   SUMMARY OF THE INVENTION An object of the present invention is to provide an information code reading apparatus and method that can increase the success rate of decoding of an information code and can improve the decoding reliability.

本発明の第1の観点は、光学系と、前記光学系を通した被写体である情報コードの像を撮像する撮像素子と、前記光学系と被写体との距離に応じた複数の点広がり関数(PSF)毎に予め用意した複数の画像復元フィルタと、前記撮像素子から出力される画像データに対して前記画像復元フィルタによるフィルタリングを行うフィルタ手段と、前記フィルタリングが行われた画像データに対して前記情報コードのデコード可否判定を含むデコード手段と、を有し、前記フィルタ手段に前記複数の画像復元フィルタで前記画像データをフィルタリングさせ、前記デコード手段においてデコード可否判定で可となった結果をデコードデータとして出力する。   According to a first aspect of the present invention, an optical system, an image sensor that captures an image of an information code that is a subject that has passed through the optical system, and a plurality of point spread functions according to the distance between the optical system and the subject ( A plurality of image restoration filters prepared in advance for each PSF), filter means for filtering the image data output from the image sensor by the image restoration filter, and the image data on which the filtering has been performed Decoding means including determination of whether or not the information code can be decoded, and causing the filter means to filter the image data with the plurality of image restoration filters, and decoding data indicating a result of the decoding means that is permitted in the decoding possibility determination Output as.

好適には、同一の情報コードに対して所定回数の画像取得を行い、前記デコード可否判定で一定割合回数以上可となった場合に、最終的なデコード結果として採用する。   Preferably, a predetermined number of times of image acquisition are performed for the same information code, and the final decoding result is adopted when the predetermined number of times or more is obtained in the determination of whether or not decoding is possible.

好適には、前記デコード可否判定で可となる結果が得られた前記復元フィルタの種類を記憶しておき、次回の情報コード読み取りにおいて前記デコード可否判定を行う際に、当該記憶しておいた種類の復元フィルタを優先的に用いる。   Preferably, the type of the restoration filter for which a result that is acceptable in the determination as to whether or not decoding is possible is stored, and the type that is stored when the determination as to whether or not decoding is possible in the next information code reading is performed. The restoration filter is preferentially used.

好適には、前記光学系は、光学的伝達関数(OTF)を変調する光波面変調機能を含む。   Preferably, the optical system includes an optical wavefront modulation function for modulating an optical transfer function (OTF).

好適には、前記光学系は、光波面変調素子、または、当該光学系を形成する光学素子に形成された光波面変調面を含む。   Preferably, the optical system includes a light wavefront modulation element or a light wavefront modulation surface formed on the optical element forming the optical system.

好適には、前記復元フィルタが格納される記憶手段を有し、前記光学系の個体毎または要求される前記光学系と被写体との距離毎に前記復元フィルタの値を変更可能である。   Preferably, the image processing apparatus includes storage means for storing the restoration filter, and the value of the restoration filter can be changed for each individual optical system or for each required distance between the optical system and the subject.

好適には、前記複数の復元フィルタは下記に示すフィルタゲインFGの値が略等しくなるようにWienerフィルタの係数を変えて生成された。
FG = (1/a*ΣΣfilt(u,v)^2)^0.5
aはフィルタの全要素数
Preferably, the plurality of restoration filters are generated by changing the coefficient of the Wiener filter so that the following filter gain FG values are substantially equal.
FG = (1 / a * ΣΣfilt (u, v) ^ 2) ^ 0.5
a is the total number of elements in the filter

好適には、前記複数の復元フィルタは、前記光学系のピントの中心となる被写体距離に応じたものに比べて、当該ピントの中心から離れた被写体距離に応じたものになるほどフィルタゲインが高く設定されている。   Preferably, the plurality of restoration filters are set to have a higher filter gain as the distance between the plurality of restoration filters corresponds to the subject distance away from the focus center than to the distance corresponding to the subject distance as the focus center of the optical system. Has been.

好適には、前記複数の復元フィルタの前記フィルタゲインの高低に応じて前記デコード可否判定のノイズ判断も連動させる。   Preferably, the determination of whether or not decoding is possible is also linked in accordance with the level of the filter gain of the plurality of restoration filters.

本発明の第2の観点は、光学系を通した被写体である情報コードの像を撮像素子で撮像して当該情報コードを読み取る情報コード読取方法であって、前記光学系と被写体との距離に応じた複数の点広がり関数(PSF)毎に予め用意した複数の画像復元フィルタで前記撮像素子から出力される画像データに対してフィルタリングを行い、前記フィルタリングが行われた画像データに対して前記情報コードのデコード可否判定を行い、前記デコード可否判定で可となった結果をデコードデータとして採用する。   According to a second aspect of the present invention, there is provided an information code reading method in which an image of an information code, which is a subject that has passed through an optical system, is picked up by an image sensor and the information code is read, and the distance between the optical system and the subject is determined. The image data output from the image sensor is filtered by a plurality of image restoration filters prepared in advance for each of a plurality of corresponding point spread functions (PSFs), and the information is applied to the image data subjected to the filtering A determination is made as to whether or not the code can be decoded, and the result determined by the determination as to whether or not the code can be decoded is adopted as decoded data.

本発明によれば、情報コードのデコードの成功率を高めることができ、ひいてはデコードの信頼性の向上を図ることができる。   According to the present invention, it is possible to increase the success rate of decoding information codes, and to improve the reliability of decoding.

以下、本発明の実施形態を添付図面に関連付けて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

図1は、本発明の実施形態に係る情報コード読取装置の一例を示す外観図である。
図2(A)〜(C)は、情報コードの例を示す図である。
図3は、図1の情報コード読取装置に適用される撮像装置の構成例を示すブロックである。
FIG. 1 is an external view showing an example of an information code reading apparatus according to an embodiment of the present invention.
2A to 2C are diagrams illustrating examples of information codes.
FIG. 3 is a block diagram illustrating a configuration example of an imaging apparatus applied to the information code reading apparatus of FIG.

本実施形態に係る情報コード読取装置100は、図1に示すように、本体110がケーブル111を介して図示しない電子レジスタ等の処理装置と接続され、たとえば読み取り対象物120に印刷された反射率の異なるシンボル、コード等の情報コード121を読み取り可能な装置である。
情報コード読取装置100は、本体110に形成された読取開始スイッチ112が操作されると、それをトリガとして、情報コードの読み取りを、たとえば10回試みて7回デコード判定で可となればそれをデコード結果とする機能を有している。
この機能を有する理由は、情報コードの読み取り1回でデコード判定を可とすると、外乱や弱い情報に対して読み取りができない状態が続く場合が想定されることから、利用者の使い勝手を考慮したものである。ちなみにこの再試行の7回の設定は変更できように構成されている。
As shown in FIG. 1, the information code reader 100 according to the present embodiment has a main body 110 connected to a processing device such as an electronic register (not shown) via a cable 111, for example, a reflectance printed on a reading object 120. It is a device that can read the information code 121 such as a different symbol or code.
When the reading start switch 112 formed on the main body 110 is operated, the information code reading device 100 uses the trigger as a trigger to read the information code, for example, 10 times, and if it can be determined by 7 decoding determinations, It has a function of decoding results.
The reason for having this function is that considering the ease of use of the user, it is assumed that the state where the information cannot be read with respect to disturbance or weak information will continue if the decoding determination is enabled once. It is. By the way, it is configured so that the setting of seven times of this retry can be changed.

読み取り対象の情報コードとしては、たとえば図2(A)に示すような、JANコードのような1次元のバーコード122と、図2(B)および(C)に示すようなスタック式のCODE49、あるいはマトリックス方式のQRコードのような二次元のバーコード123が挙げられる。   As an information code to be read, for example, a one-dimensional bar code 122 such as a JAN code as shown in FIG. 2A, a stack-type CODE 49 as shown in FIGS. 2B and 2C, Alternatively, a two-dimensional barcode 123 such as a matrix type QR code can be used.

本実施形態に係る情報コード読取装置100は、本体110内に、図示しない照明光源と、図3に示すような撮像装置200とが配置されている。   In the information code reading apparatus 100 according to the present embodiment, an illumination light source (not shown) and an imaging apparatus 200 as shown in FIG.

情報コード読取装置100の撮像装置200は、図3に示すように、光学系210、撮像素子220、フィルタ手段としての機能を含む画像処理装置230、デコード手段および判定手段としての機能を含む制御装置240、および外部とのびインタフェース部(I/F)250を有する。   As shown in FIG. 3, the imaging apparatus 200 of the information code reading apparatus 100 includes an optical system 210, an imaging element 220, an image processing apparatus 230 including a function as a filter unit, a control unit including functions as a decoding unit and a determination unit. 240, and an external interface unit (I / F) 250.

光学系210は、被写体物体OBJである情報コード121を撮影した像を撮像素子220に供給する。
光学系210は、たとえば固定焦点レンズが用いられている。
The optical system 210 supplies an image obtained by photographing the information code 121 that is the subject object OBJ to the image sensor 220.
As the optical system 210, for example, a fixed focus lens is used.

撮像素子220は、光学系210で取り込んだ像が結像され、結像1次画像情報を電気信号の1次画像信号FIMとして、図示しないアナログフロントエンド部(AFE)を介して画像処理装置230に出力するCCDやCMOSセンサからなる。
図3においては、撮像素子220を一例としてCCDとして記載している。
The image sensor 220 forms an image captured by the optical system 210, and forms an image primary image information as a primary image signal FIM of an electrical signal via an analog front end unit (AFE) (not shown). It consists of a CCD or CMOS sensor that outputs to.
In FIG. 3, the imaging element 220 is described as a CCD as an example.

画像処理装置230は、前段の不図示のAFEからくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段の制御装置240に出力する。
画像処理装置230は、光学系210と被写体との距離に応じた複数の点広がり関数(PSF)毎に予め用意した複数の画像復元フィルタを用いて、撮像素子220から出力される画像データに対して、画像復元フィルタによるフィルタリングを行う機能を有する。
光学系210と被写体との距離としては、たとえば125mm、100mm、88mm等の距離が選択され、画像復元フィルタは、これらの距離に応じた複数の点広がり関数(PSF)毎に予め用意される。
The image processing device 230 receives a digital signal of a captured image coming from an AFE (not shown) at the previous stage, performs a two-dimensional convolution process, and outputs the convolution process to the control device 240 at the subsequent stage.
The image processing device 230 uses a plurality of image restoration filters prepared in advance for each of a plurality of point spread functions (PSFs) corresponding to the distance between the optical system 210 and the subject to perform image data output from the image sensor 220. And a function of performing filtering by the image restoration filter.
For example, a distance of 125 mm, 100 mm, 88 mm, or the like is selected as the distance between the optical system 210 and the subject, and an image restoration filter is prepared in advance for each of a plurality of point spread functions (PSFs) corresponding to these distances.

画像処理装置230は、内蔵または外部に設けた、たとえば不揮発性メモリからなる記憶部を有し、この記憶部に画像復元フィルタが格納される。
記憶部に格納された画像復元フィルタは、光学系210の個体毎または要求される被写体距離毎に画像復元フィルタの値を変更可能に構成される。
The image processing device 230 has a storage unit that is provided in or outside, for example, a non-volatile memory, and an image restoration filter is stored in the storage unit.
The image restoration filter stored in the storage unit is configured to be able to change the value of the image restoration filter for each individual optical system 210 or for each required subject distance.

また、複数の画像復元フィルタは下記に示すフィルタゲインFGの値が略等しくなるようにWienerフィルタの係数を変えて生成されている。   The plurality of image restoration filters are generated by changing the coefficient of the Wiener filter so that the filter gain FG values shown below are substantially equal.

[数1]
FG = (1/a*ΣΣfilt(u,v)^2)^0.5
aはフィルタの全要素数
[Equation 1]
FG = (1 / a * ΣΣfilt (u, v) ^ 2) ^ 0.5
a is the total number of elements in the filter

さらに、複数の画像復元フィルタは、光学系210のピントの中心となる被写体距離に応じたものに比べて、ピントの中心から離れた被写体距離に応じたものになるほどフィルタゲインが高く設定されている。   Further, the plurality of image restoration filters are set so that the filter gain becomes higher as the number of the image restoration filters corresponds to the subject distance away from the focus center than the one corresponding to the subject distance at the focus center of the optical system 210. .

図4(A)〜(C)は、フィルタゲインFGとMTFのRMSとの関係を示す図である。
図4(A)に示すように、フィルタ処理前においては、図4(A)に示すように、ベストピント位置でMTFの頂点が有り、デフォーカス量が増えるほどMTFは低くなっている。
そこで、フィルタ処理後にデフォーカス側のMTFを高くし、ベストピント側との差を小さくしてMTFが一様となるように、フィルタ処理を行う。
このため、図4(C)に示すように、光学系210のピントの中心となる被写体距離に応じたものに比べて、ピントの中心から離れた被写体距離に応じたものになるほどフィルタゲインが高く設定されている。
図4(C)の様な特性を持つフィルタ処理を施すことにより、図4(B)に示すようなMTFのRMSを得ることができる。
4A to 4C are diagrams showing the relationship between the filter gain FG and the RMS of the MTF.
As shown in FIG. 4A, before the filtering process, as shown in FIG. 4A, the top of the MTF is at the best focus position, and the MTF decreases as the defocus amount increases.
Therefore, after the filtering process, the filtering process is performed so that the MTF on the defocus side is increased and the difference from the best focus side is decreased to make the MTF uniform.
For this reason, as shown in FIG. 4C, the filter gain is higher as the distance to the subject is farther from the focus center than to the distance from the focus center of the optical system 210. Is set.
By applying a filter process having characteristics as shown in FIG. 4C, an RMS of the MTF as shown in FIG. 4B can be obtained.

なお、図5(A),(B)に示すように、フィルタゲインFGを高くするとMTFを高くすることができるが、これに伴いノイズ量も多くなる。
すなわち、復元フィルタだけに着目した場合、復元レベルを変えることが復元画像の解像やノイズに関係してくる。すなわち、強い復元フィルタを用いた場合、解像が上がると同時にノイズも増加する。情報コードを判定する際にある程度のノイズは訂正処理等で回避できるが限界がある(この対応した構成、機能について後で説明する)。同時に、解像に関してもある一定の解像を持っていれば判定することは可能である。
As shown in FIGS. 5A and 5B, if the filter gain FG is increased, the MTF can be increased, but the noise amount is increased accordingly.
That is, when focusing only on the restoration filter, changing the restoration level is related to the resolution and noise of the restored image. That is, when a strong restoration filter is used, the resolution increases and the noise also increases. A certain amount of noise can be avoided by correction processing or the like when determining the information code, but there is a limit (this corresponding configuration and function will be described later). At the same time, it is possible to determine if the resolution has a certain resolution.

制御装置240は、画像処理装置230、インタフェース部250を介した上位装置(たとえば電子レジスタ)等との通信等を制御し、システム全体の調停制御を司るものである。
制御装置240は、画像処理装置230においてフィルタ処理を受けた信号を受けて、フィルタリングが行われた画像データに対して情報コードのデコード可否判定を行うデコード機能と、画像処理装置230のフィルタ処理機能に複数の画像復元フィルタで画像データをフィルタリングさせ、デコード機能においてデコード可否判定(以下、デコード判定という場合もある)で可となった結果をデコードデータと判定する判定機能とを有する。
なお、デコード機能のデコード可否判定とは、フィルタリングされた画像データから情報コードとして判定可能であるか否かを判定することをいう。
The control device 240 controls communication with the host device (for example, an electronic register) via the image processing device 230 and the interface unit 250, and controls arbitration control of the entire system.
The control device 240 receives a signal subjected to the filter processing in the image processing device 230, and performs a decoding function for determining whether or not the information code can be decoded with respect to the filtered image data, and a filter processing function of the image processing device 230 The image data is filtered by a plurality of image restoration filters, and a determination function for determining the result that is permitted in the decode function determination (hereinafter also referred to as “decode determination”) as the decode data is provided.
Note that the decoding capability determination of the decoding function refers to determining whether it can be determined as an information code from the filtered image data.

そして、制御装置240は、そのデコードが可とされた画像データ(解読した情報)をたとえばインタフェース部250を介して上位装置に送信する等の制御を行う。   Then, the control device 240 performs control such as transmitting image data (decoded information) whose decoding is permitted to the host device via the interface unit 250, for example.

図6は、本実施形態に係る制御装置における読み取られた情報コードのデコード判定処理の基本的な処理を説明するためのフローチャートである。
この例では、光学系210と被写体との距離としては、たとえば125mm、100mm、88mm等の3つの距離を選択し、これらの距離に応じた複数の点広がり関数(PSF)毎に予め用意された3つの画像復元フィルタF1、F2、F3を用いるものとする。
FIG. 6 is a flowchart for explaining a basic process of the decoding determination process for the read information code in the control device according to the present embodiment.
In this example, three distances such as 125 mm, 100 mm, and 88 mm are selected as the distance between the optical system 210 and the subject, and prepared in advance for each of a plurality of point spread functions (PSFs) corresponding to these distances. Assume that three image restoration filters F1, F2, and F3 are used.

本体110に形成された読取開始スイッチ112が操作されると、それをトリガとして、情報コードの読み取りが開始され、撮像した画像データは画像処理装置230に入力される。
ここで、制御装置240においてデコード判定処理が行われる。
まず、制御装置240において、フィルタF1でフィルタリングするように、画像処理装置230に指示が出され、これに伴いフィルタF1での読み取りデータに対する画像の復元処理が行われる(ST1)。この復元画像データは、制御装置240に供給される。
制御装置240では、フィルタF1でフィルタリングされた画像データから情報コードとして判定可能であるか否かがデコード判定される(ST2)。ステップST2で判定可能であると判定するとデコード可(デコードOK)であるとする(ST8)。
ステップST2において、デコード不可(デコードNG)とされると、フィルタF2でフィルタリングするように、画像処理装置230に指示が出され、これに伴いフィルタF2での読み取りデータに対する画像の復元処理が行われる(ST3)。この復元画像データは、制御装置240に供給される。
制御装置240では、フィルタF2でフィルタリングされた画像データから情報コードとして判定可能であるか否かがデコード判定される(ST4)。ステップST4で判定可能であると判定するとデコードがOKであるとする(ST8)。
ステップST4において、デコード不可とされると、フィルタF3でフィルタリングするように、画像処理装置230に指示が出され、これに伴いフィルタF3での読み取りデータに対する画像の復元処理が行われる(ST5)。この復元画像データは、制御装置240に供給される。
制御装置240では、フィルタF3でフィルタリングされた画像データから情報コードとして判定可能であるか否かがデコード判定される(ST6)。ステップST4で判定可能であると判定するとデコードがOKであるとする(ST8)。
ステップST6において、デコード不可とされると、3つのフィルタでのデコードが不可であったと判断される(ST7)。
When the reading start switch 112 formed on the main body 110 is operated, reading of the information code is started by using the switch as a trigger, and the captured image data is input to the image processing device 230.
Here, a decoding determination process is performed in the control device 240.
First, in the control device 240, an instruction is issued to the image processing device 230 so as to perform filtering by the filter F1, and accordingly, an image restoration process is performed on the read data by the filter F1 (ST1). The restored image data is supplied to the control device 240.
The control device 240 determines whether or not it can be determined as an information code from the image data filtered by the filter F1 (ST2). If it is determined in step ST2 that determination is possible, it is determined that decoding is possible (decoding OK) (ST8).
If it is determined in step ST2 that decoding is not possible (decoding NG), an instruction is issued to the image processing device 230 to perform filtering with the filter F2, and an image restoration process is performed on the read data with the filter F2. (ST3). The restored image data is supplied to the control device 240.
The control device 240 determines whether or not it can be determined as an information code from the image data filtered by the filter F2 (ST4). If it is determined in step ST4 that determination is possible, it is assumed that decoding is OK (ST8).
If it is determined in step ST4 that decoding is impossible, an instruction is issued to the image processing device 230 to perform filtering by the filter F3, and an image restoration process is performed on the read data by the filter F3 (ST5). The restored image data is supplied to the control device 240.
In control device 240, it is determined whether or not it can be determined as an information code from the image data filtered by filter F3 (ST6). If it is determined in step ST4 that determination is possible, it is assumed that decoding is OK (ST8).
If it is determined in step ST6 that decoding is impossible, it is determined that decoding using three filters is impossible (ST7).

以上、制御装置240の情報コードのデコード判定処理の基本的な処理を説明した。この基本的処理によれば、情報コードのデコードの成功率を高めることができ、ひいてはデコードの信頼性の向上を図ることができる。
このように、撮影距離に応じた複数の画像復元フィルタを用意して順に試し、デコード結果がOKになるかを繰り返す。この結果を最終デコード結果としてもよいし、複数の組み合わせから統計的に所定の合格判定以上を合格としてもよい。
The basic process of the information code decoding determination process of the control device 240 has been described above. According to this basic processing, the success rate of decoding of the information code can be increased, and as a result, the reliability of decoding can be improved.
In this way, a plurality of image restoration filters corresponding to the shooting distance are prepared and tested in order, and whether the decoding result is OK is repeated. This result may be the final decoding result, or may be statistically determined to pass more than a predetermined pass determination from a plurality of combinations.

本実施形態に係る制御装置240の判定機能において、たとえば同一の情報コードに対して所定の回数画像データの取得を行い、デコード機能においてデコード可否判定で一定割合回数以上可となった場合に、最終的なデコード結果として採用するように構成することが可能である。   In the determination function of the control device 240 according to the present embodiment, for example, when the image data is acquired a predetermined number of times for the same information code and the decoding function determines whether or not a certain number of times is possible in the decoding function, the final determination is performed. It can be configured to be adopted as a typical decoding result.

図7は、デコード可否判定で一定割合回数以上可となった場合に、最終的なデコード結果とする処理を示すフローチャートである。   FIG. 7 is a flowchart showing a process for obtaining a final decoding result when the determination of whether or not decoding is possible becomes possible for a certain number of times or more.

図7の処理においては、本体110に形成された読取開始スイッチ112が操作されると、それをトリガとして、情報コードの読み取りが開始され、撮像した画像データは画像処理装置230に入力される。
ここで、制御装置240においてデコード判定処理が行われる。
まず、制御装置240において、フィルタF1でフィルタリングするように、画像処理装置230に指示が出され、これに伴いフィルタF1での読み取りデータに対する画像の復元処理が行われる(ST11)。
この情報の読み取り、フィルタF1を用いた画像復元処理が所定回数、たとえば10回行われる。これらの復元画像データは、制御装置240に供給される。
制御装置240では、フィルタF1でフィルタリングされた各画像データから情報コードとして判定可能であるか否かがデコード判定される。そして、このデコード判定処理で判定可能であると判定された回数がデータN1として保持される(ST12、ST13)。
In the processing of FIG. 7, when the reading start switch 112 formed on the main body 110 is operated, reading of the information code is started using this as a trigger, and the captured image data is input to the image processing device 230.
Here, a decoding determination process is performed in the control device 240.
First, in the control device 240, an instruction is issued to the image processing device 230 so as to perform filtering by the filter F1, and accordingly, an image restoration process is performed on the read data by the filter F1 (ST11).
This information reading and image restoration processing using the filter F1 are performed a predetermined number of times, for example, 10 times. These restored image data are supplied to the control device 240.
In the control device 240, it is determined whether or not it can be determined as an information code from each image data filtered by the filter F1. Then, the number of times determined to be determinable in this decoding determination process is held as data N1 (ST12, ST13).

次に、制御装置240において、フィルタF2でフィルタリングするように、画像処理装置230に指示が出され、これに伴いフィルタF2での読み取りデータに対する画像の復元処理が行われる(ST14)。
この情報の読み取り、フィルタF2を用いた画像復元処理が所定回数、たとえば10回行われる。これらの復元画像データは、制御装置240に供給される。
制御装置240では、フィルタF2でフィルタリングされた各画像データから情報コードとして判定可能であるか否かがデコード判定される。そして、このデコード判定処理で判定可能であると判定された回数がデータN2として保持される(ST15、ST16)。
Next, the control device 240 instructs the image processing device 230 to perform filtering with the filter F2, and accordingly, the image restoration processing is performed on the read data with the filter F2 (ST14).
This information reading and image restoration processing using the filter F2 are performed a predetermined number of times, for example, 10 times. These restored image data are supplied to the control device 240.
In the control device 240, it is determined whether or not it can be determined as an information code from each image data filtered by the filter F2. The number of times determined to be determinable in this decoding determination process is held as data N2 (ST15, ST16).

次に、制御装置240において、フィルタF3でフィルタリングするように、画像処理装置230に指示が出され、これに伴いフィルタF3での読み取りデータに対する画像の復元処理が行われる(ST17)。
この情報の読み取り、フィルタF3を用いた画像復元処理が所定回数、たとえば10回行われる。これらの復元画像データは、制御装置240に供給される。
制御装置240では、フィルタF3でフィルタリングされた各画像データから情報コードとして判定可能であるか否かがデコード判定される。そして、このデコード判定処理で判定可能であると判定された回数がデータN3として保持される(ST18、ST19)。
Next, in the control device 240, an instruction is given to the image processing device 230 so as to perform filtering with the filter F3, and accordingly, image restoration processing is performed on the read data with the filter F3 (ST17).
This information reading and image restoration processing using the filter F3 are performed a predetermined number of times, for example, 10 times. These restored image data are supplied to the control device 240.
In the control device 240, it is determined whether or not it can be determined as an information code from each image data filtered by the filter F3. The number of times determined to be determinable by this decoding determination process is held as data N3 (ST18, ST19).

以上、3つのフィルタF1,F2,F3を用いた画像読み取り、画像復元処理を複数回ずつ行って得られた判定可能であると判定された回数N1,N2,N3のうち最大のものが、予め設定したOK回数(デコード判定可能であった回数、閾値)以上、たとえば7回以上がOKであるかを判定する(ST20)。
そして、予め設定したOK回数以上であれば、最大のOK回数が出たフィルタによる画像データのデコードがOKであるとする(ST21)。
ステップST20において、デコード不可とされると、3つのフィルタ全てでのデコードが不可であったと判断される(ST22)。
As described above, the largest one of the number of times N1, N2, and N3 determined to be determinable obtained by performing the image reading and image restoration processing using the three filters F1, F2, and F3 a plurality of times It is determined whether or not the set number of OK times (the number of times decoding can be determined, threshold), for example, 7 times or more is OK (ST20).
If the number of times is equal to or greater than the preset number of times, it is assumed that the decoding of the image data by the filter having the maximum number of times of OK is OK (ST21).
If it is determined in step ST20 that decoding is impossible, it is determined that decoding by all three filters is impossible (ST22).

以上、本実施形態に係る制御装置240の判定機能において、たとえば同一の情報コードに対して所定の回数画像データの取得を行い、デコード機能においてデコード可否判定で一定割合回数以上可となった場合に、最終的なデコード結果として採用するようにした処理について説明した。
この処理によれば、図6の基本的処理に比較して、デコードのさらなる信頼性の向上を図ることができる。
As described above, in the determination function of the control device 240 according to the present embodiment, for example, when image data is acquired a predetermined number of times for the same information code and the decoding function determines whether or not a certain number of times is possible in the decoding function. The processing that is adopted as the final decoding result has been described.
According to this process, the reliability of decoding can be further improved as compared with the basic process of FIG.

また、本実施形態に係る制御装置240の判定機能において、たとえばデコード可否判定で可となる結果が得られた画像復元フィルタの種類を記憶しておき、次回の情報コード読み取りにおいてデコード可否判定を行う際に、記憶しておいた種類の復元フィルタを優先的に用いるように構成することも可能である。   Further, in the determination function of the control device 240 according to the present embodiment, for example, the type of the image restoration filter that has obtained a result that can be determined by the determination of whether or not decoding is possible is stored, and the determination of whether or not decoding is possible is performed at the next information code reading. In this case, it is possible to preferentially use the stored type of restoration filter.

図8は、記憶しておいた種類の復元フィルタを優先的に用いる処理を示すフローチャートである。   FIG. 8 is a flowchart showing processing for preferentially using the stored type of restoration filter.

本体110に形成された読取開始スイッチ112が操作されると、それをトリガとして、情報コードの読み取りが開始され、撮像した画像データは画像処理装置230に入力される。
ここで、制御装置240においてデコード判定処理が行われる。
まず、制御装置240において、フィルタX(この例では、Xは初期値が1でさらに2,3を取り得る)でフィルタリングするように、画像処理装置230に指示が出され、これに伴いフィルタXでの読み取りデータに対する画像の復元処理が行われる(ST31)。この復元画像データは、制御装置240に供給される。
制御装置240では、フィルタX(ここではX=1、たとえば図6のフィルタF1に相当する)でフィルタリングされた画像データから情報コードとして判定可能であるか否かがデコード判定される(ST32)。ステップST32で判定可能であると判定するとデコードがOKであるとする(ST41)。
When the reading start switch 112 formed on the main body 110 is operated, reading of the information code is started by using the switch as a trigger, and the captured image data is input to the image processing device 230.
Here, a decoding determination process is performed in the control device 240.
First, the control device 240 instructs the image processing device 230 to perform filtering with a filter X (in this example, X can be 2 and 3 with an initial value of 1). An image restoration process is performed on the read data at ST31 (ST31). The restored image data is supplied to the control device 240.
In control device 240, whether or not it can be determined as an information code from the image data filtered by filter X (here X = 1, for example, corresponding to filter F1 in FIG. 6) is decoded (ST32). If it is determined in step ST32 that determination is possible, it is assumed that decoding is OK (ST41).

ステップST32において、デコード不可とされると、Xに1を加えて(ST33)Xが3より大きければX=1とする。フィルタX(たとえば図6のフィルタF2に相当する)でフィルタリングするように、画像処理装置230に指示が出され、これに伴いフィルタXでの読み取りデータに対する画像の復元処理が行われる(ST34)。この復元画像データは、制御装置240に供給される。
制御装置240では、フィルタX(ここではX=2、たとえば図6のフィルタF2に相当する)でフィルタリングされた画像データから情報コードとして判定可能であるか否かがデコード判定される(ST35)。ステップST35で判定可能であると判定するとデコードがOKであるとする(ST41)。
If it is determined in step ST32 that decoding is impossible, 1 is added to X (ST33), and X is set to 1 if X is larger than 3. The image processing device 230 is instructed to perform filtering with the filter X (for example, corresponding to the filter F2 in FIG. 6), and an image restoration process is performed on the read data with the filter X (ST34). The restored image data is supplied to the control device 240.
In control device 240, it is decoded and determined whether or not it can be determined as an information code from image data filtered by filter X (here X = 2, for example, corresponding to filter F2 in FIG. 6) (ST35). If it is determined in step ST35 that determination is possible, it is assumed that decoding is OK (ST41).

ステップST35において、デコード不可とされると、Xに1を加えて(ST36)Xが3より大きければX=1とする。フィルタX(たとえば図6のフィルタF3に相当する)でフィルタリングするように、画像処理装置230に指示が出され、これに伴いフィルタXでの読み取りデータに対する画像の復元処理が行われる(ST37)。この復元画像データは、制御装置240に供給される。
制御装置240では、フィルタX(ここではX=3、たとえば図6のフィルタF3に相当する)でフィルタリングされた画像データから情報コードとして判定可能であるか否かがデコード判定される(ST38)。ステップST38で判定可能であると判定するとデコードがOKであるとする(ST41)。
ステップST38において、デコード不可とされると、Xに1を加えて(ST39)Xが3より大きければX=1とする。そして3つのフィルタ全てでのデコードが不可であったと判断される(ST40)。
If it is determined in step ST35 that decoding is impossible, 1 is added to X (ST36), and X is set to 1 if X is larger than 3. The image processing device 230 is instructed to perform filtering with the filter X (for example, corresponding to the filter F3 in FIG. 6), and an image restoration process is performed on the read data with the filter X (ST37). The restored image data is supplied to the control device 240.
The control device 240 determines whether or not it can be determined as an information code from the image data filtered by the filter X (here X = 3, for example, corresponding to the filter F3 in FIG. 6) (ST38). If it is determined in step ST38 that determination is possible, it is assumed that decoding is OK (ST41).
If it is determined in step ST38 that decoding is impossible, 1 is added to X (ST39), and X is set to 1 if X is larger than 3. Then, it is determined that decoding by all three filters is impossible (ST40).

以上の処理においては、フィルタXの初期値が1〜3のいずれであっても対応可能であり、x+1が4となる場合にXを1の戻すような処理が行われる。   In the above processing, the initial value of the filter X can be any one of 1 to 3, and when x + 1 is 4, processing for returning X to 1 is performed.

このように、次回の情報コード読み取りにおいてデコード可否判定を行う際に、記憶しておいた種類の復元フィルタを優先的に用いるように構成することにより、より的確にかつ高速に、しかも品質高く情報コードの読み取りを行うことが可能となる。   As described above, when determining whether decoding is possible in the next reading of the information code, it is configured to use the stored type of restoration filter preferentially, so that information can be obtained more accurately and quickly with high quality. The code can be read.

また、たとえば最後にデコード可となったフィルタを優先順位を第1位とし、光学系のピントの中心となる被写体距離に応じたフィルタを優先順位を第2位とする等、の方法を採用することが可能で、これにより汎用性の向上を図ることが可能である。   Further, for example, a method of adopting a method in which, for example, the filter that can be decoded last is given the first priority, and the filter corresponding to the subject distance at the center of the focus of the optical system is given the second priority. Therefore, versatility can be improved.

さらに、本実施形態に係る制御装置240の判定機能において、たとえばデコード可否判定において、複数の復元フィルタのフィルタゲインFGの高低に応じてデコード可否判定のノイズ判断も連動させるように構成することが可能である。   Furthermore, in the determination function of the control device 240 according to the present embodiment, for example, in the determination of whether or not decoding is possible, it is possible to link the noise determination of the determination of whether or not decoding is possible according to the level of the filter gain FG of the plurality of restoration filters It is.

図9(A)〜(C)は、本実施形態に係るフィルタ処理前後のノイズ判定閾値NVTHとノイズレベルNLVLとの関係を示す図である。   9A to 9C are diagrams showing the relationship between the noise determination threshold value NVTH and the noise level NLVL before and after the filter processing according to the present embodiment.

デコードのノイズ判定閾値が一定である場合、復元フィルタによってフォーカス量が大きい場合にノイズも増加させて、ノイズ判定閾値を超えてしまう。復元フィルタによって増加するノイズをフィルタの違いがあってもそれに合わせて判定したいことから、ノイズ判定閾値をフィルタゲインの変化に比例して設定することで、フィルタを変えてもノイズ判定にかからないように構成する。   When the decoding noise determination threshold is constant, the noise is increased when the amount of focus is large by the restoration filter, and exceeds the noise determination threshold. Since we want to determine the noise increased by the restoration filter according to the difference in the filter, set the noise judgment threshold in proportion to the change of the filter gain so that the noise judgment will not be affected even if the filter is changed. Constitute.

合焦位置からデフォーカス量が大きいとぼけ量が増え、コントラストが低下する。そこでデフォーカスが大きい復元フィルタはフィルタゲインを大きくしコントラストをできるだけ高める。
しかしながら、図5(A),(B)に示したように、フィルタゲイン増加によってノイズも増加してしまうので、デコード時のノイズ判定が同一であるとフィルタゲインが高いフィルタでの復元はノイズレベルが判定閾値を超えてしまいデコード不可になってしまう。
そこで、フィルタゲインが高いフィルタを適用する場合は、図9(C)に示すように、ノイズレベルNLVLが高くてもデコード可(OK)になる方向へノイズ判定閾値NVTHを上げることで、デフォーカスの大きな距離でもコントラストを高めることができつつ、ノイズ判定にもかからずデコード判定範囲を広げることが可能になる。
When the defocus amount is large from the in-focus position, the blur amount increases and the contrast decreases. Therefore, a restoration filter with a large defocus increases the filter gain and increases the contrast as much as possible.
However, as shown in FIGS. 5A and 5B, noise also increases as the filter gain increases. Therefore, if the noise judgment at the time of decoding is the same, restoration with a filter having a high filter gain will cause noise level to be restored. Exceeds the determination threshold, and decoding becomes impossible.
Therefore, when a filter with a high filter gain is applied, as shown in FIG. 9C, defocusing is performed by increasing the noise determination threshold value NVTH in a direction in which decoding is possible (OK) even when the noise level NLVL is high. While it is possible to increase the contrast even at a large distance, it is possible to expand the decoding determination range regardless of noise determination.

図10(A)〜(C)は、本実施形態に係る情報コード読取装置100により、光学系と被写体である情報コードとの距離が125mm、100mm、88mmの場合の画像復元フィルタ処理前後の画像を示す図である。
この例では、125mm画像に最もピントが合うような構成となっているが、これは一例であり、これに限定されるものではない。
本実施形態の情報コード読取装置100によれば、図10(A)〜(C)に示すように、ボケた画像データを撮像したとしても、距離に応じた画像復元フィルタを用いることにより、デコード可否判定でデコード可となるように、良好な復元処理を行うことが可能である。
図10(C)に示すように、ボケ方の最たる光学系と被写体である情報コードとの距離の場合の画像復元フィルタ処理後の画像においても、デコード可否判定でデコード可となるように、良好な復元処理を行うことが可能である。
10A to 10C show images before and after image restoration filter processing when the distance between the optical system and the information code as the subject is 125 mm, 100 mm, and 88 mm by the information code reader 100 according to the present embodiment. FIG.
In this example, the focus is on the 125 mm image, but this is only an example, and the present invention is not limited to this.
According to the information code reading apparatus 100 of the present embodiment, as shown in FIGS. 10A to 10C, even if blurred image data is captured, decoding is performed by using an image restoration filter corresponding to the distance. It is possible to perform a good restoration process so that decoding can be performed based on the availability determination.
As shown in FIG. 10C, the image after the image restoration filter processing in the case of the distance between the optical system that is the most blurred and the information code that is the subject is good so that it can be decoded by determining whether or not decoding is possible. Can be restored.

以上は通常のレンズ光学系を用いた場合を説明した。
以下に、好適な実施形態として、光学系が光学的伝達関数(OTF)を変調する光波面変調機能を含み、判定できる範囲を有効に使い被写界深度を拡張することが可能になる構成、機能について説明する。
なお、光波面変調機能は、光学系に光波面変調素子を配置する、または、光学系を形成する光学素子に形成された光波面変調面を含むようにすることにより、持たせることができる。
以下では、光波面変調素子を適用した場合を例に説明する。
The case where a normal lens optical system is used has been described above.
Hereinafter, as a preferred embodiment, a configuration in which the optical system includes an optical wavefront modulation function for modulating an optical transfer function (OTF), and the depth of field can be extended by effectively using a determinable range; The function will be described.
The light wavefront modulation function can be provided by arranging a light wavefront modulation element in the optical system or including a light wavefront modulation surface formed in the optical element forming the optical system.
Hereinafter, a case where an optical wavefront modulation element is applied will be described as an example.

この実施形態に係る図11に示す撮像装置200Aは、光学系210Aに光波面変調素子を適用し、光波面変調素子により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする波面収差制御光学系システム、あるいは深度拡張光学系システム(DEOS:Depth Expantion Optical system)というシステムを採用し、情報コードを光学系210Aと被写体(情報コード)との距離に応じて的確に高精度で読み取ることが可能に構成されている。   In the imaging apparatus 200A shown in FIG. 11 according to this embodiment, a light wavefront modulation element is applied to the optical system 210A, the light flux is regularly dispersed by the light wavefront modulation element, restored by digital processing, and the depth of field is deep. A wavefront aberration control optical system system or a depth expansion optical system (DEOS) system that enables image capturing is adopted, and the information code is determined according to the distance between the optical system 210A and the subject (information code). Therefore, it can be read with high accuracy.

図11に示す撮像装置200Aが、図3の撮像装置200と異なる点は、光学系210Aの構成と、画像処理装置230Aの機能にあり、図4〜図10に関連付けて説明した構成および機能は同様にあわせ持つことから、以下では、その相違するDEOSの部分を中心に説明する。   The imaging apparatus 200A shown in FIG. 11 is different from the imaging apparatus 200 of FIG. 3 in the configuration of the optical system 210A and the function of the image processing apparatus 230A. The configuration and functions described in association with FIGS. In the same way, the following description will focus on the different DEOS portions.

図12は、本実施形態に係る光波面変調素子を含む光学系210Aの構成例を模式的に示す図である。   FIG. 12 is a diagram schematically illustrating a configuration example of an optical system 210A including the light wavefront modulation element according to the present embodiment.

図12の光学系210Aは、物体側OBJSに配置された物体側レンズ211と、撮像素子220に結像させるための結像レンズ212と、物体側レンズ211と結像レンズ212間に配置され、結像レンズ212による撮像素子220の受光面への結像の波面を変形させる、たとえば3次元的曲面を有する位相板213aからなる光波面変調素子(波面形成用光学素子)群213を有する。   An optical system 210A in FIG. 12 is disposed between an object side lens 211 disposed on the object side OBJS, an image forming lens 212 for forming an image on the image sensor 220, and between the object side lens 211 and the image forming lens 212. A wavefront modulation element (wavefront forming optical element) group 213 made of, for example, a phase plate 213a having a three-dimensional curved surface, which deforms a wavefront of an image formed on the light receiving surface of the imaging element 220 by the imaging lens 212 is provided.

なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子(たとえば、上述の3次の位相板)、屈折率が変化する光学素子(たとえば屈折率分布型波面変調レンズ)、レンズ表面へのコーディング等により厚み、屈折率が変化する光学素子(たとえば、波面変調ハイブリッドレンズ、あるいはレンズ面上に形成される位相面として形成される状態)、光の位相分布を変調可能な液晶素子(たとえば、液晶空間位相変調素子)等の光波面変調素子であればよい。
また、本実施形態においては、光波面変調素子である位相板を用いて規則的に分散した画像を形成する場合について説明したが、通常の光学系として用いるレンズで光波面変調素子と同様に規則的に分散した画像を形成できるものを選択した場合には、光波面変調素子を用いずに光学系のみで実現することができる。この際は、後述する位相板に起因する分散に対応するのではなく、光学系に起因する分散に対応することとなる。
In the present embodiment, the case where the phase plate is used has been described. However, the optical wavefront modulation element of the present invention may be any element that deforms the wavefront, and an optical element whose thickness changes. (For example, the above-mentioned third-order phase plate), an optical element whose refractive index changes (for example, a gradient index wavefront modulation lens), an optical element whose thickness and refractive index change due to coding on the lens surface (for example, a wavefront) A light wavefront modulation element such as a modulation hybrid lens or a phase plane formed on the lens surface) or a liquid crystal element capable of modulating the phase distribution of light (for example, a liquid crystal spatial phase modulation element). .
Further, in the present embodiment, the case where a regularly dispersed image is formed using a phase plate that is a light wavefront modulation element has been described. However, the lens used as a normal optical system has the same rule as the light wavefront modulation element. When an image that can form a dispersed image is selected, it can be realized only by an optical system without using a light wavefront modulation element. In this case, it does not correspond to the dispersion caused by the phase plate described later, but corresponds to the dispersion caused by the optical system.

図12の光学系210Aは、光学位相板213aを挿入した例である。
図で示された位相板213aは、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子220上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板213aによって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)を形成している。
前述したように、この規則的に分散した画像をデジタル処理により、光学系210Aを移動させずにピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡張光学系システム(DEOS:Depth Expantion Optical system)といい、この処理を画像処理装置230Aにおいて行う。
The optical system 210A in FIG. 12 is an example in which an optical phase plate 213a is inserted.
The phase plate 213a shown in the figure is an optical lens that regularly disperses the light beam converged by the optical system. By inserting this phase plate, an image that does not fit anywhere on the image sensor 220 is realized.
In other words, the phase plate 213a forms a deep luminous flux (which plays a central role in image formation) and a flare (blurred portion).
As described above, means for restoring the regularly dispersed image to a focused image without moving the optical system 210A by digital processing is a wavefront aberration control optical system system or a depth extension optical system system (DEOS). : Depth Expansion Optical system), and this processing is performed in the image processing apparatus 230A.

以下、本実施形態のDEOSの原理、光学系、画像処理装置の構成および機能について具体的には説明する。   Hereinafter, the principle of the DEOS of the present embodiment, the optical system, and the configuration and function of the image processing apparatus will be specifically described.

まず、DEOSの基本原理について説明する。
図13に示すように、被写体の画像fがDEOS光学系Hに入ることにより、g画像が生成される。
これは、次のような式で表される。
First, the basic principle of DEOS will be described.
As shown in FIG. 13, when the subject image f enters the DEOS optical system H, a g image is generated.
This is expressed by the following equation.

[数2]
g=H*f
ただし、*はコンボリューションを表す。
[Equation 2]
g = H * f
However, * represents convolution.

生成された画像から被写体を求めるためには、次の処理を要する。   In order to obtain the subject from the generated image, the following processing is required.

[数3]
f=H-1*g
[Equation 3]
f = H -1 * g

ここで、Hに関するカーネルサイズと演算係数について説明する。
光学切り替え情報をKPn,KPn−1・・・とする。また、それぞれのH関数をHn,Hn−1、・・・・とする。
各々のスポット像が異なるため、各々のH関数は、次のようになる。
Here, the kernel size and calculation coefficient regarding H will be described.
The optical switching information is KPn, KPn-1,. In addition, each H function is defined as Hn, Hn-1,.
Since each spot image is different, each H function is as follows.

この行列の行数および/または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のH関数はメモリに格納しておいても構わないし、PSFを物体距離の関数としておき、物体距離によって計算し、H関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、H関数を物体距離の関数として、物体距離によってH関数を直接求めても構わない。
The difference in the number of rows and / or the number of columns in this matrix is the kernel size, and each number is the operation coefficient.
Here, each H function may be stored in a memory, and the PSF is set as a function of the object distance, and is calculated based on the object distance. By calculating the H function, an optimum object distance is obtained. It may be possible to set so as to create a filter. Alternatively, the H function may be directly obtained from the object distance using the H function as a function of the object distance.

本実施形態においては、図12に示すように、光学系210Aからの像を撮像素子220で受像して、絞り開放時には画像処理装置230Aに入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子220からの分散画像信号より分散のない画像信号を生成するように構成している。   In the present embodiment, as shown in FIG. 12, an image from the optical system 210A is received by the image sensor 220 and input to the image processing device 230A when the aperture is opened, and a conversion coefficient corresponding to the optical system is acquired. The image signal having no dispersion is generated from the dispersion image signal from the image sensor 220 with the acquired conversion coefficient.

なお、本実施形態において、分散とは、上述したように、位相板213aを挿入することにより、撮像素子220上ではピントのどこにも合わない画像を形成し、位相板213aによって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。   In the present embodiment, as described above, dispersion means that, by inserting the phase plate 213a, an image that does not fit anywhere on the image sensor 220 is formed, and the phase plate 213a has a deep light flux ( It plays a central role in image formation) and a phenomenon of forming flare (blurred portion), and includes the same meaning as aberration because of the behavior of the image being dispersed to form a blurred portion. Therefore, in this embodiment, it may be described as aberration.

本実施形態においては、DEOSを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。
In the present embodiment, DEOS can be employed to obtain high-definition image quality, and the optical system can be simplified and the cost can be reduced.
Hereinafter, this feature will be described.

図14(A)〜(C)は、撮像素子220の受光面でのスポット像を示している。
図14(A)は焦点が0.2mmずれた場合(Defocus=0.2mm)、図14(B)が合焦点の場合(Best focus)、図14(C)が焦点が−0.2mmずれた場合(Defocus=−0.2mm)の各スポット像を示している。
図14(A)〜(C)からもわかるように、本実施形態に係る撮像装置200Aにおいては、位相板213aを含む波面形成用光学素子群213によって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)が形成される。
14A to 14C show spot images on the light receiving surface of the image sensor 220. FIG.
14A shows a case where the focal point is shifted by 0.2 mm (Defocus = 0.2 mm), FIG. 14B shows a case where the focal point is a focal point (Best focus), and FIG. 14C shows a case where the focal point is shifted by −0.2 mm. In this case, each spot image is shown (Defocus = −0.2 mm).
As can be seen from FIGS. 14A to 14C, in the imaging apparatus 200A according to the present embodiment, a light beam having a deep depth (a central role of image formation) is generated by the wavefront forming optical element group 213 including the phase plate 213a. And flare (blurred part) are formed.

このように、本実施形態の撮像装置200Aにおいて形成された1次画像FIMは、深度が非常に深い光束条件にしている。   Thus, the primary image FIM formed in the imaging apparatus 200A of the present embodiment has a light beam condition with a very deep depth.

図15(A),(B)は、本実施形態に係る撮像レンズ装置により形成される1次画像の変調伝達関数(MTF:Modulation Transfer Function)について説明するための図であって、図15(A)は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図15(B)が空間周波数に対するMTF特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ(Digital Signal Processor)からなる画像処理装置230の補正処理に任せるため、図15(A),(B)に示すように、1次画像のMTFは本質的に低い値になっている。
FIGS. 15A and 15B are diagrams for explaining a modulation transfer function (MTF) of a primary image formed by the imaging lens device according to the present embodiment. FIG. 15A is a diagram showing a spot image on the light receiving surface of the imaging element of the imaging lens device, and FIG. 15B shows the MTF characteristics with respect to the spatial frequency.
In the present embodiment, the high-definition final image is left to the correction processing of the image processing device 230 including a digital signal processor (Digital Signal Processor), for example, as shown in FIGS. 15A and 15B. The MTF of the primary image is essentially a low value.

画像処理装置230Aは、上述したように、撮像素子220による1次画像FIMを受けて、1次画像の空間周波数におけるMTFをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像FNLIMを形成する。   As described above, the image processing apparatus 230A receives the primary image FIM from the image sensor 220, performs a so-called predetermined correction process for raising the MTF at the spatial frequency of the primary image, and forms a high-definition final image FNLIM. To do.

画像処理装置230AのMTF補正処理は、たとえば図16の曲線Aで示すように、本質的に低い値になっている1次画像のMTFを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図16中曲線Bで示す特性に近づく(達する)ような補正を行う。
図16中曲線Bで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
The MTF correction processing of the image processing device 230A is performed after edge enhancement, chroma enhancement, etc., using the MTF of the primary image, which is essentially a low value, as shown by the curve A in FIG. In the process, correction is performed so as to approach (reach) the characteristic indicated by the curve B in FIG.
A characteristic indicated by a curve B in FIG. 16 is a characteristic obtained when the wavefront is not deformed without using the wavefront forming optical element as in the present embodiment, for example.
It should be noted that all corrections in the present embodiment are based on spatial frequency parameters.

本実施形態においては、図16に示すように、光学的に得られる空間周波数に対するMTF特性曲線Aに対して、最終的に実現したいMTF特性曲線Bを達成するためには、それぞれの空間周波数に対し、図17に示すようにエッジ強調等の強弱を付け、元の画像(1次画像)に対して補正をかける。
たとえば、図16のMTF特性の場合、空間周波数に対するエッジ強調の曲線は、図17に示すようになる。
In the present embodiment, as shown in FIG. 16, in order to achieve the MTF characteristic curve B that is finally realized with respect to the optically obtained MTF characteristic curve A with respect to the spatial frequency, each spatial frequency is changed to each spatial frequency. On the other hand, as shown in FIG. 17, strength such as edge enhancement is added, and the original image (primary image) is corrected.
For example, in the case of the MTF characteristic of FIG. 16, the curve of edge enhancement with respect to the spatial frequency is as shown in FIG.

すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のMTF特性曲線Bを仮想的に実現する。   That is, a desired MTF characteristic curve B is virtually realized by performing correction by weakening edge enhancement on the low frequency side and high frequency side within a predetermined spatial frequency band and strengthening edge enhancement in the intermediate frequency region. To do.

このように、実施形態に係る撮像装置200Aは、基本的に、1次画像を形成する光学系210Aおよび撮像素子220と、1次画像を高精細な最終画像に形成する画像処理装置230Aからなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形(変調)し、そのような波面をCCDやCMOSセンサからなる撮像素子220の撮像面(受光面)に結像させ、その結像1次画像を、画像処理装置230Aを通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子220による1次画像は深度が非常に深い光束条件にしている。そのために、1次画像のMTFは本質的に低い値になっており、そのMTFの補正を画像処理装置230Aで行う。
As described above, the imaging apparatus 200A according to the embodiment basically includes the optical system 210A and the imaging element 220 that form a primary image, and the image processing apparatus 230A that forms the primary image into a high-definition final image. In the optical system, a wavefront shaping optical element is newly provided, or an optical element such as glass, plastic or the like is formed for wavefront shaping, thereby forming an imaging wavefront. The wavefront is deformed (modulated), and such a wavefront is imaged on the imaging surface (light-receiving surface) of the imaging element 220 including a CCD or CMOS sensor, and the imaged primary image is obtained through the image processing device 230A. An image forming system.
In the present embodiment, the primary image from the image sensor 220 has a light flux condition with a very deep depth. For this reason, the MTF of the primary image is essentially a low value, and the MTF is corrected by the image processing device 230A.

ここで、本実施形態における撮像装置200Aにおける結像のプロセスを、波動光学的に考察する。
物点の1点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的MTFを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
MTFの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を2乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報(波面収差)そのものからであることから、その光学系210Aを通して波面収差が厳密に数値計算できればMTFが計算できることになる。
Here, the imaging process in the imaging apparatus 200 </ b> A according to the present embodiment will be considered in terms of wave optics.
A spherical wave diverging from one of the object points becomes a convergent wave after passing through the imaging optical system. At that time, aberration occurs if the imaging optical system is not an ideal optical system. The wavefront is not a spherical surface but a complicated shape. Wavefront optics lies between geometric optics and wave optics, which is convenient when dealing with wavefront phenomena.
When dealing with the wave optical MTF on the imaging plane, the wavefront information at the exit pupil position of the imaging optical system is important.
The MTF is calculated by Fourier transform of the wave optical intensity distribution at the imaging point. The wave optical intensity distribution is obtained by squaring the wave optical amplitude distribution, and the wave optical amplitude distribution is obtained from the Fourier transform of the pupil function in the exit pupil.
Further, since the pupil function is exactly from the wavefront information (wavefront aberration) at the exit pupil position itself, the MTF can be calculated if the wavefront aberration can be strictly calculated numerically through the optical system 210A.

したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるMTF値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにphase(位相、光線に沿った光路長)に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図14(A)〜(C)に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のMTFは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いMTF値(または、幾何光学的にはこのようなスポット像の状態)であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のDSP等からなる画像処理装置230AでMTF値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってMTF値は著しく向上する。
Accordingly, if the wavefront information at the exit pupil position is modified by a predetermined method, the MTF value on the imaging plane can be arbitrarily changed.
In this embodiment, the wavefront shape is mainly changed by the wavefront forming optical element, but the target wavefront is formed by increasing or decreasing the phase (phase, optical path length along the light beam). .
Then, if the desired wavefront formation is performed, the light flux emitted from the exit pupil is from the dense and sparse portions of the light, as can be seen from the geometric optical spot images shown in FIGS. It is formed.
The MTF in the luminous flux state shows a low value at a low spatial frequency and a characteristic that the resolving power is managed up to a high spatial frequency.
That is, if this MTF value is low (or such a spot image state in terms of geometrical optics), the phenomenon of aliasing will not occur.
That is, a low-pass filter is not necessary.
Then, the flare-like image that causes the MTF value to be lowered may be removed by the image processing device 230A composed of a DSP or the like at the subsequent stage. Thereby, the MTF value is significantly improved.

次に、本実施形態および従来光学系のMTFのレスポンスについて考察する。   Next, the response of the MTF of this embodiment and the conventional optical system will be considered.

図18は、一般的な光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンス(応答)を示す図である。
図19は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンスを示す図である。
また、図20は、本実施形態に係る撮像装置のデータ復元後のMTFのレスポンスを示す図である。
FIG. 18 is a diagram showing the MTF response when the object is at the focal position and when the object is out of the focal position in the case of a general optical system.
FIG. 19 is a diagram showing the response of the MTF when the object is at the focal position and when the object is out of the focal position in the optical system of the present embodiment having the light wavefront modulation element.
FIG. 20 is a diagram illustrating a response of the MTF after data restoration of the imaging apparatus according to the present embodiment.

図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもMTFのレスポンスの変化が光波面変調素子を挿入してない光学系よりも少なくなる。
この光学系によって結像された画像は、コンボリューションフィルタによる処理を行うことによって、MTFのレスポンスが向上する。
As can be seen from the figure, in the case of an optical system having a light wavefront modulation element, the change in the response of the MTF is less than that in an optical system in which no light wavefront modulation element is inserted even when the object deviates from the focal position.
The image formed by this optical system is processed by a convolution filter, so that the MTF response is improved.

図19に示した、位相板を持つ光学系のOTFの絶対値(MTF)はナイキスト周波数において0.1以上であることが好ましい。
なぜなら、図20に示した復元後のOTFを達成するためには復元フィルタでゲインを上げることになるが、センサのノイズも同時に上げることになる。そのため、ナイキスト周波数付近の高周波ではできるたけゲインを上げずに復元を行うことが好ましい。
通常の光学系の場合、ナイキスト周波数でのMTFが0.1以上あれば解像する。
したがって、復元前のMTFが0.1以上あれば復元フィルタでナイキスト周波数でのゲインを上げずに済む。復元前のMTFが0.1未満であると、復元画像がノイズの影響を大きく受けた画像になるため好ましくない。
The absolute value (MTF) of the OTF of the optical system having the phase plate shown in FIG. 19 is preferably 0.1 or more at the Nyquist frequency.
This is because, in order to achieve the OTF after restoration shown in FIG. 20, the gain is increased by the restoration filter, but the noise of the sensor is also raised at the same time. For this reason, it is preferable to perform restoration without increasing the gain as much as possible at high frequencies near the Nyquist frequency.
In the case of a normal optical system, resolution is achieved if the MTF at the Nyquist frequency is 0.1 or more.
Therefore, if the MTF before restoration is 0.1 or more, the restoration filter does not need to increase the gain at the Nyquist frequency. If the MTF before restoration is less than 0.1, the restored image becomes an image greatly affected by noise, which is not preferable.

次に、画像処理装置230Aのボケ画像復元処理について説明する。
図21は、一般的な光学系のベストフォーカス(BestForcus)位置でのMTF(Modulation Transfer Function:振幅伝達関数)特性図である。
図22は、本実施形態の光学系のMTF特性を示す図である。
Next, the blurred image restoration process of the image processing apparatus 230A will be described.
FIG. 21 is an MTF (Modulation Transfer Function) characteristic diagram at the best focus position of a general optical system.
FIG. 22 is a diagram showing the MTF characteristics of the optical system of the present embodiment.

本実施形態の光学系210Aを通過して撮像素子220で得られた撮像画像はボケているため中域〜高域にかけてMTFが低下している。このMTFを演算によって上昇させる。レンズ単体の振幅特性であるMTFに対し、画像処理を含めたトータルの振幅特性はSFR(Spatial Frequency Response)と呼ばれている。
ボケ画像を発生させるPSFの周波数特性がMTFであるので、これから所望のSFR特性まで引き上げるゲイン特性に設計してできたものがボケ復元フィルタである。どの程度のゲインにするかはノイズや偽像とのバランスで決めていく。
Since the picked-up image obtained by the image pickup element 220 after passing through the optical system 210A of the present embodiment is blurred, the MTF decreases from the middle range to the high range. This MTF is raised by calculation. In contrast to the MTF, which is the amplitude characteristic of a single lens, the total amplitude characteristic including image processing is called SFR (Spatial Frequency Response).
Since the frequency characteristic of a PSF that generates a blurred image is MTF, a blur restoration filter is designed to have a gain characteristic that is increased to a desired SFR characteristic. The degree of gain is determined by the balance with noise and false images.

このボケ復元フィルタを元画像にデジタルフィルタリングする方法は、画像をフーリエ変換し周波数領域でフィルタと周波数毎に積を取る方法と、空間領域でコンボリューション(Convolution)演算(畳み込み演算)を行なう方法がある。ここでは後者での実現方法を説明する。コンボリューション演算は下記の式で表される。   There are two methods for digitally filtering this blur restoration filter to the original image: Fourier transforming the image and multiplying the filter and frequency in the frequency domain, and convolution (convolution) in the spatial domain. is there. Here, the latter implementation method will be described. The convolution operation is expressed by the following equation.

ただし、fはフィルタ(filter)カーネルを示している(ここでは計算を容易にするために180度回転済みのものを使用している)。
また、Aは元画像、Bはフィルタリングされた画像(ボケ復元画像)を示している。
この式から分かる通り、fを画像に重ねて各タップ同士の積和した結果をその重ねた中心座標の値とすることである。
Here, f indicates a filter kernel (here, the one rotated 180 degrees is used for easy calculation).
A indicates an original image, and B indicates a filtered image (blurred restored image).
As can be seen from this equation, f is superimposed on the image and the result of summing the products of the taps is taken as the value of the center coordinate that has been superimposed.

次に、図23(A)〜(C)に関連付けて3*3のフィルタを例に挙げ具体的に説明する。
図23(A)の復元フィルタ(既に180度回転済み)を図23(B)に示すボケ画像のA(i,j)上にフィルタの中心f(0,0)を重ね、各タップ同士の積をとりこの9個の総和値を図23(C)に示すボケ復元画像のB(i,j)とする。
(i,j)を画像全体に渡ってスキャンすると新たなB画像が生成される。これがデジタルフィルタである。ここではフィルタがボケ復元目的であるので、この処理を行なうことでボケ復元処理を実施することができる。
Next, a 3 * 3 filter will be specifically described with reference to FIGS. 23A to 23C.
The restoration filter of FIG. 23A (already rotated by 180 degrees) is overlaid with the filter center f (0,0) on A (i, j) of the blurred image shown in FIG. The product is taken and the nine total values are set as B (i, j) of the blurred restored image shown in FIG.
When (i, j) is scanned over the entire image, a new B image is generated. This is a digital filter. Here, since the filter is used for blur restoration, blur restoration processing can be performed by performing this processing.

次に、画像処理装置230Aの構成および処理について説明する。
図24は、本実施形態に係る画像処理装置の構成例を示すブロック図である。
Next, the configuration and processing of the image processing device 230A will be described.
FIG. 24 is a block diagram illustrating a configuration example of the image processing apparatus according to the present embodiment.

画像処理装置230Aは、図24に示すように、生(RAW)バッファメモリ231、二次元コンボリューション演算部232、記憶手段としてのカーネルデータ格納ROM233、およびコンボリューション制御部234を有する。   As shown in FIG. 24, the image processing device 230A includes a raw (RAW) buffer memory 231, a two-dimensional convolution operation unit 232, a kernel data storage ROM 233 as a storage unit, and a convolution control unit 234.

コンボリューション制御部234は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、制御装置240により制御される。   The convolution control unit 234 controls the convolution process on / off, the screen size, the replacement of kernel data, and the like, and is controlled by the control device 240.

また、カーネルデータ格納ROM233には、図25に示すように予め用意されたそれぞれの光学系のPSFにより算出されたコンボリューション用のカーネルデータが格納されており、制御装置240によって予め設定された距離情報に応じてフィルタ処理に用いるカーネルデータを、コンボリューション制御部234を通じて選択的に制御する。   In addition, the kernel data storage ROM 233 stores kernel data for convolution calculated by the PSF of each optical system prepared in advance as shown in FIG. 25, and a distance set in advance by the control device 240. The kernel data used for the filtering process is selectively controlled through the convolution control unit 234 according to the information.

また、図25の例では、カーネルデータAは距離情報が125mm、カーネルデータBは距離情報が100mm、カーネルデータCは距離情報が88mmに対応したデータとなっている。   In the example of FIG. 25, the kernel data A is data corresponding to distance information of 125 mm, the kernel data B is data corresponding to distance information of 100 mm, and the kernel data C is data corresponding to distance information of 88 mm.

図26は、制御装置240の距離情報により切り替え処理のフローチャートである。
まず、距離情報が設定されコンボリューション制御部234に供給される(ST101)。
コンボリューション制御部234においては、供給された情報から、カーネルサイズ、数値演算係数がレジスタにセットされる(ST102)。
そして、撮像素子220で撮像され、二次元コンボリューション演算部232に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータが制御装置240に転送される(ST103)。
FIG. 26 is a flowchart of the switching process based on the distance information of the control device 240.
First, distance information is set and supplied to the convolution control unit 234 (ST101).
In the convolution control unit 234, the kernel size and the numerical operation coefficient are set in the register from the supplied information (ST102).
The image data captured by the image sensor 220 and input to the two-dimensional convolution calculation unit 232 is subjected to convolution calculation based on the data stored in the register, and the calculated and converted data is controlled. It is transferred to the device 240 (ST103).

以下に画像処理装置230Aの信号処理装置とカーネルデータ格納ROMについてさらに具体的な例について説明する。   A more specific example of the signal processing device and kernel data storage ROM of the image processing device 230A will be described below.

図27は、信号処理装置とカーネルデータ格納ROMについての第1の構成例を示す図である。
図27の例は取得情報に応じたフィルタカーネルを予め用意した場合のブロック図である。
FIG. 27 is a diagram illustrating a first configuration example of the signal processing device and the kernel data storage ROM.
The example of FIG. 27 is a block diagram when a filter kernel corresponding to acquired information is prepared in advance.

距離情報を設定し、コンボリューション制御部234を通じてカーネルデータを選択制御する。二次元コンボリューション演算部232においては、カーネルデータを用いてコンボリューション処理を施す。   The distance information is set, and the kernel data is selected and controlled through the convolution control unit 234. The two-dimensional convolution operation unit 232 performs convolution processing using kernel data.

図28は、信号処理装置とカーネルデータ格納ROMについての第2の構成例を示す図である。
図28の例は、信号処理装置の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして距離情報に応じたノイズ低減フィルタ処理ST1を予め用意した場合のブロック図である。
FIG. 28 is a diagram illustrating a second configuration example of the signal processing device and the kernel data storage ROM.
The example of FIG. 28 is a block diagram in the case where the signal processing apparatus has a noise reduction filter processing step at the beginning, and noise reduction filter processing ST1 corresponding to distance information is prepared in advance as filter kernel data.

距離情報を設定し、コンボリューション制御部234を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部232においては、前記ノイズ低減フィルタ処理ST1を施した後、カラーコンバージョン処理ST2によって色空間を変換、その後カーネルデータを用いてコンボリューション処理(OTF復元フィルタ処理)ST3を施す。
再度ノイズ低減フィルタ処理ST4を行い、カラーコンバージョン処理ST5によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ低減フィルタ処理ST4は省略することも可能である。
The distance information is set, and the kernel data is selected and controlled through the convolution control unit 234.
In the two-dimensional convolution operation unit 232, after performing the noise reduction filter process ST1, the color space is converted by the color conversion process ST2, and then the convolution process (OTF restoration filter process) ST3 is performed using the kernel data.
The noise reduction filter process ST4 is performed again, and the original color space is restored by the color conversion process ST5. The color conversion process includes, for example, YCbCr conversion, but other conversions may be used.
It is possible to omit the noise reduction filter process ST4 again.

図29は、信号処理装置とカーネルデータ格納ROMについての第3の構成例を示す図である。
図29の例は、距離情報に応じたOTF復元フィルタを予め用意した場合のブロック図である。
FIG. 29 is a diagram illustrating a third configuration example of the signal processing device and the kernel data storage ROM.
The example of FIG. 29 is a block diagram when an OTF restoration filter corresponding to distance information is prepared in advance.

距離情報を設定し、コンボリューション制御部234を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部232は、ノイズ低減フィルタ処理ST11、カラーコンバージョン処理ST12の後に、前記OTF復元フィルタを用いてコンボリューション処理ST13を施す。
再度ノイズ低減フィルタ処理ST14を行い、カラーコンバージョン処理ST15によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減フィルタ処理ST11、ST14は、いずれか一方のみでもよい。
The distance information is set, and the kernel data is selected and controlled through the convolution control unit 234.
The two-dimensional convolution operation unit 232 performs the convolution process ST13 using the OTF restoration filter after the noise reduction filter process ST11 and the color conversion process ST12.
Noise reduction filter processing ST14 is performed again, and the original color space is restored by color conversion processing ST15. The color conversion process includes, for example, YCbCr conversion, but other conversions may be used.
Note that only one of the noise reduction filter processes ST11 and ST14 may be used.

図30は、信号処理装置とカーネルデータ格納ROMについての第4の構成例を示す図である。なお、簡単化のためにAFE等は省略している。
図30の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして距離情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ低減フィルタ処理ST24は省略することも可能である。
情報コードの種類(特性)を取得し、コンボリューション制御部234を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部232においては、ノイズ低減フィルタ処理ST21を施した後、カラーコンバージョン処理ST22によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ST23を施す。
再度、距離情報に応じたノイズ低減フィルタ処理ST24を行い、カラーコンバージョン処理ST25によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減フィルタ処理ST21は省略することも可能である。
以上説明した各フィルタの選択方法は、モノクロの情報コード読み取りにおいても有効である。
FIG. 30 is a diagram illustrating a fourth configuration example of the signal processing device and the kernel data storage ROM. For simplification, AFE and the like are omitted.
The example of FIG. 30 is a block diagram in the case where a noise reduction filter processing step is included and a noise reduction filter corresponding to distance information is prepared in advance as filter kernel data.
It is possible to omit the noise reduction filter process ST24 again.
The type (characteristic) of the information code is acquired, and kernel data is selected and controlled through the convolution control unit 234.
In the two-dimensional convolution operation unit 232, after performing the noise reduction filter process ST21, the color space is converted by the color conversion process ST22, and then the convolution process ST23 is performed using the kernel data.
The noise reduction filter process ST24 corresponding to the distance information is performed again, and the original color space is restored by the color conversion process ST25. The color conversion process includes, for example, YCbCr conversion, but other conversions may be used.
The noise reduction filter process ST21 can be omitted.
The filter selection method described above is also effective in reading monochrome information codes.

以上は情報コードの種類(特性)情報に応じて二次元コンボリューション演算部232においてフィルタ処理を行う例を説明したが、たとえば情報コードおよび被写体距離情報により、より適した演算係数の抽出、あるいは演算を行うことが可能となる。   In the above, the example in which the filtering process is performed in the two-dimensional convolution calculation unit 232 according to the type (characteristic) information of the information code has been described. For example, a more suitable calculation coefficient is extracted or calculated based on the information code and subject distance information. Can be performed.

図31(A)〜(C)は、本実施形態に係る図11の撮像装置を有する情報コード読取装置100により、光学系と被写体である情報コードとの距離が125mm、100mm、88mmの場合の画像復元フィルタ処理前後の画像を示す図である。
この例では、125mm画像に最もピントが合うような構成となっているが、これは一例であり、これに限定されるものではない。
本実施形態の情報コード読取装置100によれば、図31(A)〜(C)に示すように、ボケた画像データを撮像したとしても、距離に応じた画像復元フィルタを用いることにより、デコード可否判定でデコード可となるように、図10(A)〜(C)の場合よりさらに良好な復元処理を行うことが可能である。
特に、図31(C)に示すように、ボケ方の最たる光学系と被写体である情報コードとの距離が場合の画像復元フィルタ処理後の画像においてもデコード可否判定でデコード可となるように、図10(C)の場合より、細かいピッチにおいて良好となることから、さらに良好な復元処理を行うことが可能である。
FIGS. 31A to 31C illustrate the case where the distance between the optical system and the information code as the subject is 125 mm, 100 mm, and 88 mm by the information code reader 100 having the imaging device of FIG. 11 according to the present embodiment. It is a figure which shows the image before and behind an image restoration filter process.
In this example, the focus is on the 125 mm image, but this is only an example, and the present invention is not limited to this.
According to the information code reading apparatus 100 of the present embodiment, as shown in FIGS. 31A to 31C, even if blurred image data is captured, decoding is performed by using an image restoration filter corresponding to the distance. It is possible to perform a better restoration process than in the case of FIGS. 10A to 10C so that decoding is possible in the availability determination.
In particular, as shown in FIG. 31 (C), so that the image after the image restoration filter processing in the case where the distance between the optical system that is the most blurred and the information code that is the subject is the image can be decoded by the decoding possibility determination. Since the fine pitch is better than in the case of FIG. 10C, a better restoration process can be performed.

以上説明したように、本実施形態によれば、1次画像を形成する光波面変調素子を含む光学系210および撮像素子220と、1次画像を高精細な最終画像に形成する画像処理装置230と、画像処理装置230においてフィルタ処理を受けた信号を受けて、フィルタリングが行われた画像データに対して情報コードのデコード可否判定を行うデコード機能と、画像処理装置230のフィルタ処理機能に複数の画像復元フィルタで画像データをフィルタリングさせ、デコード機能においてデコード可否判定で可となった結果をデコードデータと判定する判定機能とを含む制御装置240とを有することから、情報コードのデコードの成功率を高めることができ、ひいてはデコードの信頼性の向上を図ることができる。   As described above, according to the present embodiment, the optical system 210 and the image sensor 220 including the light wavefront modulation element that forms the primary image, and the image processing device 230 that forms the primary image into a high-definition final image. A decoding function for receiving a signal subjected to the filtering process in the image processing device 230 and determining whether or not the information code can be decoded with respect to the filtered image data, and a filtering function of the image processing device 230. Since it has a control device 240 that includes a determination function for filtering image data with an image restoration filter and determining that the decoding function determines whether the decoding is possible or not as decoded data, the success rate of decoding the information code is increased. As a result, the reliability of decoding can be improved.

また、制御装置240の判定機能において、たとえば同一の情報コードに対して所定の回数画像データの取得を行い、デコード機能においてデコード可否判定で一定割合回数以上可となった場合に、最終的なデコード結果として採用するように構成することで、デコードのさらなる信頼性の向上を図ることができる。   Further, in the determination function of the control device 240, for example, when the image data is acquired a predetermined number of times for the same information code, and the decoding function determines whether or not the predetermined number of times is possible in the decoding function, the final decoding is performed. By adopting the configuration as a result, the reliability of decoding can be further improved.

また、制御装置240の判定機能において、たとえばデコード可否判定で可となる結果が得られた画像復元フィルタの種類を記憶しておき、次回の情報コード読み取りにおいてデコード可否判定を行う際に、記憶しておいた種類の復元フィルタを優先的に用いるように構成することにより、より的確にかつ高速に、しかも品質高く情報コードの読み取り行うことが可能となる。   Further, in the determination function of the control device 240, for example, the type of the image restoration filter that has obtained a result that can be determined by the determination of whether or not decoding is possible is stored, and is stored when the determination of whether or not decoding is possible in the next information code reading is performed. By configuring so as to preferentially use the type of restoration filter, it is possible to read the information code more accurately and at high speed and with high quality.

また、制御装置240の判定機能において、たとえばデコード可否判定において、複数の復元フィルタのフィルタゲインの高低に応じてデコード可否判定のノイズ判断も連動させるように構成することにより、デフォーカスの大きな距離でもコントラストを高めることができつつ、ノイズ判定にも引っ掛からずデコード判定範囲を広げることが可能になる。   Further, in the determination function of the control device 240, for example, in the determination of whether or not decoding is possible, the determination of whether or not decoding is possible is linked in accordance with the level of the filter gain of the plurality of restoration filters, so that even at a large defocus distance. While the contrast can be increased, the decoding determination range can be expanded without being caught by noise determination.

また、本実施形態においては、結像レンズ212による撮像素子220の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子220による1次画像FIMを受けて、1次画像の空間周波数におけるMTFをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像FNLIMを形成する画像処理装置230Aとを有することから、高精細な画質を得ることが可能となるという利点がある。
また、光学系210Aの構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
In this embodiment, the imaging lens system having a wavefront forming optical element that deforms the wavefront of the imaging on the light receiving surface of the imaging element 220 by the imaging lens 212 and the primary image FIM by the imaging element 220 are received. In addition, the image processing apparatus 230A that forms a high-definition final image FNLIM by performing a predetermined correction process for so-called lifting of the MTF at the spatial frequency of the primary image and the like can be obtained. There is an advantage of becoming.
In addition, the configuration of the optical system 210A can be simplified, manufacturing becomes easy, and cost reduction can be achieved.

ところで、CCDやCMOSセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
By the way, when a CCD or CMOS sensor is used as an image sensor, there is a resolution limit determined by the pixel pitch, and if the resolution of the optical system exceeds the limit resolution, a phenomenon such as aliasing occurs, which adversely affects the final image. It is a well-known fact that
In order to improve image quality, it is desirable to increase the contrast as much as possible, but this requires a high-performance lens system.

しかし、上述したように、CCDやCMOSセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
However, as described above, aliasing occurs when a CCD or CMOS sensor is used as an image sensor.
Currently, in order to avoid the occurrence of aliasing, the imaging lens apparatus uses a low-pass filter made of a uniaxial crystal system to avoid the occurrence of aliasing.
The use of a low-pass filter in this way is correct in principle, but the low-pass filter itself is made of crystal, so it is expensive and difficult to manage. Moreover, there is a disadvantage that the use of the optical system makes the optical system more complicated.

以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
As described above, in order to form a high-definition image, the optical system must be complicated in the conventional imaging lens apparatus in spite of the demand for higher-definition image due to the trend of the times. . If it is complicated, manufacturing becomes difficult, and if an expensive low-pass filter is used, the cost increases.
However, according to this embodiment, the occurrence of aliasing can be avoided without using a low-pass filter, and high-definition image quality can be obtained.

なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても前記と同様の作用効果を得ることができる。   In this embodiment, the example in which the wavefront forming optical element of the optical system is arranged closer to the object side lens than the stop is shown. An effect can be obtained.

本発明の実施形態に係る情報コード読取装置の一例を示す外観図である。1 is an external view showing an example of an information code reading device according to an embodiment of the present invention. 情報コードの例を示す図である。It is a figure which shows the example of an information code. 図1の情報コード読取装置に適用される撮像装置の構成例を示すブロックである。It is a block which shows the structural example of the imaging device applied to the information code reader of FIG. フィルタゲインとMTFのRMSとの関係を示す図である。It is a figure which shows the relationship between filter gain and RMS of MTF. フィルタゲインを高くするとMTFを高くすることができるが、これに伴いノイズ量も多くなることを示す図である。It is a figure which shows that MTF can be made high when filter gain is made high, but noise amount also increases in connection with this. 本実施形態に係る制御装置における読み取られた情報コードのデコード判定処理の基本的な処理を説明するためのフローチャートである。It is a flowchart for demonstrating the basic process of the decoding determination process of the read information code in the control apparatus which concerns on this embodiment. デコード可否判定で一定割合回数以上可となった場合に、最終的なデコード結果とする処理を示すフローチャートである。It is a flowchart which shows the process made into a final decoding result, when it becomes possible more than a fixed number of times by decoding decision | availability determination. 記憶しておいた種類の復元フィルタを優先的に用いる処理を示すフローチャートである。It is a flowchart which shows the process which uses preferentially the kind of restoration filter which was memorized. 本実施形態に係るフィルタ処理前後のノイズ判定閾値NVTHとノイズレベルNLVLとの関係を示す図である。It is a figure which shows the relationship between the noise determination threshold value NVTH before and behind the filter process which concerns on this embodiment, and the noise level NLVL. 本実施形態に係る情報コード読取装置により、光学系と被写体である情報コードとの距離が125mm、100mm、88mmの場合の画像復元フィルタ処理前後の画像を示す図である。It is a figure which shows the image before and behind an image restoration filter process in case the distance of an optical system and the information code which is a to-be-photographed object is 125 mm, 100 mm, and 88 mm by the information code reading apparatus which concerns on this embodiment. 本実施形態に係る光波面変調素子を含む光学系を有する撮像装置の構成例を示すブロック図である。It is a block diagram showing an example of composition of an imaging device which has an optical system containing a light wavefront modulation element concerning this embodiment. 本実施形態に係る光波面変調素子を含む光学系210Aの構成例を模式的に示す図である。It is a figure which shows typically the structural example of 210 A of optical systems containing the optical wavefront modulation element concerning this embodiment. DEOSの原理を説明するための図である。It is a figure for demonstrating the principle of DEOS. 本実施形態に係る撮像素子の受光面でのスポット像を示す図であって、(A)は焦点が0.2mmずれた場合(Defocus=0.2mm)、(B)が合焦点の場合(Best focus)、(C)が焦点が−0.2mmずれた場合(Defocus=−0.2mm)の各スポット像を示す図である。It is a figure which shows the spot image in the light-receiving surface of the image pick-up element which concerns on this embodiment, Comprising: (A) is a case where a focus shifts 0.2 mm (Defocus = 0.2 mm), (B) is a focus point ( Best focus), (C) is a diagram showing each spot image when the focal point is deviated by −0.2 mm (Defocus = −0.2 mm). 本実施形態に係る撮像素子により形成される1次画像のMTFについて説明するための図であって、(A)は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、(B)が空間周波数に対するMTF特性を示している。It is a figure for demonstrating MTF of the primary image formed with the image sensor which concerns on this embodiment, Comprising: (A) is a figure which shows the spot image in the light-receiving surface of the image sensor of an imaging lens apparatus, (B ) Shows the MTF characteristics with respect to the spatial frequency. 本実施形態に係る画像処理装置におけるMTF補正処理を説明するための図である。It is a figure for demonstrating the MTF correction process in the image processing apparatus which concerns on this embodiment. 本実施形態に係る画像処理装置におけるMTF補正処理を具体的に説明するための図である。It is a figure for demonstrating concretely the MTF correction process in the image processing apparatus which concerns on this embodiment. 一般的な光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンス(応答)を示す図である。It is a figure which shows the response (response) of MTF when an object exists in a focus position in the case of a general optical system, and it remove | deviates from a focus position. 光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンスを示す図である。It is a figure which shows the response of MTF when an object exists in a focus position in the case of the optical system of this embodiment which has a light wavefront modulation element, and remove | deviates from a focus position. 本実施形態に係る撮像装置のデータ復元後のMTFのレスポンスを示す図である。It is a figure which shows the response of MTF after the data restoration of the imaging device which concerns on this embodiment. 一般的な光学系のベストフォーカス(Best Forcus)位置でのMTF(Modulation Transfer Function 振幅伝達関数)特性図である。It is a MTF (Modulation Transfer Function amplitude characteristic) characteristic view in the best focus (Best Focus) position of a general optical system. 本実施形態の光学系のMTF特性を示す図である。It is a figure which shows the MTF characteristic of the optical system of this embodiment. 本実施形態におけるボケ復元処理の説明図である。It is explanatory drawing of the blur decompression | restoration process in this embodiment. 本実施形態に係る画像処理装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image processing apparatus which concerns on this embodiment. カーネルデータROMの格納データの一例を示す図である。It is a figure which shows an example of the storage data of kernel data ROM. 距離情報に応じた画像処理の概要を示すフローチャートである。It is a flowchart which shows the outline | summary of the image process according to distance information. 信号処理装置とカーネルデータ格納ROMについての第1の構成例を示す図である。It is a figure which shows the 1st structural example about a signal processing apparatus and a kernel data storage ROM. 信号処理装置とカーネルデータ格納ROMについての第2の構成例を示す図である。It is a figure which shows the 2nd structural example about a signal processing apparatus and kernel data storage ROM. 信号処理装置とカーネルデータ格納ROMについての第3の構成例を示す図である。It is a figure which shows the 3rd structural example about a signal processing apparatus and kernel data storage ROM. 信号処理装置とカーネルデータ格納ROMについての第4の構成例を示す図である。It is a figure which shows the 4th structural example about a signal processing apparatus and kernel data storage ROM. 本実施形態に係る図11の撮像装置を有する情報コード読取装置100により、光学系と被写体である情報コードとの距離が125mm、100mm、88mmの場合の画像復元フィルタ処理前後の画像を示す図である。FIG. 12 is a diagram showing images before and after image restoration filter processing when the distance between the optical system and the information code as the subject is 125 mm, 100 mm, and 88 mm by the information code reader 100 having the imaging device of FIG. 11 according to the present embodiment. is there. 一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。It is a figure which shows typically the structure and light beam state of a general imaging lens apparatus. 図32の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、(A)は焦点が0.2mmずれた場合(Defocus=0.2mm)、(B)が合焦点の場合(Best focus)、(C)が焦点が−0.2mmずれた場合(Defocus=−0.2mm)の各スポット像を示す図である。FIG. 33A is a diagram showing a spot image on the light receiving surface of the imaging element of the imaging lens device of FIG. 32, where FIG. 33A shows a case where the focal point is shifted by 0.2 mm (Defocus = 0.2 mm), and FIG. In the case (Best focus), (C) is a diagram showing each spot image when the focal point is shifted by -0.2 mm (Defocus = -0.2 mm).

符号の説明Explanation of symbols

100・・・情報コード読取装置、121・・・情報コード、200・・・撮像装置、210,210A・・・光学系、220・・・撮像素子、230,230A・・・画像処理装置、240・・・制御装置、211・・・物体側レンズ、212・・・結像レンズ、213・・・波面形成用光学素子、213a・・・位相板(光波面変調素子)、232・・・二次元コンボリューション演算部、233・・・カーネルデータROM、234・・・コンボリューション制御部。   DESCRIPTION OF SYMBOLS 100 ... Information code reading device, 121 ... Information code, 200 ... Imaging device, 210, 210A ... Optical system, 220 ... Imaging element, 230, 230A ... Image processing device, 240 ... Control device, 211 ... Object side lens, 212 ... Image forming lens, 213 ... Optical element for wavefront formation, 213a ... Phase plate (light wavefront modulation element), 232 ... Two Dimensional convolution operation unit, 233... Kernel data ROM, 234... Convolution control unit.

Claims (10)

光学系と、
前記光学系を通した被写体である情報コードの像を撮像する撮像素子と、
前記光学系と被写体との距離に応じた複数の点広がり関数(PSF)毎に予め用意した複数の画像復元フィルタと、
前記撮像素子から出力される画像データに対して前記画像復元フィルタによるフィルタリングを行うフィルタ手段と、
前記フィルタリングが行われた画像データに対して前記情報コードのデコード可否判定を含むデコード手段と、を有し、
前記フィルタ手段に前記複数の画像復元フィルタで前記画像データをフィルタリングさせ、前記デコード手段においてデコード可否判定で可となった結果をデコードデータとして出力する
情報コード読取装置。
Optical system,
An image sensor that captures an image of an information code that is a subject through the optical system;
A plurality of image restoration filters prepared in advance for each of a plurality of point spread functions (PSFs) according to the distance between the optical system and the subject;
Filter means for performing filtering by the image restoration filter on image data output from the image sensor;
Decoding means including a determination of whether or not the information code can be decoded for the filtered image data,
An information code reading device that causes the filter means to filter the image data with the plurality of image restoration filters and outputs a result that is determined by the decoding means as to whether or not decoding is possible as decoded data.
同一の情報コードに対して所定回数の画像取得を行い、前記デコード可否判定で一定割合回数以上可となった場合に、最終的なデコード結果として採用する
請求項1に記載の情報コード読取装置。
The information code reader according to claim 1, wherein an image is acquired a predetermined number of times with respect to the same information code, and is adopted as a final decoding result when the predetermined number of times is permitted in the determination as to whether or not decoding is possible.
前記デコード可否判定で可となる結果が得られた前記復元フィルタの種類を記憶しておき、次回の情報コード読み取りにおいて前記デコード可否判定を行う際に、当該記憶しておいた種類の復元フィルタを優先的に用いる
請求項1または2に記載の情報コード読取装置。
The type of the restoration filter for which a result that is permitted by the decoding possibility determination is obtained is stored, and when the decoding possibility determination is performed in the next information code reading, the stored type of restoration filter is stored. The information code reader according to claim 1 or 2, wherein the information code reader is used preferentially.
前記光学系は、
光学的伝達関数(OTF)を変調する光波面変調機能を含む
請求項1から3のいずれか一に記載の情報コード読取装置。
The optical system is
The information code reader according to claim 1, further comprising an optical wavefront modulation function for modulating an optical transfer function (OTF).
前記光学系は、
光波面変調素子、または、当該光学系を形成する光学素子に形成された光波面変調面を含む
請求項4に記載の情報コード読取装置。
The optical system is
The information code reading device according to claim 4, comprising: a light wavefront modulation element, or a light wavefront modulation surface formed on an optical element forming the optical system.
前記復元フィルタが格納される記憶手段を有し、
前記光学系の個体毎または要求される前記光学系と被写体との距離毎に前記復元フィルタの値を変更可能である
請求項1から5のいずれか一に記載の情報コード読取装置。
Storing means for storing the restoration filter;
The information code reading device according to any one of claims 1 to 5, wherein the value of the restoration filter can be changed for each individual optical system or for each required distance between the optical system and a subject.
前記複数の復元フィルタは下記に示すフィルタゲインFGの値が略等しくなるようにWienerフィルタの係数を変えて生成された
請求項1から6のいずれか一に記載の情報コード読取装置。
FG = (1/a*ΣΣfilt(u,v)^2)^0.5
aはフィルタの全要素数
The information code reading device according to any one of claims 1 to 6, wherein the plurality of restoration filters are generated by changing a coefficient of a Wiener filter so that a value of a filter gain FG shown below is substantially equal.
FG = (1 / a * ΣΣfilt (u, v) ^ 2) ^ 0.5
a is the total number of elements in the filter
前記複数の復元フィルタは、
前記光学系のピントの中心となる被写体距離に応じたものに比べて、当該ピントの中心から離れた被写体距離に応じたものになるほどフィルタゲインが高く設定されている
請求項1から7のいずれか一に記載の情報コード読取装置。
The plurality of restoration filters are:
8. The filter gain is set to be higher as the distance to the subject is farther from the center of the focus than to the distance to the subject that is the center of focus of the optical system. The information code reading device described in 1.
前記複数の復元フィルタの前記フィルタゲインの高低に応じて前記デコード可否判定のノイズ判断も連動させる
請求項8に記載の情報コード読取装置。
The information code reading device according to claim 8, wherein the determination of whether or not decoding is possible is also linked in accordance with the level of the filter gain of the plurality of restoration filters.
光学系を通した被写体である情報コードの像を撮像素子で撮像して当該情報コードを読み取る情報コード読取方法であって、
前記光学系と被写体との距離に応じた複数の点広がり関数(PSF)毎に予め用意した複数の画像復元フィルタで前記撮像素子から出力される画像データに対してフィルタリングを行い、
前記フィルタリングが行われた画像データに対して前記情報コードのデコード可否判定を行い、
前記デコード可否判定で可となった結果をデコードデータとして採用する
情報コード読取方法。
An information code reading method in which an image of an information code that is a subject that has passed through an optical system is picked up by an image sensor and the information code is read.
Filtering image data output from the image sensor with a plurality of image restoration filters prepared in advance for each of a plurality of point spread functions (PSFs) according to the distance between the optical system and the subject;
Determining whether or not the information code can be decoded with respect to the filtered image data,
An information code reading method that employs, as decode data, a result that is determined by the determination of whether or not decoding is possible.
JP2007196402A 2007-07-27 2007-07-27 Information code reader and method of reading the same code Pending JP2009033561A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007196402A JP2009033561A (en) 2007-07-27 2007-07-27 Information code reader and method of reading the same code

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007196402A JP2009033561A (en) 2007-07-27 2007-07-27 Information code reader and method of reading the same code

Publications (1)

Publication Number Publication Date
JP2009033561A true JP2009033561A (en) 2009-02-12

Family

ID=40403550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007196402A Pending JP2009033561A (en) 2007-07-27 2007-07-27 Information code reader and method of reading the same code

Country Status (1)

Country Link
JP (1) JP2009033561A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014508342A (en) * 2011-01-04 2014-04-03 インテル・コーポレーション Method for correcting blur of bar code image, terminal, and computer-readable recording medium
JP2015060531A (en) * 2013-09-20 2015-03-30 株式会社デンソーウェーブ Information code reader
US10089730B2 (en) 2015-08-20 2018-10-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014508342A (en) * 2011-01-04 2014-04-03 インテル・コーポレーション Method for correcting blur of bar code image, terminal, and computer-readable recording medium
JP2015060531A (en) * 2013-09-20 2015-03-30 株式会社デンソーウェーブ Information code reader
US10089730B2 (en) 2015-08-20 2018-10-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Similar Documents

Publication Publication Date Title
JP4712631B2 (en) Imaging device
JP4663737B2 (en) Imaging apparatus and image processing method thereof
JP4818957B2 (en) Imaging apparatus and method thereof
JP4749959B2 (en) Imaging device, manufacturing apparatus and manufacturing method thereof
JP2008268937A (en) Imaging device and imaging method
JP2008048293A (en) Imaging device and method for manufacturing same
JP2008245157A (en) Imaging device and method therefor
US8462213B2 (en) Optical system, image pickup apparatus and information code reading device
JP2007322560A (en) Imaging apparatus, and apparatus and method of manufacturing the same
JP4916862B2 (en) Imaging apparatus and method thereof
JP2007300208A (en) Imaging apparatus
JPWO2009069752A1 (en) Imaging apparatus and electronic apparatus
JP2008085387A (en) Imaging apparatus, and its manufacturing device and manufacturing method
JP2007206738A (en) Imaging device and method
JP4658162B2 (en) Imaging apparatus and electronic apparatus
JP4364847B2 (en) Imaging apparatus and image conversion method
JP2009182735A (en) Noise eliminating method, image processor, and information code reader
JP2009086017A (en) Imaging device and imaging method
JP2006094468A (en) Imaging device and imaging method
JP4818956B2 (en) Imaging apparatus and method thereof
JP2009032105A (en) Image restoration device and method, and information code reader
JP2009033561A (en) Information code reader and method of reading the same code
JP2006094469A (en) Imaging device and imaging method
JP4916853B2 (en) Imaging apparatus and method thereof
JP2008245265A (en) Imaging apparatus and its manufacturing apparatus and method