JP2023008183A - 撮像装置、制御方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】 ２値化されて使用される認識対象の読み取り精度を向上させる。
【解決手段】 画素又は画素グループ毎に露光時間を制御する撮像素子１０２であって、一次元コード又は二次元コードを撮像して画像を生成する撮像手段と、前記画像の露光時間を含む露出情報を取得する取得手段と、前記画像において輝度が所定の値より大きい画素又は領域に対応する前記撮像手段の前記画素又は画素グループ毎の露光時間を前記取得手段が取得した前記露出情報に含まれる露光時間よりも長くなるように制御する制御手段１０５と、を有することを特徴とする撮像装置。
【選択図】 図１

Description

撮像装置、制御方法、プログラム及び記憶媒体に関する。

撮像した画像からグレースケール画像を生成する生成部を複数有し、撮像した画像に対して最も適切にグレースケール画像を生成することで２値化されて使用される認識対象の読み取り精度を向上させる技術が開示されている（特許文献１）。２値化されて使用される認識対象とは、ＱＲコード（登録商標）などの二次元コードやバーコードなどの一次元コードなどを指す。

特開２０１５－９９４８２

本発明が解決しようとする課題は、２値化されて使用される認識対象の読み取り精度を向上させることである。

上記課題を解決するために、本発明の一態様に係る撮像装置は、画素又は画素グループ毎に露光時間を制御する撮像素子であって、一次元コード又は二次元コードを撮像して画像を生成する撮像手段と、前記画像の露光時間を含む露出情報を取得する取得手段と、前記画像において輝度が所定の値より大きい画素又は領域に対応する前記撮像手段の前記画素又は画素グループ毎の露光時間を前記取得手段が取得した前記露出情報に含まれる露光時間よりも長くなるように制御する制御手段とを有する。

本発明によれば、２値化されて使用される認識対象の読み取り精度を向上させることができる。

第１の実施形態に係る撮像装置の機能の構成例を示すブロック図。 第１の実施形態に係る撮像装置を使用した、２値化して使用する認識対象を読み取るシステム構成の一例を示す図。 第１の実施形態に係る撮像装置の動作を示すフローチャート。 第１の実施形態に係る撮像装置が撮像した画像と画像における認識対象の画像および画像の輝度分布を示す図。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

＜実施形態１＞
本実施形態では、２値化されて使用される認識対象である一次元コード又は二次元コードを撮像する。撮像された画像の露光時間を含む露出情報を取得する。撮像された画像において輝度が所定の値より大きい画素又は領域に対応するイメージセンサの画素又は画素グループ毎の露光時間を露出情報に含まれる露光時間よりも長くなるように制御する。

（機能構成）
図１は、本発明の実施形態に係る撮像装置１００の機能・構成を示すブロック図である。図１に示す各機能ブロックのうち、ソフトウェアにより実現される機能については、各機能ブロックの機能提供するためのプログラムがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリに記憶される。そして、そのプログラムをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に読み出してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が実行することにより実現される。ハードウェアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能ブロックの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。なお、図１に示した機能ブロックの構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。

撮像装置１００は、レンズ１０１、撮像素子１０２、認識対象検出部１０３、領域決定部１０４、露出決定部１０５及び画像処理部１０６を備える。

レンズ１０１は、被写体からの光を撮像素子１０２の受光面（撮像面）に集光する。図１では１枚のレンズのみを示しているが、複数のレンズを備えてもよく、例えば、ズームレンズ、フォーカスレンズおよびブレ補正レンズなどが含まれていてもよい。

撮像素子１０２は、被写体からの光を画素毎に電気信号に変換して出力する。また、撮像素子１０２は撮像面における画素又は画素グループ毎に露光時間またはゲインを含む露出を設定できる。撮像素子１０２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの半導体素子および周辺回路である。なお、撮像素子１０２は不図示の増幅器を備えている。増幅器は、撮像素子１０２から出力された電気信号を増幅して撮像信号を出力する。上述したゲインはこの増幅率を示すアナログゲインを含んでおり、画素又は画素グループ毎に増幅率（アナログゲイン）を設定することができる。増幅器によって増幅された電気信号はデジタル信号である映像信号に対して、現像処理を含めた画像処理を行う。映像信号を画像データ（ＪＰＥＧ形式など）に変換する。このとき増幅器から出力されるＲＧＢの色情報を持った映像信号は、ＹＵＶ形式などの色差信号に変換されてデジタル信号処理される。現像処理とは、後述するホワイトバランス補正、彩度補正、色調補正（色相補正）、シャープネス補正、ガンマ補正、階調補正などである。これらの信号処理は撮像素子１０２で行われてもよいし、後述する画像処理部１０６で行われても良い。

認識対象検出部１０３（検出手段）は、撮像素子１０２から出力された画像から二値化すべき認識対象を検出する。

領域決定部１０４は、認識対象検出部１０３の検出結果に基づいて、撮像素子１０２の露光領域を決定する。露光領域とは、イメージセンサの画素又は画素グループから構成される領域を指す。領域決定部１０４で決定された露光領域内の画素又は画素グループの露光時間は単一の露光時間あるいはゲインが設定される。従って、露光領域を決定できる最小の領域は画素又は画素グループそのものである。

露出決定部１０５は、領域決定部１０４によって決定された１以上の露光領域について露光時間あるいはゲインを決定する。本実施形態における露出決定部１０５の具体的な露出制御方法は後述する。

画像処理部１０６は、撮像素子１０２から出力された画像信号からグレースケール画像を出力する。画像処理部１０６から出力されるグレースケール画像から２値化された信号に復号可能なように補正されて出力される。

（動作説明）
次に、図２、図３および図４を参照して本実施形態に係る撮像装置１００の露出制御について説明する。図２は本実施形態に係る撮像装置１００を使用した認識対象の読み取りシステムの一例を示す図である。

一次元コードや二次元コードなどの認識対象２０１が貼り付けられた認識対象物２００（梱包箱等）を、撮像装置１００が撮影する。撮像装置１００は、認識対象部１０３によって認識対象２０１を検出し、認識対象２０１のグレースケール画像を外部の情報処理装置等が有するデコード部２０３へ出力する。デコード部２０３は、入力されたグレースケール画像を二値化してデコードし、二次元コードや一次元コードに格納された商品情報、あるいはＵＲＬなどの情報を復元する。

図３は、本実施形態に係る撮像装置１００の露出制御のフローチャートである。図３のフローチャートは、撮像装置１００内の不図示の制御部によって、各処理ブロックを制御し実行される処理手順を図示したものである。制御部が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図４（Ａ）は撮像素子１０２によって撮像された画像を示している。

ステップＳ３０１では、画像から認識対象検出部１０３が撮像対象物３００に張り付けられた二値化すべき認識対象３０１を検出する。

ステップＳ３０２では、ステップＳ３０１で検出した認識対象３０１の画像領域に対して複数の露光領域を決定する（領域決定手段）。露光領域が認識対象３０１の二値を示すドットや線毎に決定されることが望ましいが、複数のドット単位、線単位で露光領域が決定されてもよい。その場合、制御する露光領域の数がドットや線毎に露光領域を割り当てる場合よりも、露光時間やゲインの計算の負荷が軽減される。

ステップＳ３０３では、露出制御部１０４が露光領域毎に露出制御を行う。より具体的には、まず認識対象３０１の露光時間やゲインを含む露出情報を取得する。次に、認識対象３０１の画像において輝度が所定の値（閾値）より大きい画素又は領域に対応する露光領域（画素又は画素グループ）毎の露光時間を認識対象３０１の画像を取得した露出情報に含まれる露光時間よりも長くなるように制御する。なお、本実施形態では露出制御部１０４が認識対象３０１の露出情報を取得しているが、露出制御部１０４とは異なる別の取得手段によって取得されてもよい。

図４（Ｂ）は検出された認識対象３０１の一例である二次元コードの画像と画像の輝度分布を示した図である。認識対象３０１に存在するグレーで示した部分は、環境光の影響などにより認識対象３０１に映り込んだ影の存在を示す。このような影が存在すると、適切にグレースケール画像を生成することができず、読み取り精度が低下してしまう。

また、輝度分布は輝度Ａにも輝度Ｃにも分類できない輝度Ｂが影の部分（本来は輝度Ｃとなるべきドットが輝度Ｂとなっている部分）がある。輝度Ｂのドットは、二値化処理を実施した際に、本来のドット（輝度Ｃのドット）として処理されない可能性がある。

ステップＳ３０３では、このような輝度Ａにも輝度Ｃにも分類できない画素又は領域に対応する露光領域の露光時間を図４の画像を撮像した際の露出情報に含まれる露光時間よりも長くするように露出決定部１０６が制御する。なお、本実施形態では露光時間を長くするように制御しているが、ゲインを露出情報に含まれるゲインよりも大きくするように制御してもよい。なお、ここでいう所定の閾値は画素が表現可能な輝度の最大値と最小値の中間値としてもよいし、画像の輝度の最大値と最小値との中間値としてもよい。前者の閾値とする場合、表現可能な輝度の中央値を用いるため、絶対的な輝度評価が可能である。一方後者の閾値とする場合、全体的に影がかかってしまっている場合等であっても相対的な輝度評価が可能となる。また、より精度の高い閾値の設定方法として画像の輝度分布に対する近似曲線を計算し、曲線の最小値を閾値として設定する方法がある。これにより、より精度の高い影の領域（輝度Ｂのような輝度がある画素又は領域）の特定が可能となる。

どの程度、露光時間を長くするかは影の領域の輝度がデコード部２０３で二値化可能な程度に明るくなればよいので、例えばデコード部が有する二値化するための輝度の閾値とする方法がある。

ステップＳ３０４では、露出制御部１０４が制御した画像を画像処理部１０６がグレースケール画像として出力する。また、二値化可能な輝度閾値を算出する。この閾値は前述の所定の値と同じとしてもよいし、変更してもよい。

図４（Ｃ）は露出制御部１０４が露出を制御した後に撮像された画像を示している。本実施形態に係る露出制御によって、影の領域の輝度が持ち上がり、輝度Ｂが輝度Ｃあるはその周辺の輝度となる。

ステップＳ３０５では、ステップＳ３０４で算出した輝度閾値よりも大きい輝度の画素又は領域に対応する露光領域の露光時間を現在の露光時間よりも長くなるように制御する。また、輝度閾値よりも小さい輝度の画素又は領域に対応する露光領域の露光時間を現在の露光時間よりも短くなるように制御する。これにより、輝度が高いところはより高くなり、輝度が低いところは輝度が低くなるため、より認識対象の二値を示すドットや線のコントラストが高くなる。従って、画像処理部１０６から出力されるグレースケール画像をデコード部２０３が読み取る際の読み取り精度をステップＳ３０３の露出制御後のグレースケール画像に対してより向上させることができる。

以上のように、本実施形態に係る撮像装置１００の露出制御によれば、二値化して使用する認識対象の読み取り精度を向上させることができる。

＜その他の実施形態＞
本発明は、上述の実施形態１の１以上の機能を実現するプログラムを読み出し実行する処理によって実現可能である。このプログラムは、ネットワークまたは記憶媒体を介してシステム又は装置に供給され、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサによって読み出され、実行される。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０１ レンズ
１０２ イメージセンサ
１０３ 認識対象検出部
１０４ 領域決定部
１０５ 露出決定部
１０６ 画像処理部

Claims (18)

1. 画素又は画素グループ毎に露光時間を制御する撮像素子であって、一次元コード又は二次元コードを撮像して画像を生成する撮像手段と、
   前記画像の露光時間を含む露出情報を取得する取得手段と、
   前記画像において輝度が所定の値より大きい画素又は領域に対応する前記撮像手段の前記画素又は画素グループ毎の露光時間を前記取得手段が取得した前記露出情報に含まれる露光時間よりも長くなるように制御する制御手段と、
   を有することを特徴とする撮像装置。
2. 前記制御手段は、前記所定の値より小さい前記画素又は領域に対応する前記撮像素子の前記画素又は画素グループ毎の露光時間を前記露出情報に含まれる露光時間よりも短くなるように制御することを特徴とする請求項１に記載の撮像装置。
3. 前記露出情報は前記画像のゲインを含み、前記制御手段は、前記画像において前記輝度が前記所定の値より大きい前記画素又は領域に対応する前記撮像素子の画素又は画素グループ毎のゲインを前記露出情報に含まれるゲインよりも大きくなるように制御することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記制御手段は、前記所定の値より小さい前記画素又は領域に対応する前記撮像素子の前記画素又は画素グループ毎のゲインを前記露出情報に含まれるゲインよりも小さくなるように制御することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記所定の値は前記画像における表現可能な輝度の最大値と最小値との中間値であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記所定の値は前記画像における輝度の最大値と最小値との中間値であることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記所定の値は前記画像の輝度の分布の近似曲線が示す最小値であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記撮像手段によって前記一次元コード又は二次元コードを含む被写体を撮像した場合、
   前記被写体から前記一次元コード又は２次元コードを検出する検出手段と、
   前記検出手段の検出結果に基づいて、前記制御手段が制御する画素又は画素グループを決定する領域決定手段と、
   を有することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 画素又は画素グループ毎に露光時間を制御する撮像素子によって、一次元コード又は二次元コードを撮像して画像を生成する撮像工程と、
   前記画像の露光時間を含む露出情報を取得する取得工程と、
   前記画像において輝度が所定の値より大きい画素又は領域に対応する前記撮像手段の前記画素又は画素グループ毎の露光時間を前記取得手段が取得した前記露出情報に含まれる露光時間よりも長くなるように制御する制御工程と、
   を有することを特徴とする撮像装置の制御方法。
10. 前記制御工程では、前記所定の値より小さい前記画素又は領域に対応する前記撮像素子の前記画素又は画素グループ毎の露光時間を前記露出情報に含まれる露光時間よりも短くなるように制御することを特徴とする請求項９に記載の撮像装置の制御方法。
11. 前記露出情報は前記画像のゲインを含み、前記制御工程では、前記画像において前記輝度が前記所定の値より大きい前記画素又は領域に対応する前記撮像素子の画素又は画素グループ毎のゲインを前記露出情報に含まれるゲインよりも大きくなるように制御することを特徴とする請求項９又は１０に記載の撮像装置の制御方法。
12. 前記制御工程では、前記所定の値より小さい前記画素又は領域に対応する前記撮像素子の前記画素又は画素グループ毎のゲインを前記露出情報に含まれるゲインよりも小さくなるように制御することを特徴とする請求項９乃至１１のいずれか１項に記載の撮像装置の制御方法。
13. 前記所定の値は前記画像における表現可能な輝度の最大値と最小値との中間値であることを特徴とする請求項９乃至１２のいずれか１項に記載の撮像装置の制御方法。
14. 前記所定の値は前記画像における輝度の最大値と最小値との中間値であることを特徴とする請求項９乃至１３のいずれか１項に記載の撮像装置の制御方法。
15. 前記所定の値は前記画像の輝度の分布の近似曲線が示す最小値であることを特徴とする請求項９乃至１４のいずれか１項に記載の撮像装置の制御方法。
16. 前記撮像工程で前記一次元コード又は二次元コードを含む被写体を撮像した場合、
    前記被写体から前記一次元コード又は２次元コードを検出する検出工程と、
    前記検出工程における検出結果に基づいて、前記制御手段が制御する画素又は画素グループを決定する領域決定工程と、
    を有することを特徴とする請求項９乃至１５のいずれか１項に記載の撮像装置の制御方法。
17. 請求項９乃至１６のいずれか１項に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。
18. 請求項１７に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images