JP2017216497A - 画像処理装置、画像処理システム、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】対象物を照射する照明の構成を簡易化するとともに、より確実に対象物を撮影することができる画像処理装置、画像処理システム、画像処理方法、およびプログラムを提供すること。【解決手段】実施形態の画像処理装置は、再構成部と、合成部とを持つ。前記再構成部は、文字または記号による対象情報が付与された対象物を撮影することによって得られたライトフィールドデータに基づき、前記対象物において前記対象情報が存在する領域にフォーカスが合った画像であって、長手方向と短手方向を有する画像を生成する。前記合成部は、前記再構成部によって生成された複数の前記画像を前記短手方向に並べることで、二次元画像を生成する。【選択図】図５

Description

本発明の実施形態は、画像処理装置、画像処理システム、画像処理方法、およびプログラムに関する。

近年、物流分野においては、不定形の荷物パッケージに記載されている宛名をＯＣＲ装置により認識することが行われている。荷物パッケージのサイズや形状は様々であるため、宛名に対するカメラのフォーカスを、ＯＣＲ装置の認識処理に適した範囲に保つことが困難な場合がある。そして、これに起因して、ＯＣＲ装置の認識エラーや認識不能が発生して、宛名の認識率が低下する場合がある。

上記に関連し、荷物パッケージに記載されている宛名を、ライトフィールドカメラで撮影する技術が知られている。例えば、ライトフィールドカメラの一種として、マイクロレンズアレイによって入射光を分光し、分光した複数の方向の光を、イメージセンサを用いて検出するカメラが知られている。ライトフィールドカメラによって検出された画像データ（ライトフィールドデータ）に基づき、広範囲でフォーカスが合っている画像を再構成することができる。

しかしながら、ライトフィールドカメラは、エリアセンサを用いて広い撮影範囲を一度に処理するため、シャッター速度を高速化することが難しい。このため、シャッタータイミングが適切なタイミングからずれてしまうと、搬送される荷物の宛名を撮影できない可能性がある。また、ライトフィールドカメラを用いる場合、広範囲を照らす照明が必要であるため、照明が大型化および高コスト化する場合がある。

特開２０１４−５７２３１号公報

本発明が解決しようとする課題は、対象物を照射する照明の構成を簡易化するとともに、より確実に対象物を撮影することができる画像処理装置、画像処理システム、画像処理方法、およびプログラムを提供することである。

実施形態の画像処理装置は、再構成部と、合成部とを持つ。前記再構成部は、文字または記号による対象情報が付与された対象物を撮影することによって得られたライトフィールドデータに基づき、前記対象物において前記対象情報が存在する領域にフォーカスが合った画像であって、長手方向と短手方向を有する画像を生成する。前記合成部は、前記再構成部によって生成された複数の前記画像を前記短手方向に並べることで、二次元画像を生成する。

第１の実施形態に係る画像処理システム１０の全体構成を示す図。 ライトフィールドカメラ１００の詳細な構成を示す図。 マイクロレンズアレイ１２０の構造を示す図。 マイクロレンズアレイ１２０とイメージセンサ１３０との関係を示す図。 第１の実施形態に係る画像処理装置２００のブロック図。 視差の計算を説明するための図。 検出用画像生成部２３０の詳細な構成を示すブロック図。 検出用画像ＩＭＧ（二次元画像）の生成処理を説明するための図。 認識用画像生成部２５０の詳細な構成を示すブロック図。 再構成処理部２５３の詳細な構成を示すブロック図。 第１の実施形態に係る画像処理装置２００の動作を示すフローチャート。 第２の実施形態に係る画像処理装置７００のブロック図。

以下、実施形態の画像処理装置、画像処理システム、画像処理方法、およびプログラムを、図面を参照して説明する。

（第１の実施形態）
図１は、第１の実施形態に係る画像処理システム１０の全体構成を示す図である。図１に示されるように、本実施形態の画像処理システム１０は、ライトフィールドカメラ１００と、画像処理装置２００と、ビデオコーディングシステム（以下、「ＶＣＳ」と称する）５００とを備える。

ライトフィールドカメラ１００は、照明１０５から光を照射し、ベルトコンベア３１０上を移動する荷物（対象物の一例）４００を撮影する。ライトフィールドカメラ１００は、荷物４００から反射されてライトフィールドカメラに到達した光線の位置情報だけでなく、光線の進む方向に関する情報についても取得する。ライトフィールドカメラ１００によって取得された画像データ（ライトフィールドデータ）に対して所定の処理が行われることで、フォーカスを任意の位置に合わせたり、視点を変えたりした画像を再構成することができる。

ライトフィールドカメラ１００は、荷物４００の画像データ（ライトフィールドデータ）を画像処理装置２００に送信する。画像処理装置２００は、ライトフィールドカメラ１００から受信したライトフィールドデータに基づき、ＯＣＲ処理を行うことによって荷物４００の宛名領域（対象情報が存在する領域）４１０に記載されている住所情報（対象情報）を認識する。画像処理装置２００は、認識結果（住所情報）を区分装置３００に送信する。住所情報は、例えば、数字によって記載された郵便番号、文字や数字、記号によって記載された住所、またはこれらの組み合わせである。

区分装置３００は、例えば複数の段および複数の列に区画された複数の区分ポケット（不図示）、およびＶＣＳポケット（不図示）を含む。区分装置３００は、画像処理装置２００から受信した認識結果（住所情報）に応じて、ベルトコンベア３１０によって搬送されてくる荷物４００の区分先を切り替え、区分先の区分ポケットに荷物４００を集積する。

画像処理装置２００は、宛名領域４１０に記載されている住所情報を認識できなかった場合、住所情報を認識できなかった旨の通知を区分装置３００に送信する。区分装置３００は、画像処理装置２００から住所情報を認識できなかった旨の通知を受信すると、荷物４００の区分先をＶＣＳポケットに切り替える。

また、画像処理装置２００は、宛名領域４１０に記載されている住所情報を認識できなかった場合、荷物４００の画像データおよびＶＣ依頼を、ネットワークＮＷを介してＶＣＳ５００に送信する。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）等である。

ＶＣＳ５００は、画像処理装置２００により住所情報を認識できなかった荷物４００の画像を表示し、作業者の視認により住所情報の認識を補助するシステムである。ＶＣＳ５００の各端末は、荷物４００の画像を表示装置によって表示し、キーボードやタッチパネル等の入力デバイスによって作業者による住所情報の入力を受け付ける。

ＶＣＳ５００は、作業者による住所情報の入力を受け付けると、入力された住所情報を、ネットワークＮＷを介して画像処理装置２００に送信する。画像処理装置２００は、ＶＣＳ５００から受信した住所情報を区分装置３００に送信する。これによって、ＯＣＲ処理によって住所情報を認識できなかった荷物４００が、正しい区分先に区分される。

図２は、ライトフィールドカメラ１００の詳細な構成を示す図である。ライトフィールドカメラ１００は、メインレンズ１１０、マイクロレンズアレイ１２０、およびイメージセンサ１３０を備える。メインレンズ１１０は、被写体（荷物４００）からの光が入射するレンズである。マイクロレンズアレイ１２０は、複数のマイクロレンズを備えるレンズアレイである。イメージセンサ１３０は、複数の画素を有する撮像素子であり、各画素にて光の強度を検出する。イメージセンサ１３０は、例えば、ＣＣＤ（Charge Coupled Device）や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のセンサである。

図２に示されるライトフィールドカメラ１００は複眼方式であるが、これに限られない。例えば、多眼方式等、他の方式のライトフィールドカメラであっても同等の効果が得られる。また、本実施形態のライトフィールドカメラ１００は虚像光学系であるが、これに限られない。例えば、実像光学系であっても同等の効果が得られる。

図３は、マイクロレンズアレイ１２０の構造を示す図である。図３に示されるように、マイクロレンズアレイ１２０は、マイクロレンズが格子状に配列されたレンズアレイである。メインレンズ１１０から入射した光線群は、光線の方向にしたがって、マイクロレンズアレイ１２０によって分解される。

マイクロレンズアレイ１２０は、Ｙ方向（短手方向）の長さよりも、Ｘ方向（長手方向）の長さの方が長い。ここで、Ｙ方向は、ベルトコンベア３１０上を移動する荷物４００の移動方向であり、Ｘ方向は、Ｙ方向に直交する方向である。図３に示されるマイクロレンズアレイ１２０は、３行×１５列＝４５個のマイクロレンズを有するが、マイクロレンズの個数はこれに限られない。

荷物４００は、ライトフィールドカメラ１００に対してＹ方向に相対的に移動しながら、ライトフィールドカメラ１００によって撮影される。ライトフィールドカメラ１００によって取得されたライトフィールドデータは、複数のマイクロレンズを介して得られた複数のマイクロ画像の集合であって、Ｙ方向の画素数よりも、Ｘ方向の画素数の方が多い。

ライトフィールドカメラ１００は、１回の撮影で１次元の画素値を出力する。ベルトコンベア３１０によって等速度で搬送される荷物４００を、ライトフィールドカメラ１００が連続して撮影することにより、荷物４００の二次元画像が得られる。このため、図３に示されるように、１ラインの画像を得るために必要な範囲のみにマイクロレンズアレイ１２０とイメージセンサ１３０が配置される。

ライトフィールドカメラ１００は、ライトフィールドカメラ１００の長手方向（Ｘ方向）が荷物４００の移動方向（Ｙ方向）に対して直角となるように配置される。本実施形態においては、マイクロレンズは光軸から見た形状が円形であることとしたが、これに限られない。例えば、マイクロレンズは、多角形（例えば、四角形）であってもよい。また、本実施形態のライトフィールドカメラ１００に代えて、従来のライトフィールドカメラからの出力の一部のみを用いることで代用してもよい。

本実施形態のライトフィールドカメラ１００を用いることで、照明１０５によって照らされる範囲を、ライン形状の範囲に限定することができる。照明１０５は広い範囲を照らす必要が無いため、照明１０５を小型化および低コスト化することができる。また、荷物４００が連続して重なりながら搬送される場合や、荷物４００が移動方向に長い形状である場合であっても、ライトフィールドカメラ１００は荷物４００の全体を撮影することができる。なお、ライン形状の範囲を集中して照らすために、照明１０５と荷物４００との間にレンズを配置してもよい。

図４は、マイクロレンズアレイ１２０とイメージセンサ１３０との関係を示す図である。図４に示されるように、マイクロレンズアレイ１２０によって分解された光線は、円形のマイクロ画像１５０ａおよび１５０ｂとして、イメージセンサ１３０上に投影される。ここでは、説明を簡単にするために２つのマイクロ画像１５０ａおよび１５０ｂを示したが、実際には複数のマイクロレンズのそれぞれに対応する複数のマイクロ画像がイメージセンサ１３０上に投影される。

マイクロレンズアレイ１２０から投影された複数のマイクロ画像をイメージセンサ１３０の複数の画素が受光することで、光線の入射方向ごとの強度を検出することができる。イメージセンサ１３０によって検出された画像データ（ライトフィールドデータ）は、複数のマイクロレンズごとのマイクロ画像の集まりとなる。

図５は、第１の実施形態に係る画像処理装置２００のブロック図である。画像処理装置２００は、制御装置２１０と、ライトフィールドデータメモリ２２０と、検出用画像生成部２３０と、距離マップ生成部２４０と、認識用画像生成部２５０と、画像メモリ２７０と、検出部２８０と、認識部（ＯＣＲ部）２９０とを備える。

制御装置２１０は、ＣＰＵ（Central Processing Unit）等のプロセッサと、プロセッサが実行するプログラムを格納するプログラムメモリとを備える。なお、制御装置２１０は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアであってもよい。

ライトフィールドデータメモリ２２０および画像メモリ２７０は、制御装置２１０によって読出しおよび書込みが可能なメモリであり、例えばＲＡＭ（Random Access Memory）である。

検出用画像生成部２３０、距離マップ生成部２４０、認識用画像生成部２５０、検出部２８０、および認識部（ＯＣＲ部）２９０は、例えば、制御装置２１０のプロセッサが、プログラムメモリに格納されたプログラムを実行することにより実現される。画像メモリ管理情報２６０は、画像メモリ２７０に格納された画像を管理するための情報である。

ライトフィールドデータメモリ２２０は、ライトフィールドカメラ１００から受信したライトフィールドデータを記憶する。距離マップ生成部２４０は、ライトフィールドデータメモリ２２０からライトフィールドデータを読み出す。距離マップ生成部２４０は、読み出したライトフィールドデータに基づき、距離マップを生成する。以下、距離マップの生成方法について説明する。

距離マップ生成部２４０は、ライトフィールドデータに基づき、マイクロレンズを介して得られるマイクロ画像ごとに、ライトフィールドカメラ１００から被写体までの距離を算出することで、算出した距離がマップ化された距離マップを生成する。距離マップ生成部２４０は、隣接する複数のマイクロ画像に対してテンプレートマッチングを行うことにより視差を算出し、算出した視差に基づき、ステレオ画像処理のアルゴリズムを用いて距離を求める。

図６は、視差の計算を説明するための図である。中央のマイクロレンズ１２０ａは、マイクロレンズ１２０ｂおよび１２０ｃと、Ｙ方向において隣接している。また、中央のマイクロレンズ１２０ａは、マイクロレンズ１２０ｄおよび１２０ｅと、Ｘ方向において隣接している。

以下、中央のマイクロレンズ１２０ａを介して得られるマイクロ画像についての、ライトフィールドカメラ１００から被写体までの距離の算出処理について具体的に説明する。距離マップ生成部２４０は、中央のマイクロレンズ１２０ａを介して得られるマイクロ画像と、４つのマイクロレンズ１２０ｂ〜１２０ｅを介して得られる４つのマイクロ画像のそれぞれに対してテンプレートマッチングを行うことにより、４つの視差を算出する。

具体的に、距離マップ生成部２４０は、マイクロレンズ１２０ａを介して得られるマイクロ画像と、マイクロレンズ１２０ｂを介して得られるマイクロ画像とに基づき視差Ｄ１を算出する。また、距離マップ生成部２４０は、マイクロレンズ１２０ａを介して得られるマイクロ画像と、マイクロレンズ１２０ｃを介して得られるマイクロ画像とに基づき視差Ｄ２を算出する。また、距離マップ生成部２４０は、マイクロレンズ１２０ａを介して得られるマイクロ画像と、マイクロレンズ１２０ｄを介して得られるマイクロ画像とに基づき視差Ｄ３を算出する。また、距離マップ生成部２４０は、マイクロレンズ１２０ａを介して得られるマイクロ画像と、マイクロレンズ１２０ｅを介して得られるマイクロ画像とに基づき視差Ｄ４を算出する。

次に、距離マップ生成部２４０は、４つの視差Ｄ１からＤ４の平均値Ｄａｖｅに基づき、ステレオ画像処理のアルゴリズムを用いて、中央のマイクロレンズ１２０ａを介して得られるマイクロ画像についての被写体までの距離を算出する。距離マップ生成部２４０は、以上の処理を全てのマイクロレンズに対して行うことにより、距離マップを生成する。距離マップ生成部２４０は、生成した距離マップを検出用画像生成部２３０および認識用画像生成部２５０に出力する。

なお、距離マップ生成部２４０は、平均値Ｄａｖｅを用いて距離を算出することとしたが、これに限られない。例えば、距離マップ生成部２４０は、テンプレートマッチングの結果の信頼度に基づいて最良と推定できる視差を４つの視差Ｄ１からＤ４の中から選択し、選択した視差に基づき、ステレオ画像処理のアルゴリズムを用いて、中央のマイクロレンズ１２０ａを介して得られるマイクロ画像についての被写体までの距離を算出してもよい。

図７は、検出用画像生成部２３０の詳細な構成を示すブロック図である。検出用画像生成部２３０は、再構成部２３１および合成部２３２を備える。再構成部２３１は、ライトフィールドデータメモリ２２０からライトフィールドデータを読み出す。再構成部２３１は、読み出したライトフィールドデータおよび距離マップ生成部２４０から出力された距離マップに基づき、検出用画像ＩＭＧを生成する。以下、検出用画像ＩＭＧ（二次元画像）の生成方法について説明する。

再構成部２３１は、距離マップを用いてライトフィールドデータを再構成することで、荷物４００において住所情報が存在する領域にフォーカスが合ったライン画像を生成する。具体的には、再構成部２３１は、マイクロレンズの中心を通過するＸ方向のライン上のライトフィールドデータの各マイクロ画像を、距離マップによって示される距離に応じた拡大率で拡大する。また、再構成部２３１は、各マイクロ画像が重なった個所については画素値の平均値を算出することで、荷物４００にフォーカスの合ったライン画像を生成する。再構成部２３１は、生成したライン画像を合成部２３２に出力する。

再構成部２３１は、以上の処理を繰り返すことにより、複数のライン画像を合成部２３２に出力する。合成部２３２は、再構成部２３１によって生成された複数のライン画像を合成して、検出用画像ＩＭＧ（二次元画像）を生成する。

図８は、検出用画像ＩＭＧ（二次元画像）の生成処理を説明するための図である。再構成部２３１は、ライトフィールドカメラ１００によって取得されたライトフィールドデータに基づき、荷物４００において住所情報が存在する領域にフォーカスが合った複数のライン画像Ｌ１からＬｎを生成する。合成部２３２は、再構成部２３１によって生成された複数のライン画像Ｌ１からＬｎをＹ方向に並べることで、検出用画像ＩＭＧを生成する。これによって、合成部２３２は、荷物４００において住所情報が存在する領域にフォーカスが合った検出用画像ＩＭＧ（二次元画像）を生成することができる。

なお、再構成部２３１によるライン画像の生成方法は、これに限られない。例えば、再構成部２３１は、Ｘ方向に隣接するマイクロ画像のみならず、Ｙ方向に隣接するマイクロ画像についても、距離マップによって示される距離に応じた拡大率で拡大してもよい。

具体的には、再構成部２３１は、マイクロレンズの中心を通過するＸ方向のライン上のライトフィールドデータの各マイクロ画像を、距離マップによって示される距離に応じた拡大率で拡大し、Ｙ方向に隣接するマイクロ画像の全体を、距離マップによって示される距離に応じた拡大率で拡大してもよい。また、再構成部２３１は、各マイクロ画像が重なった個所については画素値の平均値を算出することで、荷物４００にフォーカスの合ったライン画像を生成してもよい。

なお、再構成部２３１は、各マイクロ画像が重なった個所については、画素値の平均値を算出することとしたが、これに限られない。例えば、再構成部２３１は、各マイクロ画像が重なった個所については、固定サイズでクロッピングしてライン画像を生成してもよいし、計算の過程で導出される信頼度に基づいていずれか１つのマイクロ画像を選択してライン画像を生成してもよい。ここで、計算の過程で導出される信頼度とは、計算済みの前のライン画像に対する画像パターン（濃淡の幾何的パターン）の連続性、または距離マップ作成時に行われたテンプレートマッチングの類似度であってよい。

また、再構成部２３１は、１ライン毎にライン画像を再構成することとしたが、これに限られない。例えば、再構成部２３１は、数ライン分まとめて再構成処理を行ってもよい。これによって、スキャン速度が低速のライトフィールドカメラ１００を用いることができるとともに、計算量を低減することが出来る。この場合、再構成部２３１は、スキャン毎の再構成結果がある程度オーバーラップするようにライン画像を再構成してもよい。また、合成部２３２は、計算済みの前のライン画像に対する画像パターン（濃淡の幾何的パターン）の連続性を考慮してライン画像を合成してもよい。

検出用画像生成部２３０は、合成部２３２によって生成された検出用画像ＩＭＧを画像メモリ２７０に格納する。制御装置２１０は、画像メモリ２７０に格納された画像を、画像メモリ管理情報２６０を用いて管理する。画像メモリ管理情報２６０は、画像メモリ２７０に格納された画像の識別情報、種類（検出用画像または認識用画像を示す情報）、およびアドレス等の情報を含む。

検出部２８０は、画像メモリ２７０から検出用画像ＩＭＧを読み出し、読み出した検出用画像ＩＭＧに対して、２値化処理、エッジ強調、およびエッジ検出等の画像処理を施して、住所情報が記載されている領域を文字領域データとして検出する。検出部２８０は、検出した文字領域データを認識用画像生成部２５０および認識部２９０に出力する。

認識用画像生成部２５０は、検出部２８０によって検出された文字領域データに基づき、住所情報が存在する領域に対して高解像度化処理を行うことにより、認識用画像を生成する。このように、住所情報が存在する領域のみに対して高解像度化処理を行うことで、認識用画像生成部２５０の負荷を低減するとともに、認識用画像生成部２５０の認識処理を高速化することができる。

認識用画像生成部２５０は、高解像度化処理として超解像処理を行う。以下、認識用画像の生成方法について説明する。

図９は、認識用画像生成部２５０の詳細な構成を示すブロック図である。図９に示されるように、認識用画像生成部２５０は、サブ画像生成部２５１、位置合わせ処理部２５２、再構成処理部２５３、および補間拡大処理部２５４を備える。サブ画像生成部２５１は、ライトフィールドデータメモリ２２０からライトフィールドデータを読み出す。サブ画像生成部２５１は、読み出したライトフィールドデータと、検出部２８０から出力された文字領域データとに基づき、住所情報が存在する領域についての視点の異なる複数のサブ画像（第１のサブ画像および第２のサブ画像）を生成する。

具体的に、サブ画像生成部２５１は、文字領域データに基づき、住所情報が存在する領域のライトフィールドデータを抽出する。サブ画像生成部２５１は、住所情報が存在する領域のライトフィールドデータ中の各マイクロ画像から同じ相対座標の画素を抽出して組み合わせることにより、第１のサブ画像を生成する。

次に、距離マップ生成部２４０は、相対座標を変更し、住所情報が存在する領域のライトフィールドデータ中の各マイクロ画像から同じ相対座標の画素を抽出して組み合わせることにより、第２のサブ画像を生成する。第１のサブ画像と第２のサブ画像は、互いに視点の異なる画像である。サブ画像生成部２５１は、生成した第１のサブ画像および第２のサブ画像を、位置合わせ処理部２５２、再構成処理部２５３、および補間拡大処理部２５４に出力する。

位置合わせ処理部２５２は、入力された第１のサブ画像および第２のサブ画像において同一部分と見なせる点である対応点を探索し、２つの点の移動量を動きベクトルとして算出する。位置合わせ処理部２５２は、算出した動きベクトルを再構成処理部２５３に出力する。

補間拡大処理部２５４は、バイリニアやバイキュービックアルゴリズム等の補間アルゴリズムによって、第１解像度の第１のサブ画像（基準画像）を、第１解像度よりも高解像である第２解像度を表すことが可能な画素数に増加して初期画像を生成する補間拡大処理を行う。ここで、解像度は画像がどれだけ細かな部分を表現しているかを示すパラメータであり、画素数はどれだけ詳細な部分を表現可能なフォーマットかを示すパラメータである。補間拡大処理では、画素数は増加するが、解像度は増加しない。補間拡大処理部２５４は、生成した初期画像を再構成処理部２５３に出力する。

再構成処理部２５３は、サブ画像生成部２５１から出力された第１および第２のサブ画像、位置合わせ処理部２５２から出力された動きベクトル、および補間拡大処理部２５４から出力された初期画像に基づき、認識用画像を生成する。

図１０は、再構成処理部２５３の詳細な構成を示すブロック図である。図１０に示されるように、再構成処理部２５３は、予測画像生成部２５５と、誤差計算部２５６と、誤差補正部２５７と、画像バッファ２５８とを備えている。

画像バッファ２５８は、補間拡大処理部２５４から入力された初期画像を一時的に格納する。予測画像生成部２５５は、画像バッファ２５８から初期画像を読み出す。予測画像生成部２５５は、読み出した初期画像と、位置合わせ処理部２５２から出力された動きベクトルとに基づき、予測画像を生成する。ここで、補間拡大処理の拡大率に応じて動きベクトルがスケーリングして用いられる。予測画像生成部２５５は、生成した予測画像を誤差計算部２５６に出力する。

誤差計算部２５６は、予測画像生成部２５５から出力された予測画像と、サブ画像生成部２５１から出力された第１解像度の第２のサブ画像との誤差を計算して誤差画像を生成する。誤差計算部２５６は、生成した誤差画像を誤差補正部２５７に出力する。

誤差補正部２５７は、誤差計算部２５６から出力された誤差画像に基づき、画像バッファ２５８に格納された初期画像を補正することにより、初期画像を高解像度化する。再構成処理部２５３は、誤差計算部２５６によって計算された誤差が所定の閾値以下になるまで上記の処理を繰り返すことによって、高解像度化された認識用画像を生成する。

認識用画像生成部２５０は、点拡がり関数ＰＳＦ（Point Spread Function）を設定して補正量を計算する。このとき、認識用画像生成部２５０は、荷物４００が搬送されることによる動きぼけを補正するために、ガウシアン分布を縦長にしたパターンを点拡がり関数ＰＳＦとして用いると、解像度を増加させることができる。

なお、本実施形態において、高解像度化処理として超解像処理を行うこととしたが、これに限られない。例えば、ライトフィールドカメラ１００によって同じ部分が映っている複数枚のマイクロ画像が得られるため、認識用画像生成部２５０は、各マイクロ画像をサブピクセルの精度で位置合わせして再構成することで、住所情報が存在する領域の画像を高解像度化してもよい。また、認識用画像生成部２５０は、ライトフィールドカメラ１００のスキャン速度を高めて、Ｙ方向（荷物４００の移動方向）におけるマイクロ画像の解像度を高めることで、住所情報が存在する領域の画像を高解像度化してもよい。

図５に示されるように、認識用画像生成部２５０は、生成した認識用画像を画像メモリ２７０に格納する。認識部２９０は、画像メモリ２７０から認識用画像を読み出す。認識部２９０は、読み出した認識用画像に対してＯＣＲ処理を行うことにより、宛名領域４１０に付与された住所情報を認識する。

このように、認識部２９０は、認識用画像生成部２５０によって生成された高解像度の認識用画像に対してＯＣＲ処理を行う。これによって、宛名領域４１０に付与された住所情報の認識率を向上させることができる。

認識部２９０は、住所情報を認識できた場合、認識結果（住所情報）を区分装置３００に送信する。一方、認識部２９０は、住所情報を認識できなかった場合、ＶＣ依頼および認識用画像を、ネットワークＮＷを介してＶＣＳ５００に送信する。

ＶＣＳ５００は、認識部２９０からＶＣ依頼を受信すると、認識部２９０から受信した認識用画像を表示装置に表示する。作業者によって住所情報がＶＣＳ５００に入力されると、ＶＣＳ５００は入力された住所情報を、ネットワークＮＷを介して認識部２９０に送信する。認識部２９０は、ＶＣＳ５００から受信した住所情報を区分装置３００に送信する。これによって、認識部２９０によって住所情報を認識できなかった荷物４００は、正しい区分先に区分される。

図１１は、第１の実施形態に係る画像処理装置２００の動作を示すフローチャートである。本フローチャートを実行するためのプログラムは、制御装置２１０のプログラムメモリに格納されている。

距離マップ生成部２４０は、ライトフィールドデータメモリ２２０からライトフィールドデータを読み出す（Ｓ１）。次に、距離マップ生成部２４０は、読み出したライトフィールドデータに基づき、距離マップを生成する（Ｓ２）。

検出用画像生成部２３０は、ライトフィールドデータメモリ２２０からライトフィールドデータを読み出す。その後、検出用画像生成部２３０に設けられた再構成部２３１は、ライトフィールドデータおよび距離マップ生成部２４０によって生成された距離マップに基づき、宛名領域４１０にフォーカスが合ったライン画像を生成する。また、検出用画像生成部２３０に設けられた合成部２３２は、再構成部２３１によって生成された複数のライン画像を合成することで、検出用画像ＩＭＧ（二次元画像）を生成する（Ｓ３）。

検出部２８０は、検出用画像生成部２３０によって生成された検出用画像ＩＭＧに基づき、住所情報が存在する領域を示す文字領域データを検出する（Ｓ４）。その後、制御装置２１０は、検出部２８０によって文字領域データが検出されたか否かを判断する（Ｓ５）。

検出部２８０によって文字領域データが検出されなかった場合、制御装置２１０は、本フローチャートによる処理を終了する。一方、検出部２８０によって文字領域データが検出された場合、認識用画像生成部２５０は、検出部２８０によって検出された文字領域データを用いて、住所情報が存在する領域に対して高解像度化処理を行うことにより、認識用画像を生成する（Ｓ６）。

認識部２９０は、認識用画像生成部２５０によって生成された認識用画像に対してＯＣＲ処理を行うことにより、宛名領域４１０に付与された住所情報を認識する（Ｓ７）。その後、認識部２９０は、住所情報を認識できたかどうかを判断する（Ｓ８）。住所情報を認識できた場合、認識部２９０は、認識した住所情報を区分装置３００に送信し（Ｓ９）、制御装置２１０は、本フローチャートによる処理を終了する。

一方、住所情報を認識できなかった場合、認識部２９０は、ＶＣ依頼および認識用画像を、ネットワークＮＷを介してＶＣＳ５００に送信する（Ｓ１０）。その後、認識部２９０は、ＶＣＳ５００から住所情報を受信し（Ｓ１１）、受信した住所情報を区分装置３００に送信する（Ｓ９）。これによって、認識部２９０によって住所情報を認識できなかった荷物４００は、正しい区分先に区分される。

以上説明したように、第１の実施形態に係る画像処理装置２００は、文字または記号による住所情報が付与された荷物４００を撮影することによって得られたライトフィールドデータに基づき、荷物４００において住所情報が存在する領域にフォーカスが合ったライン画像であって、長手方向（Ｘ方向）と短手方向（Ｙ方向）を有するライン画像を生成する再構成部２３１と、再構成部２３１によって生成された複数のライン画像を短手方向（Ｙ方向）に並べることで、検出用画像ＩＭＧ（二次元画像）を生成する合成部２３２とを持つ。これによって、荷物４００を照射する照明１０５の構成を簡易化するとともに、より確実に荷物４００を撮影することができる。

（第２の実施形態）
次に、第２の実施形態について説明する。第１の実施形態では、距離マップ生成部２４０が、ライトフィールドデータに基づいて距離マップを生成していた。しかしながら、ライトフィールドデータに基づいて算出される距離は誤差が大きい。そこで、第２の実施形態においては、距離を測定するセンサを用いて距離マップを生成することとした。以下、第２の実施形態について詳細に説明する。

図１２は、第２の実施形態に係る画像処理装置７００のブロック図である。図１２において、図５の各部に対応する部分には同一の符号を付し、説明を省略する。画像処理装置７００は、制御装置２１０と、ライトフィールドデータメモリ２２０と、検出用画像生成部２３０と、認識用画像生成部２５０と、画像メモリ２７０と、検出部２８０と、認識部（ＯＣＲ部）２９０とを備える。なお、本実施形態に係る画像処理装置７００は、距離マップ生成部２４０（図５）を有しない。

距離マップは、距離センサ（不図示）によって生成される。距離センサは、ライトフィールドカメラ１００に取り付けられたセンサである。距離センサは、ライトフィールドカメラ１００から荷物４００までの距離を測定し、測定した距離に基づいて距離マップを生成する。

例えば、距離センサは、赤外線光源および赤外線検出器を備え、赤外線検出器付近に取り付けられた赤外線光源により対象物を照射し、対象物からの反射光を赤外線検出器により検出し、検出した反射光の強度に基づいて距離を測定してもよい。この場合、距離センサは、距離が遠くなるにつれて反射光が減衰する性質を利用して、反射光の強度に基づいて距離を算出する。また、距離センサは、レーザ光源により特定のパターンを対象物に投影し、距離に応じて荷物４００の表面からの反射パターンが変化する性質を利用して距離を算出してもよい。

距離センサは、生成した距離マップを、検出用画像生成部２３０および認識用画像生成部２５０に出力する。距離マップの作成以降の処理は、第１の実施形態と同様であるので説明を省略する。

以上説明したように、第２の実施形態に係る画像処理装置７００は、距離センサによって生成された距離マップを用いて検出用画像ＩＭＧを生成する。これによって、ライトフィールドカメラ１００から荷物４００までの距離をより正確に求めることができ、宛名領域４１０の誤検出を抑制するとともに、宛名領域４１０に付与された住所情報の認識率を更に向上させることができる。

なお、第１および第２の実施形態において、検出部２８０は１つの宛名領域を検出することとしたが、複数の宛名領域を検出してもよい。宛名の配置パターンが既知の場合は、一定間隔で搬送される複数の荷物の宛名を同時に認識したり、荷物の宛名以外の位置に貼り付けられたバーコードを同時に読み取ったりしてもよい。

また、第１および第２の実施形態において、認識用画像生成部２５０は住所情報が存在する領域のみを高解像度化して認識用画像を生成したが、画像全体を高解像度化して認識用画像を生成してもよい。この場合、認識部２９０は、検出部２８０によって検出された文字領域データに基づいて、全体を高解像度化された認識用画像から住所情報が存在する領域の画像を抽出し、抽出した画像に対してＯＣＲ処理を行ってもよい。

また、第１および第２の実施形態において、認識用画像生成部２５０は、ライトフィールドデータに基づき互いに視点の異なる複数のサブ画像を生成し、生成した複数のサブ画像を用いて超解像処理を行うこととしたが、これに限らない。例えば、認識用画像生成部２５０は、ライトフィールドデータに基づき撮影タイミングの異なる複数のサブ画像を生成し、生成した複数のサブ画像を用いて超解像処理を行ってもよい。

（第３の実施形態）
上記第１の実施形態および第２の実施形態においては、宛名領域４１０に付与された住所情報を認識することとしたが、認識対象はこれに限られない。例えば、第３の実施形態において、認識部２９０は、道路を通行している車両のナンバープレートに対して認識処理を行う。認識部２９０は、第１の実施形態および第２の実施形態のいずれをナンバープレートの認識処理に適用してもよい。以下、第３の実施形態について詳細に説明する。

第３の実施形態において、ライトフィールドカメラ１００は路側に設置されている。ライトフィールドカメラ１００は、車両のナンバープレートを撮影することにより、ライトフィールドデータを取得する。検出用画像生成部２３０は、ナンバープレートのライトフィールドデータに基づき、ナンバープレートが存在する領域にフォーカスが合った検出用画像ＩＭＧを生成する。

検出部２８０は、検出用画像ＩＭＧに基づき、ナンバープレートが存在する領域を検出する。認識用画像生成部２５０は、ナンバープレートが存在する領域に対して高解像度化処理を行うことにより、認識用画像を生成する。認識部２９０は、認識用画像に基づき、ナンバープレートに記載されているナンバー情報を認識する。

以上説明したように、第３の実施形態において、ライトフィールドカメラ１００は、道路を通行している車両のナンバープレートのライトフィールドデータを取得する。画像処理装置２００および７００は、ナンバープレートのライトフィールドデータを用いて上述の認識処理を行うことにより、ナンバープレートの誤検出を抑制するとともに、ナンバープレートに付与されたナンバー情報の認識率を向上させることができる。

（第４の実施形態）
第４の実施形態において、認識部２９０は、路側に設置されている道路標識に対して認識処理を行う。認識部２９０は、第１の実施形態および第２の実施形態のいずれを道路標識の認識処理に適用してもよい。以下、第４の実施形態について詳細に説明する。

第４の実施形態において、ライトフィールドカメラ１００は車両に搭載されている。ライトフィールドカメラ１００は、道路標識を撮影してライトフィールドデータを取得する。検出用画像生成部２３０は、道路標識のライトフィールドデータに基づき、道路標識が存在する領域にフォーカスが合った検出用画像ＩＭＧを生成する。

検出部２８０は、検出用画像ＩＭＧに基づき、道路標識が存在する領域を検出する。認識用画像生成部２５０は、道路標識が存在する領域に対して高解像度化処理を行うことにより、認識用画像を生成する。認識部２９０は、認識用画像に基づき、道路標識に示される情報を認識する。

以上説明したように、第４の実施形態において、ライトフィールドカメラ１００は、路側に設置されている道路標識のライトフィールドデータを取得する。画像処理装置２００および７００は、道路標識のライトフィールドデータを用いて上述の認識処理を行うことにより、道路標識の誤検出を抑制するとともに、道路標識に付与された情報の認識率を向上させることができる。

なお、第１の実施形態から第４の実施形態において、ライトフィールドカメラ１００の位置が固定され、対象物がライトフィールドカメラ１００の撮影位置を通過することとしたが、これに限られない。例えば、対象物の位置が固定され、ライトフィールドカメラ１００が移動して対象物を撮影してもよい。また、ライトフィールドカメラ１００および対象物の両方が移動することにより、ライトフィールドカメラ１００が対象物を撮影してもよい。

以上説明した少なくともひとつの実施形態によれば、画像処理装置２００および７００は、文字または記号による住所情報が付与された荷物４００を撮影することによって得られたライトフィールドデータに基づき、荷物４００において住所情報が存在する領域にフォーカスが合ったライン画像であって、長手方向（Ｘ方向）と短手方向（Ｙ方向）を有するライン画像を生成する再構成部２３１と、再構成部２３１によって生成された複数のライン画像を短手方向（Ｙ方向）に並べることで、検出用画像ＩＭＧ（二次元画像）を生成する合成部２３２とを持つ。これによって、荷物４００を照射する照明１０５の構成を簡易化するとともに、より確実に荷物４００を撮影することができる。

なお、上記実施形態による画像処理装置２００および７００は、内部にコンピュータシステムを有している。そして、上述した画像処理装置２００および７００の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって上記各種処理が行われる。ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…画像処理システム、１００…ライトフィールドカメラ、２００…画像処理装置、２１０…制御装置、２３０…検出用画像生成部、２３１…再構成部、２３２…合成部、２４０…距離マップ生成部、２５０…認識用画像生成部、２８０…検出部、２９０…認識部、３００…区分装置、３１０…ベルトコンベア、４００…荷物、４１０…宛名領域、５００…ビデオコーディングシステム（ＶＣＳ）、７００…画像処理装置、ＩＭＧ…検出用画像

Claims (14)

1. 文字または記号による対象情報が付与された対象物を撮影することによって得られたライトフィールドデータに基づき、前記対象物において前記対象情報が存在する領域にフォーカスが合った画像であって、長手方向と短手方向を有する画像を生成する再構成部と、
   前記再構成部によって生成された複数の前記画像を前記短手方向に並べることで、二次元画像を生成する合成部と、
   を備える画像処理装置。
2. 前記合成部によって生成された前記二次元画像に基づき、前記対象情報が存在する領域を検出する検出部と、
   前記検出部によって検出された前記対象情報が存在する領域に対して高解像度化処理を行うことにより、認識用画像を生成する認識用画像生成部と、
   前記認識用画像生成部によって生成された前記認識用画像に基づき、前記対象情報を認識する認識部と、を更に備える、
   請求項１記載の画像処理装置。
3. 前記対象物は、前記ライトフィールドデータを取得するライトフィールドカメラに対して前記短手方向に相対的に移動しながら、前記ライトフィールドカメラによって撮影され、
   前記ライトフィールドデータは、複数のマイクロレンズを介して得られた複数のマイクロ画像の集合であって、前記短手方向の画素数よりも、前記短手方向に直交する前記長手方向の画素数の方が多い、
   請求項１または請求項２記載の画像処理装置。
4. 前記ライトフィールドデータに基づき、前記ライトフィールドカメラから前記対象物までの距離を複数のマイクロ画像ごとに算出することにより、算出した距離がマップ化された距離マップを生成する距離マップ生成部を更に備え、
   前記再構成部は、前記ライトフィールドデータおよび前記距離マップに基づき、前記画像を生成する
   請求項３記載の画像処理装置。
5. 前記再構成部は、前記マイクロレンズの中心を通過する前記長手方向のライン上の前記ライトフィールドデータの各マイクロ画像を、前記距離マップ生成部によって生成された前記距離マップによって示される距離に応じた拡大率で拡大し、各マイクロ画像が重なった個所については画素値の平均値を算出することで、前記画像を生成する
   請求項４記載の画像処理装置。
6. 前記再構成部は、前記マイクロレンズの中心を通過する前記長手方向のライン上の前記ライトフィールドデータの各マイクロ画像を、前記距離マップ生成部によって生成された前記距離マップによって示される距離に応じた拡大率で拡大し、各マイクロ画像が重なった個所については、計算の過程で導出される信頼度に基づいていずれか１つのマイクロ画像を選択することで、前記画像を生成する
   請求項４記載の画像処理装置。
7. 前記再構成部は、前記マイクロレンズの中心を通過する前記長手方向のライン上の前記ライトフィールドデータの各マイクロ画像を、前記距離マップ生成部によって生成された前記距離マップによって示される距離に応じた拡大率で拡大し、前記短手方向に隣接するマイクロ画像の全体を、前記距離マップ生成部によって生成された前記距離マップによって示される距離に応じた拡大率で拡大し、各マイクロ画像が重なった個所については画素値の平均値を算出することで、前記画像を生成する
   請求項４記載の画像処理装置。
8. 前記再構成部は、前記マイクロレンズの中心を通過する前記長手方向のライン上の前記ライトフィールドデータの各マイクロ画像を、前記距離マップ生成部によって生成された前記距離マップによって示される距離に応じた拡大率で拡大し、前記短手方向に隣接するマイクロ画像の全体を、前記距離マップ生成部によって生成された前記距離マップによって示される距離に応じた拡大率で拡大し、各マイクロ画像が重なった個所については計算の信頼度に基づいていずれか１つのマイクロ画像を選択することで、前記画像を生成する
   請求項４記載の画像処理装置。
9. 前記認識用画像生成部は、超解像処理を行うことにより前記認識用画像を生成する
   請求項２記載の画像処理装置。
10. 前記認識用画像生成部は、前記ライトフィールドデータに基づき互いに視点の異なる複数のサブ画像を生成し、前記複数のサブ画像を用いて前記超解像処理を行う
    請求項９記載の画像処理装置。
11. 前記認識用画像生成部は、前記ライトフィールドデータに基づき撮影タイミングの異なる複数のサブ画像を生成し、前記複数のサブ画像を用いて前記超解像処理を行う
    請求項９記載の画像処理装置。
12. 文字または記号による対象情報が付与された対象物を撮影することによって、ライトフィールドデータを取得するライトフィールドカメラと、
    前記ライトフィールドカメラによって取得された前記ライトフィールドデータに基づき、前記対象物において前記対象情報が存在する領域にフォーカスが合った画像であって、長手方向と短手方向を有する画像を生成する再構成部と、前記再構成部によって生成された複数の前記画像を前記短手方向に並べることで、二次元画像を生成する合成部と、を有する画像処理装置と、
    を備える画像処理システム。
13. 文字または記号による対象情報が付与された対象物を撮影することによって、ライトフィールドデータを取得する取得工程と、
    前記取得工程で取得された前記ライトフィールドデータに基づき、前記対象物において前記対象情報が存在する領域にフォーカスが合った画像であって、長手方向と短手方向を有する画像を生成する再構成工程と、
    前記再構成工程で生成された複数の前記画像を前記短手方向に並べることで、二次元画像を生成する合成部と、
    を備える画像処理方法。
14. コンピュータを、
    文字または記号による対象情報が付与された対象物を撮影することによって得られたライトフィールドデータに基づき、前記対象物において前記対象情報が存在する領域にフォーカスが合った画像であって、長手方向と短手方向を有する画像を生成する再構成部、
    前記再構成部によって生成された複数の前記画像を前記短手方向に並べることで、二次元画像を生成する合成部、
    として機能させるためのプログラム。

Images