JP2018045464A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】対象物に付与された対象情報の認識率を向上させることができる画像処理装置、画像処理方法、およびプログラムを提供すること。【解決手段】実施形態の画像処理装置は、鏡面反射領域検出部と、検出用画像生成部とを持つ。前記鏡面反射領域検出部は、文字または記号による対象情報が付与された対象物を撮影することによって得られたライトフィールドデータに基づき、前記対象物において鏡面反射が生じている領域を検出する。前記検出用画像生成部は、前記鏡面反射領域検出部によって検出された前記領域における前記鏡面反射が抑制された画像を、前記対象情報の検出に用いられる検出用画像として生成する。【選択図】図５

Description

本発明の実施形態は、画像処理装置、画像処理方法、およびプログラムに関する。

近年、物流分野においては、不定形の荷物パッケージに記載されている宛名をＯＣＲ装置により認識することが行われている。荷物パッケージのサイズや形状は様々であるため、宛名に対するカメラのフォーカスを、ＯＣＲ装置の認識処理に適した範囲に保つことが困難な場合がある。そして、これに起因して、ＯＣＲ装置の認識エラーや認識不能が発生して、宛名の認識率が低下する場合がある。

上記に関連し、荷物パッケージに記載されている宛名を、ライトフィールドカメラで撮影する技術が知られている。例えば、ライトフィールドカメラの一種として、マイクロレンズアレイによって入射光を分光し、分光した複数の方向の光を、イメージセンサを用いて検出するカメラが知られている。ライトフィールドカメラによって検出された画像データ（ライトフィールドデータ）に基づき、広範囲でフォーカスが合っている画像を再構成することができる。

しかしながら、荷物パッケージにビニール等の光沢のある物質が使用されている場合は、照明の光が荷物パッケージの表面で鏡面反射してライトフィールドカメラに直接入ることで、撮影された画像に白とび（輝度値の飽和）が生じる。宛名領域に白とびが生じると、宛名（対象情報）の認識ができない場合がある。

特開２０１４−５７２３１号公報

本発明が解決しようとする課題は、対象物に付与された対象情報の認識率を向上させることができる画像処理装置、画像処理方法、およびプログラムを提供することである。

実施形態の画像処理装置は、鏡面反射領域検出部と、検出用画像生成部とを持つ。前記鏡面反射領域検出部は、文字または記号による対象情報が付与された対象物を撮影することによって得られたライトフィールドデータに基づき、前記対象物において鏡面反射が生じている領域を検出する。前記検出用画像生成部は、前記鏡面反射領域検出部によって検出された前記領域における前記鏡面反射が抑制された画像を、前記対象情報の検出に用いられる検出用画像として生成する。

第１の実施形態に係る画像処理システム１０の全体構成を示す図。 ライトフィールドカメラ１００の詳細な構成を示す図。 マイクロレンズアレイ１２０の構造を示す図。 マイクロレンズアレイ１２０とイメージセンサ１３０との関係を示す図。 第１の実施形態に係る画像処理装置２００のブロック図。 視差の計算を説明するための図。 第１のタイミングＴ１において、ライトフィールドカメラ１００が荷物４００を撮影している状況を示す図。 第１のタイミングＴ１より後の第２のタイミングＴ２において、ライトフィールドカメラ１００が荷物４００を撮影している状況を示す図。 第２のタイミングＴ２より後の第３のタイミングＴ３において、ライトフィールドカメラ１００が荷物４００を撮影している状況を示す図。 照明１０５から照射された光が荷物４００の表面で鏡面反射した状況を示す図。 第１の実施形態に係る画像処理装置２００の動作を示すフローチャート。 第２の実施形態に係る画像処理装置２００のブロック図。 超解像処理部２６０の詳細な構成を示すブロック図。 再構成処理部２６３の詳細な構成を示すブロック図。

以下、実施形態の画像処理装置、画像処理方法、およびプログラムを、図面を参照して説明する。

（第１の実施形態）
図１は、第１の実施形態に係る画像処理システム１０の全体構成を示す図である。図１に示されるように、本実施形態の画像処理システム１０は、ライトフィールドカメラ１００と、画像処理装置２００と、ビデオコーディングシステム（以下、「ＶＣＳ」と称する）５００とを備える。

ライトフィールドカメラ１００は、照明１０５および照明１０６から光を照射し、ベルトコンベア３１０上を移動する荷物（対象物の一例）４００を撮影する。ライトフィールドカメラ１００は、荷物４００から反射されてライトフィールドカメラ１００に到達した光線の位置情報だけでなく、光線の進む方向に関する情報についても取得する。ライトフィールドカメラ１００によって取得された画像データ（ライトフィールドデータ）に対して所定の処理が行われることで、フォーカスを任意の位置に合わせたり、視点を変えたりした画像を再構成することができる。

ライトフィールドカメラ１００は、荷物４００の画像データ（ライトフィールドデータ）を画像処理装置２００に送信する。画像処理装置２００は、ライトフィールドカメラ１００から受信したライトフィールドデータに基づき、ＯＣＲ処理を行うことによって荷物４００の宛名領域（対象情報が存在する領域）４１０に記載されている住所情報（対象情報）を認識する。画像処理装置２００は、認識結果（住所情報）を区分装置３００に送信する。住所情報は、例えば、数字によって記載された郵便番号、文字や数字、記号によって記載された住所、またはこれらの組み合わせである。

区分装置３００は、例えば複数の段および複数の列に区画された複数の区分ポケット（不図示）、およびＶＣＳポケット（不図示）を含む。区分装置３００は、画像処理装置２００から受信した認識結果（住所情報）に応じて、ベルトコンベア３１０によって搬送されてくる荷物４００の区分先を切り替え、区分先の区分ポケットに荷物４００を集積する。

画像処理装置２００は、宛名領域４１０に記載されている住所情報を認識できなかった場合、住所情報を認識できなかった旨の通知を区分装置３００に送信する。区分装置３００は、画像処理装置２００から住所情報を認識できなかった旨の通知を受信すると、荷物４００の区分先をＶＣＳポケットに切り替える。

また、画像処理装置２００は、宛名領域４１０に記載されている住所情報を認識できなかった場合、荷物４００の画像データおよびＶＣ依頼を、ネットワークＮＷを介してＶＣＳ５００に送信する。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）等である。

ＶＣＳ５００は、画像処理装置２００により住所情報を認識できなかった荷物４００の画像を表示し、作業者の視認により住所情報の認識を補助するシステムである。ＶＣＳ５００の各端末は、荷物４００の画像を表示装置によって表示し、キーボードやタッチパネル等の入力デバイスによって作業者による住所情報の入力を受け付ける。

ＶＣＳ５００は、作業者による住所情報の入力を受け付けると、入力された住所情報を、ネットワークＮＷを介して画像処理装置２００に送信する。画像処理装置２００は、ＶＣＳ５００から受信した住所情報を区分装置３００に送信する。これによって、ＯＣＲ処理によって住所情報を認識できなかった荷物４００が、正しい区分先に区分される。

図２は、ライトフィールドカメラ１００の詳細な構成を示す図である。ライトフィールドカメラ１００は、メインレンズ１１０、マイクロレンズアレイ１２０、およびイメージセンサ１３０を備える。メインレンズ１１０は、被写体（荷物４００）からの光が入射するレンズである。マイクロレンズアレイ１２０は、複数のマイクロレンズを備えるレンズアレイである。イメージセンサ１３０は、複数の画素を有する撮像素子であり、各画素にて光の強度を検出する。イメージセンサ１３０は、例えば、ＣＣＤ（Charge Coupled Device）や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のセンサである。

図２に示されるライトフィールドカメラ１００は複眼方式であるが、これに限られない。例えば、多眼方式等、他の方式のライトフィールドカメラであっても同等の効果が得られる。また、本実施形態のライトフィールドカメラ１００は虚像光学系であるが、これに限られない。例えば、実像光学系であっても同等の効果が得られる。

図３は、マイクロレンズアレイ１２０の構造を示す図である。図３に示されるように、マイクロレンズアレイ１２０は、マイクロレンズが格子状に配列されたレンズアレイである。メインレンズ１１０から入射した光線群は、光線の方向にしたがって、マイクロレンズアレイ１２０によって分解される。図３においては、１３×１３のマイクロレンズアレイ１２０が示されているが、マイクロレンズアレイの数はこれに限られない。

図４は、マイクロレンズアレイ１２０とイメージセンサ１３０との関係を示す図である。図４に示されるように、マイクロレンズアレイ１２０によって分解された光線は、円形のサブ画像１５０ａおよび１５０ｂとして、イメージセンサ１３０上に投影される。ここでは、説明を簡単にするために２つのサブ画像１５０ａおよび１５０ｂを示したが、実際には複数のマイクロレンズのそれぞれに対応する複数のサブ画像がイメージセンサ１３０上に投影される。

マイクロレンズアレイ１２０から投影された複数のサブ画像をイメージセンサ１３０の複数の画素が受光することで、光線の入射方向ごとの強度を検出することができる。イメージセンサ１３０によって検出された画像データ（ライトフィールドデータ）は、複数のマイクロレンズごとのサブ画像の集まりとなる。

図５は、第１の実施形態に係る画像処理装置２００のブロック図である。画像処理装置２００は、制御装置２１０と、ライトフィールドデータメモリ２２０と、距離マップ生成部２２５と、点群データ生成部２３０と、点群データ位置合わせ部２３５と、鏡面反射領域検出部２４０と、検出用画像生成部２４５と、文字領域検出部２５０と、認識部（ＯＣＲ部）２５５とを備える。

制御装置２１０は、ＣＰＵ（Central Processing Unit）等のプロセッサと、プロセッサが実行するプログラムを格納するプログラムメモリとを備える。なお、制御装置２１０は、プロセッサがプログラムを実行するのと同様の機能を有するＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、およびＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアにより実現されてもよい。

ライトフィールドデータメモリ２２０は、制御装置２１０によって読出しおよび書込みが可能なメモリであり、例えばＲＡＭ（Random Access Memory）である。

距離マップ生成部２２５、点群データ生成部２３０、点群データ位置合わせ部２３５、鏡面反射領域検出部２４０、検出用画像生成部２４５、文字領域検出部２５０、および認識部（ＯＣＲ部）２５５は、例えば、制御装置２１０のプロセッサが、プログラムメモリに格納されたプログラムを実行することにより実現される。メモリ管理情報２１５は、ライトフィールドデータメモリ２２０に格納された画像を管理するための情報を含む。

ライトフィールドデータメモリ２２０は、ライトフィールドカメラ１００から受信したライトフィールドデータを記憶する。距離マップ生成部２２５は、ライトフィールドデータメモリ２２０からライトフィールドデータを読み出す。距離マップ生成部２２５は、読み出したライトフィールドデータに基づき、距離マップを生成する。以下、距離マップの生成方法について説明する。

距離マップ生成部２２５は、ライトフィールドデータに基づき、マイクロレンズを介して得られるサブ画像ごとに、ライトフィールドカメラ１００から被写体までの距離を算出することで、算出した距離がマップ化された距離マップを生成する。距離マップ生成部２２５は、隣接する複数のサブ画像に対してテンプレートマッチングを行うことにより視差を算出し、算出した視差に基づき、ステレオ画像処理のアルゴリズムを用いて距離を求める。

図６は、視差の計算を説明するための図である。中央のマイクロレンズ１２０ａは、マイクロレンズ１２０ｂおよび１２０ｃと、Ｙ方向において隣接している。また、中央のマイクロレンズ１２０ａは、マイクロレンズ１２０ｄおよび１２０ｅと、Ｘ方向において隣接している。

以下、中央のマイクロレンズ１２０ａを介して得られるサブ画像についての、ライトフィールドカメラ１００から被写体までの距離の算出処理について具体的に説明する。距離マップ生成部２２５は、中央のマイクロレンズ１２０ａを介して得られるサブ画像と、４つのマイクロレンズ１２０ｂ〜１２０ｅを介して得られる４つのサブ画像のそれぞれに対してテンプレートマッチングを行うことにより、４つの視差を算出する。

具体的に、距離マップ生成部２２５は、マイクロレンズ１２０ａを介して得られるサブ画像と、マイクロレンズ１２０ｂを介して得られるサブ画像とに基づき視差Ｄ１を算出する。また、距離マップ生成部２２５は、マイクロレンズ１２０ａを介して得られるサブ画像と、マイクロレンズ１２０ｃを介して得られるサブ画像とに基づき視差Ｄ２を算出する。また、距離マップ生成部２２５は、マイクロレンズ１２０ａを介して得られるサブ画像と、マイクロレンズ１２０ｄを介して得られるサブ画像とに基づき視差Ｄ３を算出する。また、距離マップ生成部２２５は、マイクロレンズ１２０ａを介して得られるサブ画像と、マイクロレンズ１２０ｅを介して得られるサブ画像とに基づき視差Ｄ４を算出する。

次に、距離マップ生成部２２５は、４つの視差Ｄ１からＤ４の平均値Ｄａｖｅに基づき、ステレオ画像処理のアルゴリズムを用いて、中央のマイクロレンズ１２０ａを介して得られるサブ画像についての被写体までの距離を算出する。距離マップ生成部２２５は、以上の処理を全てのマイクロレンズに対して行うことにより、距離マップを生成する。距離マップ生成部２２５は、生成した距離マップを点群データ生成部２３０に出力する。

なお、距離マップ生成部２２５は、平均値Ｄａｖｅを用いて距離を算出することとしたが、これに限られない。例えば、距離マップ生成部２２５は、テンプレートマッチングの結果の信頼度に基づいて最良と推定できる視差を４つの視差Ｄ１からＤ４の中から選択し、選択した視差に基づき、ステレオ画像処理のアルゴリズムを用いて、中央のマイクロレンズ１２０ａを介して得られるサブ画像についての被写体までの距離を算出してもよい。

点群データ生成部２３０は、ライトフィールドデータメモリ２２０からライトフィールドデータを読み出す。点群データ生成部２３０は、読み出したライトフィールドデータおよび距離マップ生成部２２５から出力された距離マップに基づき、空間上の点の座標（ｘ，ｙ，ｚ）およびカラー輝度値（Ｒ，Ｇ，Ｂ）を持つ点の集まりである点群データを生成する。なお、ｘはＸ軸上の座標を示し、ｙはＹ軸上の座標を示し、ｚはＺ軸上の座標を示す。また、Ｒは赤の輝度値を示し、Ｇは緑の輝度値を示し、Ｂは青の輝度値を示す。以下、点群データの生成方法について説明する。

点群データ生成部２３０が、視差に応じた倍率で拡大または縮小したサブ画像を重ね合わせると、ぼけのないフォーカスが合った画像が得られる。ここで、「フォーカスが合った」とは、被写体の文字のエッジが立ってはっきり見える状態、または被写体のある１点で反射した光が、レンズによってセンサの１点（または十分小さな領域）に集光されている状態を意味する。一方、点群データ生成部２３０が、位置合わせをせずに複数のサブ画像を重ね合わせると、ぼけたフォーカスの合っていない画像が得られる。点群データ生成部２３０は、サブ画像を重ね合わせる際の位置ずらし量を制限することで、フォーカスの合う範囲を制限することができる。

点群データ生成部２３０は、距離マップ生成部２２５によって生成された距離マップに基づき、複数のサブ画像を重ね合わせる際の位置ずらし量を制限することで、住所情報が存在する領域にフォーカスの合う範囲を制限する。これによって、点群データ生成部２３０は、宛名領域４１０に付与された住所情報が存在する領域にフォーカスが合ったフォーカス画像を生成することができる。

また、点群データ生成部２３０は、距離マップを参照して、生成したフォーカス画像の各画素のカラー輝度値（Ｒ，Ｇ，Ｂ）に、空間上の点の座標（ｘ，ｙ，ｚ）を関連付けることにより、点群データを生成する。点群データ生成部２３０は、生成した点群データを点群データ位置合わせ部２３５に出力する。

なお、点群データは、座標（ｘ，ｙ，ｚ）およびカラー輝度値（Ｒ，Ｇ，Ｂ）を持つ点の集まりであることとしたが、これに限られない。例えば、点群データは、座標（ｘ，ｙ，ｚ）およびグレースケールの輝度値（Ｙ）を持つ点の集まりであってもよい。

以上の処理によって、宛名領域４１０に付与された住所情報が存在する領域にフォーカスが合った点群データが生成される。しかしながら、宛名領域４１０に光沢のある物質が使用されている場合は、照明１０５または１０６の光が宛名領域４１０で鏡面反射してライトフィールドカメラ１００に直接入ることで、点群データに白とびが生じる可能性がある。宛名領域に白とびが生じると、住所情報の認識ができない場合がある。これを防止するために、ライトフィールドカメラ１００は、荷物４００を異なるタイミングで複数回撮影して、白とびを抑制するための処理を行う。

図７は、第１のタイミングＴ１において、ライトフィールドカメラ１００が荷物４００を撮影している状況を示す図である。図８は、第１のタイミングＴ１より後の第２のタイミングＴ２において、ライトフィールドカメラ１００が荷物４００を撮影している状況を示す図である。図９は、第２のタイミングＴ２より後の第３のタイミングＴ３において、ライトフィールドカメラ１００が荷物４００を撮影している状況を示す図である。

点群データ生成部２３０は、第１のタイミングＴ１（図７）においてライトフィールドカメラ１００によって撮影されたライトフィールドデータに基づき、第１の点群データＰＤ１を生成する。また、点群データ生成部２３０は、第２のタイミングＴ２（図８）においてライトフィールドカメラ１００によって撮影されたライトフィールドデータに基づき、第２の点群データＰＤ２を生成する。さらに、点群データ生成部２３０は、第３のタイミングＴ３（図９）においてライトフィールドカメラ１００によって撮影されたライトフィールドデータに基づき、第３の点群データＰＤ３を生成する。点群データ生成部２３０は、生成した第１の点群データＰＤ１、第２の点群データＰＤ２、および第３の点群データＰＤ３を、点群データ位置合わせ部２３５に出力する。

点群データ位置合わせ部２３５は、ベルトコンベア３１０による移動分だけ座標をずらすことにより、第１の点群データＰＤ１、第２の点群データＰＤ２、および第３の点群データＰＤ３のそれぞれの位置を合わせる。また、点群データ位置合わせ部２３５は、より精密に位置を合わせる場合には、ＩＣＰ（Iterative Closest Point）アルゴリズムを用いて位置合わせを行ってもよい。

具体的に、点群データ位置合わせ部２３５は、第１の点群データＰＤ１、第２の点群データＰＤ２、および第３の点群データＰＤ３のそれぞれの画素の位置を合わせるように、第１の点群データＰＤ１、第２の点群データＰＤ２、および第３の点群データＰＤ３のそれぞれの座標を修正する。点群データ位置合わせ部２３５は、位置合わせが行われた第１の点群データＰＤ１、第２の点群データＰＤ２、および第３の点群データＰＤ３を、鏡面反射領域検出部２４０および検出用画像生成部２４５に出力する。

鏡面反射領域検出部２４０は、点群データに基づき、荷物４００において鏡面反射が生じている領域を検出する。具体的に、鏡面反射領域検出部２４０は、点群データ位置合わせ部２３５によって位置合わせが行われた各点群データＰＤ１からＰＤ３の近傍点における輝度値の差分に基づき、鏡面反射が生じている領域の候補を抽出する。

例えば、近傍点における点群データＰＤ１、ＰＤ２、およびＰＤ３の輝度値を、それぞれＢ１、Ｂ２、およびＢ３とする。この場合、鏡面反射領域検出部２４０は、輝度値Ｂ１からＢ３のうちの最大値と最小値との差分が閾値ＴＨ１を超える画素を、鏡面反射が生じている領域の候補として抽出する。

なお、鏡面反射が生じている領域の候補の抽出方法は、これに限られない。例えば、鏡面反射領域検出部２４０は、点群データＰＤ１、ＰＤ２、およびＰＤ３のいずれかの輝度値が飽和している領域を、鏡面反射が生じている領域の候補として抽出してもよい。

次に、鏡面反射領域検出部２４０は、照明１０５および１０６と、ライトフィールドカメラ１００との位置関係に基づき、抽出した候補の中から鏡面反射が生じている領域を特定する。以下、鏡面反射領域の特定処理について詳細に説明する。

図１０は、照明１０５から照射された光が荷物４００の表面で鏡面反射した状況を示す図である。図１０において、照明１０５から照射した光は、荷物４００上の点Ｐにおいて反射している。ここで、ベクトルＶ０は点Ｐにおける荷物４００の表面に対する法線ベクトルであり、ベクトルＶ１は照明１０５から点Ｐに照射された光のベクトルであり、ベクトルＶ２は点Ｐから反射された光のベクトルである。

ライトフィールドカメラ１００と照明１０５との位置関係は既知であり、これらのＸＹＺ空間上の座標は予め制御装置２１０のメモリに格納されている。また、荷物４００の外形は、点群データ位置合わせ部２３５から出力された点群データによって表される。したがって、鏡面反射領域検出部２４０は、ライトフィールドカメラ１００の座標と、照明１０５の座標と、点群データ位置合わせ部２３５から出力された点群データとに基づき、ベクトルＶ０からＶ２を算出することができる。

鏡面反射領域検出部２４０は、照明１０５から照射された光の入射角θ１を、ベクトルＶ０とＶ１に基づいて算出する。また、鏡面反射領域検出部２４０は、点Ｐから反射された光の反射角θ２を、ベクトルＶ０とＶ２に基づいて算出する。

照明１０５から照射された光が点Ｐにおいて鏡面反射された場合、入射角θ１＝反射角θ２となる。このため、鏡面反射領域検出部２４０は、入射角θ１と反射角θ２との差分が閾値ＴＨ２未満である場合、照明１０５から照射された光が点Ｐにおいて鏡面反射されたと判定する。

点群データに含まれる全ての画素に対して上記の鏡面反射領域の特定処理を行うと、処理に時間がかかってしまう。このため、鏡面反射領域検出部２４０は、鏡面反射が生じている領域の候補を抽出し、抽出した領域のみに対して鏡面反射領域の特定処理を行う。これによって、鏡面反射領域検出部２４０は、鏡面反射領域を短時間で検出することができる。

鏡面反射領域検出部２４０は、照明１０６から照射された光についても同様に、上記と同様の手法で鏡面反射領域を検出する。具体的に、鏡面反射領域検出部２４０は、ライトフィールドカメラ１００の座標と、照明１０６の座標と、点群データ位置合わせ部２３５から出力された点群データとに基づき、鏡面反射領域を検出する。

鏡面反射領域検出部２４０は、検出した鏡面反射領域を示すデータ（以下、鏡面反射領域データと称する）を、検出用画像生成部２４５に出力する。検出用画像生成部２４５は、鏡面反射領域検出部２４０から出力された鏡面反射領域データと、点群データ位置合わせ部２３５から出力された点群データとに基づき、鏡面反射が抑制された検出用画像を生成する。

具体的に、検出用画像生成部２４５は、点群データ位置合わせ部２３５から出力された点群データをＸＹ平面上に射影することにより、点群データ（３Ｄデータ）を検出用画像（２Ｄデータ）に変換する。なお、検出用画像生成部２４５は、ライトフィールドカメラ１００からの距離に応じて、検出用画像の各画素を拡大または縮小してもよい。

このとき、検出用画像生成部２４５は、鏡面反射領域検出部２４０から出力された鏡面反射領域データを参照し、点群データに発生している白とびを抑制する処理を行う。例えば、点群データＰＤ１に白とびが発生している場合、鏡面反射領域については点群データＰＤ１を用いず、白とびが発生していない点群データＰＤ２またはＰＤ３を用いて検出用画像を生成する。

点群データＰＤ１からＰＤ３はそれぞれ視点の異なるデータである。このため、ある点群データに白とびが発生したとしても、他の点群データには白とびが発生していない場合がある。したがって、検出用画像生成部２４５は、白とびが発生した点群データを用いず、他の点群データを用いて鏡面反射が抑制された検出用画像を生成することができる。

このように、検出用画像生成部２４５は、鏡面反射領域検出部２４０によって検出された鏡面反射領域を除外して検出用画像を生成する。なお、検出用画像生成部２４５は、鏡面反射領域検出部２４０によって検出された鏡面反射領域の輝度値に乗ずる重みを小さくした上で、複数の点群データＰＤ１からＤ３を合成することにより検出用画像を生成してもよい。

また、検出用画像生成部２４５は、鏡面反射領域検出部２４０の検出結果の確からしさに基づき、鏡面反射領域を除外して検出用画像を生成するか、鏡面反射領域の輝度値に乗ずる重みを小さくした上で、複数の点群データＰＤ１からＤ３を合成することにより検出用画像を生成するかを切り替えてもよい。鏡面反射領域検出部２４０の検出結果の確からしさとは、例えば、各点群データＰＤ１からＰＤ３の近傍点における輝度値の差分、または入射角θ１と反射角θ２との差分であってよい。

なお、検出用画像生成部２４５は、検出用画像における宛名領域以外の領域を周囲の画素で埋める穴埋め処理を行ってもよい。これによって、検出用画像生成部２４５は、宛名領域以外の領域を単純化することができ、後述する文字領域検出処理における誤検出を防止することができる。

検出用画像生成部２４５は、生成した検出用画像を文字領域検出部２５０および認識部（ＯＣＲ部）２５５に出力する。文字領域検出部（対象情報検出部）２５０は、検出用画像生成部２４５から出力された検出用画像に対して、２値化処理、エッジ強調、およびエッジ検出等の画像処理を施して、住所情報が存在する領域を文字領域データとして検出する。文字領域検出部２５０は、検出した文字領域データを認識部２５５に出力する。

認識部２５５は、文字領域検出部２５０から出力された文字領域データを参照し、検出用画像生成部２４５から出力された検出用画像における文字領域（住所情報が存在する領域）に対してＯＣＲ処理を行う。これにより、認識部２５５は、宛名領域４１０に付与された住所情報を認識する。

認識部２５５は、住所情報を認識できた場合、認識結果（住所情報）を区分装置３００に送信する。一方、認識部２５５は、住所情報を認識できなかった場合、ＶＣ依頼および文字領域画像を、ネットワークＮＷを介してＶＣＳ５００に送信する。

ＶＣＳ５００は、認識部２５５からＶＣ依頼を受信すると、認識部２５５から受信した文字領域画像を表示装置に表示する。作業者によって住所情報がＶＣＳ５００に入力されると、ＶＣＳ５００は入力された住所情報を、ネットワークＮＷを介して認識部２５５に送信する。認識部２５５は、ＶＣＳ５００から受信した住所情報を区分装置３００に送信する。これによって、認識部２５５によって住所情報を認識できなかった荷物４００は、正しい区分先に区分される。

なお、点群データ、鏡面反射領域データ、検出用画像、および文字領域データは、制御装置２１０に設けられた不図示のメモリに格納される。制御装置２１０は、メモリに格納されたデータを、メモリ管理情報２１５を用いて管理する。メモリ管理情報２１５は、メモリに格納されたデータを特定するための識別情報、データの種類を示す種類情報、およびアドレス等の情報を含む。

図１１は、第１の実施形態に係る画像処理装置２００の動作を示すフローチャートである。本フローチャートを実行するためのプログラムは、制御装置２１０のプログラムメモリに格納されている。

距離マップ生成部２２５は、ライトフィールドデータメモリ２２０からライトフィールドデータを読み出す（Ｓ１）。次に、距離マップ生成部２２５は、読み出したライトフィールドデータに基づき、距離マップを生成する（Ｓ２）。

点群データ生成部２３０は、ライトフィールドデータメモリ２２０からライトフィールドデータを読み出す。その後、点群データ生成部２３０は、ライトフィールドデータおよび距離マップ生成部２２５によって生成された距離マップに基づき、点群データを生成する（Ｓ３）。ここで、点群データ生成部２３０は、視点の異なる複数のライトフィールドデータ毎に、宛名領域にフォーカスが合った点群データを生成する。

点群データ位置合わせ部２３５は、点群データ生成部２３０により生成された複数の点群データに対して位置合わせを行う（Ｓ４）。鏡面反射領域検出部２４０は、点群データ位置合わせ部２３５によって位置合わせが行われた点群データに基づき、鏡面反射が生じている領域を示す鏡面反射領域データを検出する（Ｓ５）。

検出用画像生成部２４５は、鏡面反射領域検出部２４０によって検出された鏡面反射領域データおよび点群データ位置合わせ部２３５によって位置合わせが行われた点群データに基づき、鏡面反射領域における鏡面反射が抑制された検出用画像を生成する（Ｓ６）。

文字領域検出部２５０は、検出用画像生成部２４５によって生成された検出用画像に基づき、文字領域（住所情報が存在する領域）を示す文字領域データを検出する（Ｓ７）。その後、制御装置２１０は、文字領域検出部２５０によって文字領域データが検出されたか否かを判断する（Ｓ８）。

文字領域検出部２５０によって文字領域データが検出されなかった場合、認識部２５５は、ＶＣ依頼および文字領域画像を、ネットワークＮＷを介してＶＣＳ５００に送信する（Ｓ１１）。ここで、認識部２５５は、検出用画像を文字領域画像として送信する。一方、文字領域検出部２５０によって文字領域データが検出された場合、認識部２５５は、文字領域検出部２５０によって検出された文字領域データに基づき、検出用画像における文字領域に対してＯＣＲ処理を行う。これによって、認識部２５５は、宛名領域４１０に付与された住所情報を認識する（Ｓ９）。

その後、認識部２５５は、住所情報を認識できたかどうかを判断する（Ｓ１０）。住所情報を認識できた場合、認識部２５５は、認識した住所情報を区分装置３００に送信し（Ｓ１３）、本フローチャートによる処理を終了する。

一方、住所情報を認識できなかった場合、認識部２５５は、ＶＣ依頼および文字領域画像を、ネットワークＮＷを介してＶＣＳ５００に送信する（Ｓ１１）。その後、認識部２５５は、ＶＣＳ５００から住所情報を受信し（Ｓ１２）、受信した住所情報を区分装置３００に送信する（Ｓ１３）。これによって、認識部２５５によって住所情報を認識できなかった荷物４００は、正しい区分先に区分される。

以上説明したように、点群データ生成部２３０は、異なるタイミングで撮影された複数のライトフィールドデータ毎に、住所情報が存在する領域にフォーカスが合った点群データを生成する。点群データ位置合わせ部２３５は、点群データ生成部２３０により生成された複数のライトフィールドデータ毎の点群データに対して位置合わせを行う。鏡面反射領域検出部２４０は、荷物４００において鏡面反射が生じている領域を検出する。検出用画像生成部２４５は、鏡面反射領域検出部２４０によって検出された領域における鏡面反射が抑制された画像を、住所情報の検出に用いられる検出用画像として生成する。これによって、本実施形態の画像処理装置２００は、荷物４００に付与された住所情報の認識率を向上させることができる。

（第２の実施形態）
次に、第２の実施形態について説明する。第１の実施形態の認識部２５５は、検出用画像生成部２４５から出力された検出用画像に基づいて、荷物４００に付与された住所情報を認識することとした。これに対し、第２の実施形態の画像処理装置２００は、検出用画像における文字領域に対して、解像度を高めるための超解像処理を行う超解像処理部２６０を更に備える。第２の実施形態の認識部２５５は、超解像処理部２６０から出力された検出用画像に基づいて、荷物４００に付与された住所情報を認識する。これによって、第２の実施形態の画像処理装置２００は、認識部２５５による住所情報の認識率を更に向上させることができる。以下、第２の実施形態について詳細に説明する。

図１２は、第２の実施形態に係る画像処理装置２００のブロック図である。図１２において、図５の各部に対応する部分には同一の符号を付し、説明を省略する。画像処理装置２００は、制御装置２１０と、ライトフィールドデータメモリ２２０と、距離マップ生成部２２５と、点群データ生成部２３０と、点群データ位置合わせ部２３５と、鏡面反射領域検出部２４０と、検出用画像生成部２４５と、文字領域検出部２５０と、認識部（ＯＣＲ部）２５５とに加えて、超解像処理部２６０を備える。

検出用画像生成部２４５は、点群データＰＤ１〜ＰＤ３ごとに個別に生成した検出用画像ＩＭＧ１〜ＩＭＧ３を文字領域検出部２５０および超解像処理部２６０に出力する。文字領域検出部（対象情報検出部）２５０は、検出用画像生成部２４５から出力された検出用画像ＩＭＧ２に対して、２値化処理、エッジ強調、およびエッジ検出等の画像処理を施して、住所情報が存在する領域を文字領域データとして検出する。ここで、検出用画像ＩＭＧ２は、荷物４００がライトフィールドカメラ１００の真下にある状態（図８）において生成された検出用画像である。文字領域検出部２５０は、検出した文字領域データを超解像処理部２６０に出力する。

超解像処理部２６０は、文字領域検出部２５０によって検出された文字領域データに基づき、住所情報が存在する領域に対して高解像度化処理を行う。このように、住所情報が存在する領域のみに対して高解像度化処理を行うことで、超解像処理部２６０の負荷を低減することができる。以下、超解像処理の詳細について説明する。

図１３は、超解像処理部２６０の詳細な構成を示すブロック図である。図１３に示されるように、超解像処理部２６０は、文字領域画像生成部２６１、位置合わせ処理部２６２、再構成処理部２６３、および補間拡大処理部２６４を備える。検出用画像生成部２４５は、視点の異なる複数の点群データを用いて、視点の異なる複数の検出用画像ＩＭＧ１〜ＩＭＧ３を生成する。文字領域画像生成部２６１は、検出用画像生成部２４５から互いに視点の異なる検出用画像ＩＭＧ１〜ＩＭＧ３を取得する。文字領域画像生成部２６１は、取得した検出用画像ＩＭＧ１〜ＩＭＧ３と、文字領域検出部２５０から出力された文字領域データとに基づき、住所情報が存在する領域についての視点の異なる複数の文字領域画像（第１の文字領域画像、第２の文字領域画像、および第３の文字領域画像）を生成する。

具体的に、文字領域画像生成部２６１は、文字領域データに基づき、検出用画像ＩＭＧ２から住所情報が存在する領域を抽出することで、第２の文字領域画像を生成する。また、文字領域画像生成部２６１は、文字領域データに基づき、検出用画像ＩＭＧ１から住所情報が存在する領域を抽出することで、第１の文字領域画像を生成する。また、文字領域画像生成部２６１は、文字領域データに基づき、検出用画像ＩＭＧ３から住所情報が存在する領域を抽出することで、第３の文字領域画像を生成する。

第１の文字領域画像から第３の文字領域画像は、互いに視点の異なる画像である。文字領域画像生成部２６１は、生成した第１の文字領域画像から第３の文字領域画像を、位置合わせ処理部２６２、再構成処理部２６３に出力する。また、文字領域画像生成部２６１は、第２の文字領域画像を補間拡大処理部２６４に出力する。

位置合わせ処理部２６２は、入力された第１の文字領域画像および第２の文字領域画像において同一部分と見なせる点である対応点を探索し、２つの点の移動量を動きベクトルとして算出する。同様に、入力された第３の文字領域画像および第２の文字領域画像において同一部分と見なせる点である対応点を探索し、２つの点の移動量を動きベクトルとして算出する。位置合わせ処理部２６２は、算出した動きベクトルを再構成処理部２６３に出力する。

補間拡大処理部２６４は、バイリニアやバイキュービックアルゴリズム等の補間アルゴリズムによって、第１解像度の第２の文字領域画像（基準画像）を、第１解像度よりも高解像である第２解像度を表すことが可能な画素数に増加して初期画像を生成する補間拡大処理を行う。ここで、解像度は画像がどれだけ細かな部分を表現しているかを示すパラメータであり、画素数はどれだけ詳細な部分を表現可能なフォーマットかを示すパラメータである。補間拡大処理では、画素数は増加するが、解像度は増加しない。補間拡大処理部２６４は、生成した初期画像を再構成処理部２６３に出力する。

再構成処理部２６３は、文字領域画像生成部２６１から出力された第１から第３の文字領域画像、位置合わせ処理部２６２から出力された動きベクトル、および補間拡大処理部２６４から出力された初期画像に基づき、超解像処理を行う。

図１４は、再構成処理部２６３の詳細な構成を示すブロック図である。図１４に示されるように、再構成処理部２６３は、予測画像生成部２６５と、誤差計算部２６６と、誤差補正部２６７と、画像バッファ２６８とを備えている。

画像バッファ２６８は、補間拡大処理部２６４から入力された初期画像を一時的に格納する。予測画像生成部２６５は、画像バッファ２６８から初期画像を読み出す。予測画像生成部２６５は、読み出した初期画像と、位置合わせ処理部２６２から出力された動きベクトルとに基づき、予測画像を生成する。ここで、補間拡大処理の拡大率に応じて動きベクトルがスケーリングして用いられる。予測画像生成部２６５は、生成した予測画像を誤差計算部２６６に出力する。

誤差計算部２６６は、予測画像生成部２６５から出力された予測画像と、文字領域画像生成部２６１から出力された第１解像度の第２の文字領域画像との誤差を計算して誤差画像を生成する。第１の文字領域画像および第３の文字領域画像についても同様に、誤差計算部２６６は、誤差を計算して誤差画像を生成する。誤差計算部２６６は、生成した誤差画像を誤差補正部２６７に出力する。

誤差補正部２６７は、誤差計算部２６６から出力された誤差画像に基づき、画像バッファ２６８に格納された初期画像を補正することにより、初期画像を高解像度化する。再構成処理部２６３は、誤差計算部２６６によって計算された誤差が所定の閾値以下になるまで上記の処理を繰り返すことによって、高解像度化された認識用画像を生成する。

超解像処理部２６０は、点拡がり関数ＰＳＦ（Point Spread Function）を設定して補正量を計算する。このとき、超解像処理部２６０は、荷物４００が搬送されることによる動きぼけを補正するために、ガウシアン分布を縦長にしたパターンを点拡がり関数ＰＳＦとして用いると、解像度を増加させることができる。

なお、本実施形態において、高解像度化処理として超解像処理を行うこととしたが、これに限られない。例えば、ライトフィールドカメラ１００によって同じ部分が映っている複数枚の住所領域画像が得られるため、超解像処理部２６０は、各住所領域画像をサブピクセルの精度で位置合わせして再構成することで、住所情報が存在する領域の画像を高解像度化してもよい。また、超解像処理部２６０は、ライトフィールドカメラ１００のスキャン速度を高めて、Ｘ方向（荷物４００の移動方向）におけるサブ画像の解像度を高めることで、住所情報が存在する領域の画像を高解像度化してもよい。

超解像処理部２６０は、高解像度化した検出用画像を認識部（ＯＣＲ部）２５５に出力する。認識部２５５は、文字領域検出部２５０から出力された文字領域データを参照し、超解像処理部２６０から出力された検出用画像における文字領域（住所情報が存在する領域）に対してＯＣＲ処理を行う。これにより、認識部２５５は、宛名領域４１０に付与された住所情報を認識する。

以上説明したように、文字領域検出部２５０は、検出用画像生成部２４５によって生成された検出用画像から、宛名領域４１０（住所情報が存在する領域）を検出する。超解像処理部２６０は、文字領域検出部２５０によって検出された宛名領域４１０に対して、解像度を高めるための超解像処理を行う。認識部２５５は、超解像処理部２６０によって超解像処理が行われた宛名領域４１０の画像に基づき、住所情報を認識する。これによって、第２の実施形態の画像処理装置２００は、認識部２５５による住所情報の認識率を更に向上させることができる。

なお、第１および第２の実施形態において、文字領域検出部２５０は１つの宛名領域を検出することとしたが、複数の宛名領域を検出してもよい。宛名の配置パターンが既知の場合は、一定間隔で搬送される複数の荷物の宛名を同時に認識したり、荷物の宛名以外の位置に貼り付けられたバーコードを同時に読み取ったりしてもよい。

また、第２の実施形態において、超解像処理部２６０は住所情報が存在する領域のみを高解像度化することとしたが、画像全体を高解像度化してもよい。この場合、認識部２５５は、文字領域検出部２５０によって検出された文字領域データに基づいて、全体を高解像度化された画像から住所情報が存在する領域の画像を抽出し、抽出した画像に対してＯＣＲ処理を行ってもよい。

（第３の実施形態）
上記第１の実施形態および第２の実施形態においては、宛名領域４１０に付与された住所情報を認識することとしたが、認識対象はこれに限られない。例えば、第３の実施形態において、認識部２５５は、道路を通行している車両のナンバープレートに対して認識処理を行う。認識部２５５は、第１の実施形態および第２の実施形態のいずれをナンバープレートの認識処理に適用してもよい。以下、第３の実施形態について詳細に説明する。

第３の実施形態において、ライトフィールドカメラ１００は路側に設置されている。ライトフィールドカメラ１００は、車両のナンバープレートを撮影することにより、ライトフィールドデータを取得する。点群データ生成部２３０は、異なるタイミングで撮影された複数のライトフィールドデータに基づき、ナンバープレートが存在する領域にフォーカスが合った視点の異なる複数の点群データを生成する。

点群データ位置合わせ部２３５は、点群データ生成部２３０により生成された複数の点群データに対して位置合わせを行う。鏡面反射領域検出部２４０は、ナンバープレートにおいて鏡面反射が生じている領域を検出する。検出用画像生成部２４５は、鏡面反射が抑制された画像を、車両のナンバーの検出に用いられる検出用画像として生成する。

文字領域検出部２５０は、検出用画像生成部２４５によって生成された検出用画像に基づき、ナンバープレートが存在する領域を検出する。認識部２５５は、検出された領域の画像に基づきナンバープレートに記載されているナンバー情報を認識する。

以上説明したように、第３の実施形態において、ライトフィールドカメラ１００は、道路を通行している車両のナンバープレートのライトフィールドデータを取得する。画像処理装置２００は、ナンバープレートのライトフィールドデータを用いて上述の認識処理を行うことにより、鏡面反射によるナンバープレートの誤検出を抑制するとともに、ナンバープレートに付与されたナンバー情報の認識率を向上させることができる。

（第４の実施形態）
第４の実施形態において、認識部２５５は、路側に設置されている道路標識に対して認識処理を行う。認識部２５５は、第１の実施形態および第２の実施形態のいずれを道路標識の認識処理に適用してもよい。以下、第４の実施形態について詳細に説明する。

第４の実施形態において、ライトフィールドカメラ１００は車両に搭載されている。ライトフィールドカメラ１００は、道路標識を撮影してライトフィールドデータを取得する。点群データ生成部２３０は、異なるタイミングで撮影された複数のライトフィールドデータに基づき、道路標識が存在する領域にフォーカスが合った視点の異なる複数の点群データを生成する。

点群データ位置合わせ部２３５は、点群データ生成部２３０により生成された複数の点群データに対して位置合わせを行う。鏡面反射領域検出部２４０は、道路標識において鏡面反射が生じている領域を検出する。検出用画像生成部２４５は、鏡面反射が抑制された画像を、道路標識の検出に用いられる検出用画像として生成する。

文字領域検出部２５０は、検出用画像生成部２４５によって生成された検出用画像に基づき、道路標識が存在する領域を検出する。認識部２５５は、検出された領域の画像に基づき道路標識に示される情報を認識する。

以上説明したように、第４の実施形態において、ライトフィールドカメラ１００は、路側に設置されている道路標識のライトフィールドデータを取得する。画像処理装置２００は、道路標識のライトフィールドデータを用いて上述の認識処理を行うことにより、鏡面反射による道路標識の誤検出を抑制するとともに、道路標識に付与された情報の認識率を向上させることができる。

（第５の実施形態）
第５の実施形態において、認識部２５５は、人間の顔に対して認識処理を行う。認識部２５５は、第１の実施形態および第２の実施形態のいずれを顔認識処理に適用してもよい。以下、第５の実施形態について詳細に説明する。

第５の実施形態において、ライトフィールドカメラ１００は、人間を撮影してライトフィールドデータを取得する。点群データ生成部２３０は、異なるタイミングで撮影された複数のライトフィールドデータに基づき、顔が存在する領域にフォーカスが合った視点の異なる複数の点群データを生成する。

点群データ位置合わせ部２３５は、点群データ生成部２３０により生成された複数の点群データに対して位置合わせを行う。鏡面反射領域検出部２４０は、顔において鏡面反射が生じている領域（例えば、眼鏡によって鏡面反射が生じている領域）を検出する。検出用画像生成部２４５は、鏡面反射が抑制された画像を、顔の検出に用いられる検出用画像として生成する。

文字領域検出部２５０は、検出用画像生成部２４５によって生成された検出用画像に基づき、顔が存在する領域を検出する。認識部２５５は、検出された領域の画像に基づき顔を認識する。

以上説明したように、第５の実施形態において、ライトフィールドカメラ１００は、人間の顔のライトフィールドデータを取得する。画像処理装置２００は、顔のライトフィールドデータを用いて上述の認識処理を行うことにより、鏡面反射による顔の誤検出を抑制するとともに、顔の認識率を向上させることができる。

なお、第１の実施形態から第５の実施形態において、距離マップ生成部２２５がライトフィールドデータに基づいて距離マップを生成することとしたが、これに限られない。例えば、ライトフィールドカメラ１００に取り付けられた距離センサが、ライトフィールドカメラ１００から荷物４００までの距離を測定し、測定した距離に基づいて距離マップを生成してもよい。

また、第１の実施形態から第５の実施形態において、ライトフィールドカメラ１００の位置が固定され、対象物がライトフィールドカメラ１００の撮影位置を通過することとしたが、これに限られない。例えば、対象物の位置が固定され、ライトフィールドカメラ１００が移動して対象物を撮影してもよい。また、ライトフィールドカメラ１００および対象物の両方が移動することにより、ライトフィールドカメラ１００が対象物を撮影してもよい。

また、第１の実施形態から第５の実施形態において、画像処理装置２００は文字領域検出部２５０および認識部２５５を備えることとしたが、これに限られない。例えば、文字領域検出部２５０および認識部２５５は、画像処理装置２００と通信可能なＯＣＲ装置に設けられてもよい。

以上説明した少なくともひとつの実施形態によれば、鏡面反射領域検出部２４０は、文字または記号による住所情報が付与された荷物４００を撮影することによって得られたライトフィールドデータに基づき、荷物４００において鏡面反射が生じている領域を検出する。検出用画像生成部２４５は、鏡面反射領域検出部２４０によって検出された領域における鏡面反射が抑制された画像を、住所情報の検出に用いられる検出用画像として生成する。これによって、対象物に付与された対象情報の認識率を向上させることができる。

なお、上記実施形態による画像処理装置２００は、内部にコンピュータシステムを有している。そして、上述した画像処理装置２００の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって上記各種処理が行われる。ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…画像処理システム、１００…ライトフィールドカメラ、１０５…照明、１０６…照明、２００…画像処理装置、２１０…制御装置、２１５…メモリ管理情報、２２０…ライトフィールドデータメモリ、２２５…距離マップ生成部、２３０…点群データ生成部、２３５…点群データ位置合わせ部、２４０…鏡面反射領域検出部、２４５…検出用画像生成部、２５０…文字領域検出部、２５５…認識部、２６０…超解像処理部、３００…区分装置、３１０…ベルトコンベア、４００…荷物、５００…ビデオコーディングシステム

Claims (13)

1. 文字または記号による対象情報が付与された対象物を撮影することによって得られたライトフィールドデータに基づき、前記対象物において鏡面反射が生じている領域を検出する鏡面反射領域検出部と、
   前記鏡面反射領域検出部によって検出された前記領域における前記鏡面反射が抑制された画像を、前記対象情報の検出に用いられる検出用画像として生成する検出用画像生成部と、
   を備える画像処理装置。
2. 異なるタイミングで撮影された複数のライトフィールドデータ毎に、前記対象情報にフォーカスが合った点群データを生成する点群データ生成部と、
   前記点群データ生成部により生成された前記複数のライトフィールドデータ毎の前記点群データに対して位置合わせを行う点群データ位置合わせ部と、を更に備える、
   請求項１記載の画像処理装置。
3. 前記鏡面反射領域検出部は、前記点群データ位置合わせ部によって位置合わせが行われた前記複数のライトフィールドデータ毎の前記点群データの近傍点における輝度値の差分に基づき、前記鏡面反射が生じている領域の候補を抽出する
   請求項２記載の画像処理装置。
4. 前記鏡面反射領域検出部は、前記点群データにおける輝度値が飽和している領域を、前記鏡面反射が生じている領域の候補として抽出する
   請求項２記載の画像処理装置。
5. 前記鏡面反射領域検出部は、前記対象物に光を照射する照明と、前記対象物を撮影するライトフィールドカメラとの位置関係に基づき、前記候補の中から前記鏡面反射が生じている領域を特定する
   請求項３または４記載の画像処理装置。
6. 前記検出用画像生成部は、前記鏡面反射領域検出部によって検出された前記鏡面反射が生じている領域を除外して前記検出用画像を生成する
   請求項１記載の画像処理装置。
7. 前記検出用画像生成部は、前記鏡面反射領域検出部によって検出された前記鏡面反射が生じている領域の輝度値に乗ずる重みを小さくして前記検出用画像を生成する
   請求項１記載の画像処理装置。
8. 前記検出用画像生成部は、前記鏡面反射領域検出部の検出結果の確からしさに基づき、前記鏡面反射領域検出部によって検出された前記鏡面反射が生じている領域を除外して前記検出用画像を生成するか、前記鏡面反射領域検出部によって検出された前記鏡面反射が生じている領域の輝度値に乗ずる重みを小さくして前記検出用画像を生成するかを切り替える
   請求項１記載の画像処理装置。
9. 前記検出用画像生成部によって生成された前記検出用画像から、前記対象情報が存在する領域を検出する対象情報検出部と、
   前記対象情報検出部によって検出された領域の画像に基づき、前記対象情報を認識する認識部と、を更に備える
   請求項１記載の画像処理装置。
10. 前記検出用画像生成部によって生成された前記検出用画像から、前記対象情報が存在する領域を検出する対象情報検出部と、
    前記対象情報検出部によって検出された領域に対して、解像度を高めるための超解像処理を行う超解像処理部と、
    前記超解像処理部によって前記超解像処理が行われた領域の画像に基づき、前記対象情報を認識する認識部と、を更に備える
    請求項１記載の画像処理装置。
11. 前記検出用画像生成部は、前記検出用画像における前記対象情報以外の領域を周囲の画素で埋める穴埋め処理を行う
    請求項１記載の画像処理装置。
12. 文字または記号による対象情報が付与された対象物を撮影することによって得られたライトフィールドデータに基づき、前記対象物において鏡面反射が生じている領域を検出する鏡面反射領域検出工程と、
    前記鏡面反射領域検出工程で検出された前記領域における前記鏡面反射が抑制された画像を、前記対象情報の検出に用いられる検出用画像として生成する検出用画像生成工程と、
    を備える画像処理方法。
13. コンピュータを、
    文字または記号による対象情報が付与された対象物を撮影することによって得られたライトフィールドデータに基づき、前記対象物において鏡面反射が生じている領域を検出する鏡面反射領域検出部、
    前記鏡面反射領域検出部によって検出された前記領域における前記鏡面反射が抑制された画像を、前記対象情報の検出に用いられる検出用画像として生成する検出用画像生成部、
    として機能させるためのプログラム。

Images