JP2018067306A

JP2018067306A - 画像処理装置及び画像処理方法

Info

Publication number: JP2018067306A
Application number: JP2017193399A
Authority: JP
Inventors: 崇行澤田; Takayuki Sawada; 唯志竹野; Tadashi Takeno
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2016-10-20
Filing date: 2017-10-03
Publication date: 2018-04-26
Anticipated expiration: 2037-10-03
Also published as: JP6971755B2; US20180114322A1; US10192136B2

Abstract

【課題】対象物の認識に失敗した対象物領域をユーザに対して提示することができる画像処理装置及び画像処理方法を提供する。【解決手段】実施形態によれば、画像処理装置は、インターフェースと、プロセッサと、を備える。インターフェースは、入力画像を取得する。プロセッサは、前記入力画像から第１の対象物領域を抽出し、前記第１の対象物領域から第１の識別情報を読み取り、前記第１の識別情報の読取に失敗した場合、前記第１の対象物領域と前記第１の対象物領域の読取失敗を示す情報とを含む出力画像を出力する。【選択図】図１

Description

本発明の実施形態は、画像処理装置及び画像処理方法に関する。

画像処理装置には、カメラが撮影する画像から商品を認識するものがある。画像処理装置は、画像から商品がある商品領域を特定し、商品領域からバーコードなどを読み取って商品を認識する。

従来、画像処理装置は、商品領域から商品を認識することができない場合に、商品の認識に失敗した商品領域をユーザに対して通知することができないという課題がある。

特開２０１４−２３５５３０号公報

上記の課題を解決するために、対象物の認識に失敗した対象物領域をユーザに対して提示することができる画像処理装置及び画像処理方法を提供する。

実施形態によれば、画像処理装置は、インターフェースと、プロセッサと、を備える。インターフェースは、入力画像を取得する。プロセッサは、前記入力画像から第１の対象物領域を抽出し、前記第１の対象物領域から第１の識別情報を読み取り、前記第１の識別情報の読取に失敗した場合、前記第１の対象物領域と前記第１の対象物領域の読取失敗を示す情報とを含む出力画像を出力する。

図１は、第１実施形態に係る商品情報処理装置の構成例を概略的に示す図である。図２は、第１実施形態に係る商品情報処理装置の構成例を示すブロック図である。図３は、第１実施形態に係る商品情報処理装置の表示例を示す図である。図４は、第１実施形態に係る商品情報処理装置の表示例を示す図である。図５は、第１実施形態に係る商品情報処理装置の動作例を示すフローチャートである。図６は、第１実施形態に係る商品情報処理装置の動作例を示すフローチャートである。図７は、第２実施形態に係る商品情報処理装置の動作例を示すフローチャートである。

以下、実施形態について、図面を参照して説明する。
（第１実施形態）
まず、第１実施形態に係る商品情報処理装置（画像処理装置）について説明する。
図１は、第１実施形態に係る商品情報処理装置１の構成例を概略的に示す。

商品情報処理装置１は、カゴ１０内の商品について決済処理する。商品情報処理装置１は、商品を販売する店舗などに設置される。たとえば、商品情報処理装置１は、カゴ１０が所定の位置に配置された場合又は所定の操作を受け付けた場合に、カゴ１０内の商品について決済処理を実行する。商品情報処理装置１は、利用者が自ら決済処理を行うセルフレジとして設置されてもよい。また、商品情報処理装置１は、店舗の店員が決済処理をする通常のレジとして設置されてもよい。

商品情報処理装置１は、商品（対象物）を特定するパターン（識別情報）に基づいて、商品を認識する。カゴ１０内の商品は、商品を特定するパターンを備える。たとえば、商品を特定するパターンは、バーコード、ＱＲコード（登録商標）、文字、数字又はマークなどである。ここでは、商品を特定するパターンは、バーコードであるものとする。

図１が示すように、商品情報処理装置１は、筐体２、カメラ３、ディスプレイ４、及び、操作部５などを備える。
筐体２は、商品情報処理装置１の外形を形成するフレームである。筐体２は、カゴ１０を設置することができるように形成される。図１が示す例においては、筐体２は、コの字型であり、カゴ１０を積載することができるように形成される。

カメラ３は、カゴ１０内の商品を撮影する。図１が示す例においては、カメラ３は、カゴ１０を上方から撮影するように設置される。カメラ３は、斜め上方からカゴ１０内を撮影するように設置されてもよい。カメラ３が設置される位置及び向きは、特定の構成に限定されるものではない。

なお、商品情報処理装置１は、複数個のカメラ３を備えてもよい。この場合、複数のカメラ３は、それぞれ異なる位置及び角度でカゴ１０内の商品を撮影するように設置されてもよい。

たとえば、カメラ３は、ＣＣＤカメラなどである。また、カメラ３は、不可視光を撮影するものであってもよい。カメラ３の構成は、特定の構成に限定されるものではない。

ディスプレイ４は、後述するＣＰＵ２１が出力する画像を表示する表示装置である。ディスプレイ４は、たとえば、液晶モニタなどである。

操作部５は、商品情報処理装置１の利用者によって、種々の操作指示が入力される。操作部５は、操作者に入力された操作指示のデータをＣＰＵ２１へ送信する。操作部５は、たとえば、キーボード、テンキー、及び、タッチパネルなどである。また、操作部５は、利用者からジェスチャーの入力を受け付けてもよい。
ここでは、操作部５は、タッチパネルであり、ディスプレイ４と一体的に形成されているものとする。

なお、カメラ３、ディスプレイ４又は操作部５は、筐体２と一体的に形成されてもよい。
また、商品情報処理装置１は、カゴ１０内の商品を照らす照明などを備えてもよい。

次に、商品情報処理装置１の構成例について説明する。
図２は、商品情報処理装置１の構成例を示すブロック図である。
図２が示すように、商品情報処理装置１は、カメラ３、ディスプレイ４、操作部５、ＣＰＵ２１、メモリ２２、カメラインターフェース２３及びディスプレイインターフェース２４などを備える。これらの各部は、データバスを介して互いに接続される。なお、商品情報処理装置１は、図２が示すような構成の他に必要に応じた構成を具備したり、特定の構成を除外したりしてもよい。

カメラ３、ディスプレイ４及び操作部５は、前述の通りである。
ＣＰＵ２１は、商品情報処理装置１全体の動作を制御する機能を有する。ＣＰＵ２１は、内部キャッシュおよび各種のインターフェースなどを備えても良い。ＣＰＵ２１は、内部メモリ又はメモリ２２に予め記憶したプログラムを実行することにより種々の処理を実現する。ＣＰＵ２１は、たとえば、プロセッサである。

なお、ＣＰＵ２１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであっても良い。この場合、ＣＰＵ２１は、ハードウエア回路により実行される機能を制御する。

メモリ２２は、揮発性メモリ及び不揮発性メモリなどから構成される。たとえば、メモリ２２は、予め制御用のプログラム及び制御データなどを格納する。また、メモリ２２は、ＣＰＵ２１の処理中のデータなどを一時的に格納する。たとえば、メモリ２２は、ＣＰＵ２１からの命令に基づき種々の実行中のアプリケーションプログラムを格納する。また、メモリ２２は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

カメラインターフェース２３は、ＣＰＵ２１がカメラ３と通信するためのインターフェースである。たとえば、ＣＰＵ２１は、カメラインターフェース２３を通じて、カメラ３に画像を取得させる信号を送信する。また、ＣＰＵ２１は、カメラインターフェース２３を通じて撮影のためのカメラパラメータをカメラ３に設定してもよい。

また、カメラインターフェース２３は、カメラ３が撮影した画像を取得する。カメラインターフェース２３は、取得した画像をＣＰＵ２１へ送信する。ＣＰＵ２１は、カメラインターフェース２３からカメラ３が撮影した画像を取得する。

ディスプレイインターフェース２４は、ＣＰＵ２１がディスプレイ４と通信するためのインターフェースである。たとえば、ＣＰＵ２１は、ディスプレイインターフェース２４を通じて所定の画像をディスプレイ４へ送信する。

次に、ＣＰＵ２１が実現する機能について説明する。
まず、ＣＰＵ２１は、カゴ１０内の商品を示すバーコードを含む商品画像（入力画像）を取得する機能を有する。商品画像は、商品を特定するためのバーコードを含む。たとえば、ＣＰＵ２１は、カメラ３を用いてカゴ１０内の商品を撮影し、商品画像を取得する。ＣＰＵ２１は、商品画像を撮影するために、撮影パラメータをカメラ３に設定してもよい。
なお、ＣＰＵ２１は、外部装置から商品画像を取得してもよい。

また、ＣＰＵ２１は、商品画像から商品が写る商品領域（対象物領域）を抽出する機能を有する。
たとえば、ＣＰＵ２１は、背景色（たとえば、カゴ１０の内部の色）との差異に基づいて商品領域を特定する。たとえば、ＣＰＵ２１は、予め背景色を取得し、商品画像において背景色と異なる色の領域を商品領域として抽出する。

また、ＣＰＵ２１は商品画像における高さに基づいて商品領域を抽出してもよい。たとえば、ＣＰＵ２１は、距離センサなどから所定の位置と商品画像の各領域との距離を取得する。ＣＰＵ２１は、カゴ１０の底面よりも高い領域を商品領域として抽出する。
なお、ＣＰＵ２１が商品領域を抽出する方法は、特定の方法に限定されるものではない。

また、ＣＰＵ２１は、商品領域からバーコードを読み取る機能を有する。
たとえば、ＣＰＵ２１は、商品領域から、バーコードが写るバーコード領域を抽出する。たとえば、ＣＰＵ２１は、商品画像に対してパターンマッチングなどを用いるラスタスキャンを実行し、バーコード領域を抽出する。

ＣＰＵ２１は、バーコード領域が含むバーコードを認識する。たとえば、ＣＰＵ２１は、バーコード領域内のバーコードをデコードする。ＣＰＵ２１は、バーコードをデコードして商品を示す商品コードを取得する。

なお、ＣＰＵ２１がバーコードを読み取る方法は、特定の方法に限定されるものではない。
また、商品にパターンとして文字列が付与される場合、ＣＰＵ２１は、商品領域に対してＯＣＲ処理などを実行して、文字列を読み取ってもよい。

また、ＣＰＵ２１は、バーコードの読取に失敗した商品領域に写る商品が自然物であるか判定する機能を有する。

自然物は、自然の状態である商品である。自然物は、たとえば、人が加工していない商品である。たとえば、自然物は、バーコードなどが付与されない商品である。たとえば、自然物は、野菜又は果物などである。

たとえば、ＣＰＵ２１は、画像認識などを用いて商品領域に写る商品が自然物であるか判定する。ＣＰＵ２１は、商品領域に写る商品が自然物でないと判定すると、当該商品領域に対して商品の認識に失敗したことを示す警告フラグを設定する。

また、ＣＰＵ２１は、自然物が写る商品領域から商品を特定する機能を有する。
たとえば、ＣＰＵ２１は、オブジェクト認識を用いて商品領域の商品を特定する。たとえば、ＣＰＵ２１は、オブジェクト認識を用いて商品領域に写る商品を示す商品コードを取得する。

また、ＣＰＵ２１は、バーコードをデコードして得られた商品コード又はオブジェクト認識で得られた商品コードに基づいて商品情報を取得する機能を有する。
たとえば、メモリ２２が商品コードと商品情報とを対応付けた商品テーブルを格納する。ＣＰＵ２１は、当該商品テーブルを参照して、商品コードに対応する商品情報を取得する。また、商品情報処理装置１の上位装置が商品テーブルを格納し、ＣＰＵ２１は、通信部などを通じて、上位装置から商品コードに対応する商品情報を取得してもよい。
商品情報は、商品に関する情報である。たとえば、商品情報は、商品名及び価格などを備える。商品情報の構成は、特定の構成に限定されるものではない。

また、ＣＰＵ２１は、警告フラグが設定された商品領域を商品の認識に失敗した商品領域として表示する機能を有する。
たとえば、ＣＰＵ２１はディスプレイ４の所定の領域に、警告フラグが設定された商品領域を商品の認識に失敗した商品領域として表示する。たとえば、ＣＰＵ２１は、商品画像を表示する。ＣＰＵ２１は、商品画像において当該商品領域の周囲に破線枠（読取失敗を示す情報）を表示する。即ち、ＣＰＵ２１は、商品の認識に失敗した商品領域の周囲に破線枠を表示することで、当該商品領域において商品の認識に失敗したことを提示する。

また、ＣＰＵ２１は、商品の認識に成功した商品領域を表示する機能を有する。
たとえば、ＣＰＵ２１はディスプレイ４の所定の領域に、商品の認識に成功した商品領域を表示する。たとえば、ＣＰＵ２１は、商品画像を表示する。ＣＰＵ２１は、商品画像において当該商品領域の周囲に実線枠（読取成功を示す情報）を表示する。即ち、ＣＰＵ２１は、商品の認識に成功した商品領域の周囲に実線枠を表示することで、当該商品領域において商品の認識に成功したことを提示する。

なお、ＣＰＵ２１は、認識に成功した商品の商品情報を提示してもよい。たとえば、ＣＰＵ２１は、商品情報として商品名及び価格などを表示する。また、ＣＰＵ２１は、認識に成功した商品が複数ある場合、各商品の価格の合計を表示してもよい。

次に、ＣＰＵ２１が一部の商品領域において商品の認識に失敗した場合のディスプレイ４の表示例について説明する。
図３は、ＣＰＵ２１が一部の商品領域において商品の認識に失敗した場合のディスプレイ４の表示例を示す。

図３が示すように、ＣＰＵ２１は、ディスプレイ４内に表示領域４１乃至４３を備える。
表示領域４１は、商品の認識に失敗した商品領域の商品をバーコードが上向きになるように置き直すことを促すメッセージを表示する。たとえば、表示領域４１は、破線に囲まれた商品を置き直すことを促すメッセージを表示する。

表示領域４２（商品情報画像）は、認識に成功した商品の商品情報を表示する。たとえば、表示領域４２は、認識に成功した商品の商品名及び価格を表示する。また、表示領域４２は、認識に失敗した商品があることを提示するメッセージを表示してもよい。

表示領域４３（出力画像）は、商品の認識に成功した商品領域と商品の認識に失敗した商品領域とを区別して表示する。たとえば、表示領域４３は、商品画像を表示する。表示領域４３は、商品画像において、商品の認識に成功した商品領域の周囲に実線枠を表示する。また、表示領域４３は、商品画像において、商品の認識に失敗した商品領域の周囲に破線枠を表示する。

図３が示すように、表示領域４３は、枠４３ａ乃至４３ｃを表示する。
枠４３ａは、破線である。従って、枠４３ａは、枠４３ａ内の商品領域において商品の認識に失敗したことを示す。

枠４３ｂ及び４３ｃは、実線である。従って、枠４３ｂ及び４３ｃは、それぞれ枠４３ｂ及び４３ｃ内の商品領域において商品の認識に成功したことを示す。
なお、ＣＰＵ２１がディスプレイ４に表示する内容は、特定の構成に限定されるものではない。

次に、ＣＰＵ２１が各商品領域において商品の認識に成功した場合のディスプレイ４の表示例について説明する。
図４は、ＣＰＵ２１が各商品領域において商品の認識に成功した場合のディスプレイ４の表示例を示す。

図４が示すように、ＣＰＵ２１は、ディスプレイ４内に表示領域４１乃至４３を備える。
表示領域４１は、商品の合計金額を表示する。
表示領域４２は、各商品の商品名及び価格を表示する。また、表示領域４２は、消費税又は合計金額を表示してもよい。また、表示領域４２は、各商品領域において商品の認識に成功したことを示すメッセージを表示してもよい。

表示領域４３は、商品の認識に成功した商品領域を表示する。たとえば、表示領域４３は、商品画像を表示する。表示領域４３は、商品画像において、商品の認識に成功した商品領域の周囲に実線枠を表示する。

図４が示すように、表示領域４３は、枠４３ｄ乃至４３ｆを表示する。
枠４３ｄ乃至４３ｆは、実線である。従って、枠４３ｄ乃至４３ｆは、それぞれ枠４３ｄ乃至４３ｆ内の商品領域において商品の認識に成功したことを示す
なお、ＣＰＵ２１がディスプレイ４に表示する内容は、特定の構成に限定されるものではない。

また、ＣＰＵ２１は、各商品領域において商品の認識に成功した場合、商品の代金を決済する機能を有する。
たとえば、ＣＰＵ２１は、商品を購入する購入者のクレジット情報を予め取得する。たとえば、ＣＰＵ２１は、購入者から操作部５などを通じてクレジット情報の入力を受け付けてもよい。また、ＣＰＵ２１は、カメラなどを用いて購入者の画像を取得し、当該画像に対応するクレジット情報を取得してもよい。

ＣＰＵ２１は、取得したクレジット情報に基づいて商品の代金を決済する。たとえば、ＣＰＵ２１は、クレジット情報と商品の代金とをクレジットサーバなどへ送信する。

次に、ＣＰＵ２１の動作例について説明する。
図５及び６は、ＣＰＵ２１の動作例について説明するためのフローチャートである。
まず、ＣＰＵ２１は、決済処理を開始するか判定する（ＡＣＴ１１）。たとえば、ＣＰＵ２１は、カゴ１０が所定の位置にセットされたことを検知すると、決済処理を開始すると判定する。また、ＣＰＵ２１は、操作部５を通じて所定の操作を受け付けると、決済処理を開始すると判定してもよい。

決済処理を開始しないと判定すると（ＡＣＴ１１、ＮＯ）、ＣＰＵ２１は、ＡＣＴ１１に戻る。

決済処理を開始すると判定すると（ＡＣＴ１１、ＹＥＳ）、ＣＰＵ２１は、カメラ３を通じて商品画像を取得する（ＡＣＴ１２）。

商品画像を取得すると、ＣＰＵ２１は、商品画像から商品領域を抽出する（ＡＣＴ１３）。商品領域を抽出すると、ＣＰＵ２１は、１つの商品領域内からバーコードを読み取る（ＡＣＴ１４）。

バーコードの読取に成功したと判定すると（ＡＣＴ１５、ＹＥＳ）、ＣＰＵ２１は、バーコードをデコードした商品コードを取得する（ＡＣＴ１６）。
バーコードの読取に失敗したと判定すると（ＡＣＴ１５、ＮＯ）、ＣＰＵ２１は、当該商品領域に写る商品が自然物であるか判定する（ＡＣＴ１７）。当該商品領域に写る商品が自然物であると判定すると（ＡＣＴ１８、ＹＥＳ）、ＣＰＵ２１は、当該商品領域においてオブジェクト認識を用いて商品コードを取得する（ＡＣＴ１９）。

当該商品領域に写る商品が自然物でないと判定すると（ＡＣＴ１８、ＮＯ）、ＣＰＵ２１は、当該商品領域に警告フラグを設定する（ＡＣＴ２０）。

バーコードをデコードした商品コードを取得した場合（ＡＣＴ１６）、又は、当該商品領域においてオブジェクト認識を用いて商品コードを取得した場合（ＡＣＴ１９）、ＣＰＵ２１は、商品コードに基づいて商品情報を取得する（ＡＣＴ２１）。

当該商品領域に警告フラグを設定した場合（ＡＣＴ２０）、又は、商品コードに基づいて商品情報を取得した場合（ＡＣＴ２１）、ＣＰＵ２１は、他の商品領域があるか判定する（ＡＣＴ２２）。

他の商品領域があると判定すると（ＡＣＴ２２、ＹＥＳ）、ＣＰＵ２１は、他の商品領域においてＡＣＴ１４以降を実行する。

他の商品領域がないと判定すると（ＡＣＴ２２、ＮＯ）、ＣＰＵ２１は、警告フラグが設定された商品領域があるか判定する（ＡＣＴ２３）。警告フラグが設定された商品領域があると判定すると（ＡＣＴ２３、ＹＥＳ）、ＣＰＵ２１は、警告フラグがセットされた商品領域を商品の認識に失敗した商品領域としてディスプレイ４に表示する（ＡＣＴ２４）。

警告フラグがセットされた商品領域を表示すると、ＣＰＵ２１は、認識に成功した商品の商品領域、商品名及び価格などをディスプレイ４に表示する（ＡＣＴ２５）。認識に成功した商品の商品領域、商品名及び価格などをディスプレイ４に表示すると、ＣＰＵ２１は、ＡＣＴ１２に戻る。なお、ＣＰＵ２１は、操作部５を通じて所定の操作を受け付けた場合に、ＡＣＴ１２に戻ってもよい。

警告フラグが設定された商品領域がないと判定すると（ＡＣＴ２３、ＮＯ）、ＣＰＵ２１は、各商品領域、各商品の商品情報及び合計金額などをディスプレイ４に表示する（ＡＣＴ２６）。

各商品領域、各商品の商品情報及び合計金額などをディスプレイ４に表示すると、ＣＰＵ２１は、合計金額を決済する（ＡＣＴ２７）。なお、ＣＰＵ２１は、操作部５を通じて所定の操作を受け付けた場合に、合計金額を決済してもよい。
合計金額を決済すると、ＣＰＵ２１は、動作を終了する。

なお、ＣＰＵ２１は、ＡＣＴ２４及びＡＣＴ２５を同時並行して実行してもよい。また、ＣＰＵ２１は、ＡＣＴ２５を実行してからＡＣＴ２４を実行してもよい。

以上のように構成された商品情報処理装置は、商品領域の商品の認識に失敗した場合、当該商品領域を商品の認識に失敗した商品領域としてディスプレイに表示する。その結果、商品情報処理装置は、認識に失敗した商品領域をユーザに対して提示することができる。

また、商品情報処理装置は、商品領域においてバーコードの読取に失敗した場合に当該商品領域の商品が自然物であるかを判定する。商品情報処理装置は、当該商品が自然物である場合、オブジェクト認識を用いて商品を識別する。従って、商品情報処理装置は、バーコードの読取に失敗した場合であっても、商品を認識することができる。その結果、商品情報処理装置は、効果的に商品を認識することができる。
（第２実施形態）
次に、第２実施形態に係る商品情報処理装置について説明する。
第２実施形態に係る商品情報処理装置１は、商品領域の商品が自然物であるかの判定を行わない点で第１実施形態に係る商品情報処理装置１と異なる。従って、同一の構成については、同一の符号を付して詳細な説明を省略する。

次に、ＣＰＵ２１の動作例について説明する。
図７は、ＣＰＵ２１の動作例について説明するためのフローチャートである。
ここでは、図５及び図６の動作と同一の動作については同一の符号を付して説明を省略する。

商品領域からバーコードの読取に失敗したと判定すると（ＡＣＴ１５、ＮＯ）、ＣＰＵ２１は、当該商品領域に警告フラグを設定する（ＡＣＴ２０）
また、バーコードをデコードした商品コードを取得すると（ＡＣＴ１６）、ＣＰＵ２１は、商品コードに基づいて商品情報を取得する（ＡＣＴ２１）。

以上のように構成された商品情報処理装置は、商品領域からバーコードの読取に失敗した場合、当該商品領域を商品の認識に失敗した商品領域としてディスプレイに表示する。その結果、商品情報処理装置は、認識に失敗した商品領域をユーザに対して提示することができる。

また、商品情報処理装置は、バーコードの読取に失敗するとオブジェクト認識を行わない。その結果、商品情報処理装置は、処理時間を短縮し、かつ、処理コストを低減することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…商品情報処理装置、２…筐体、３…カメラ、４…ディスプレイ、５…操作部、１０…カゴ、２１…ＣＰＵ、２２…メモリ、２３…カメラインターフェース、２４…ディスプレイインターフェース。

Claims

入力画像を取得するインターフェースと、
前記入力画像から第１の対象物領域を抽出し、
前記第１の対象物領域から第１の識別情報を読み取り、
前記第１の識別情報の読取に失敗した場合、前記第１の対象物領域と前記第１の対象物領域の読取失敗を示す情報とを含む出力画像を出力する、
プロセッサと、
を備える、
画像処理装置。
前記プロセッサは、
前記入力画像から第２の対象物領域を抽出し、
前記第２の対象物領域から第２の識別情報を読み取り、
前記第２の対象物領域から前記第２の識別情報の読取に成功した場合、前記第２の対象物領域と前記第２の対象物領域の読取成功を示す情報とをさらに含む前記出力画像を出力する、
前記請求項１に記載の画像処理装置。
前記プロセッサは、
前記第１の対象物領域から前記第１の識別情報の読取に失敗した場合、前記第１の対象物領域に写る対象物が自然物であるか判定し、
前記対象物が前記自然物であると判定した場合、前記第１の対象物領域からオブジェクト認識で前記対象物を認識し、
前記対象物が前記自然物でないと判定した場合、前記出力画像を出力する、
前記請求項１に記載の画像処理装置。
前記対象物は、商品であり、
前記プロセッサは、
前記第１の対象物領域から前記第１の識別情報の読取に成功した場合、前記第１の識別情報に基づいて前記対象物の商品情報を取得し、
前記商品情報の少なくとも一部を含む商品情報画像を出力する、
前記請求項３に記載の画像処理装置。
入力画像を取得し、
前記入力画像から第１の対象物領域を抽出し、
前記第１の対象物領域から第１の識別情報を読み取り、
前記第１の識別情報の読取に失敗した場合、前記第１の対象物領域及び前記第１の対象物領域の読取失敗を示す情報を含む出力画像を出力する、
画像処理方法。