JP2020202583A

JP2020202583A - 画像処理装置

Info

Publication number: JP2020202583A
Application number: JP2020148348A
Authority: JP
Inventors: 真明安永; Masaaki Yasunaga
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2015-06-23
Filing date: 2020-09-03
Publication date: 2020-12-17
Anticipated expiration: 2036-05-20
Also published as: JP2017011687A; JP6760762B2; US20170111577A1; US9571738B2; US20160381296A1; US20170257563A1; JP6932828B2

Abstract

【課題】画像の取得状況を容易に確認することができる画像処理装置を提供する。【解決手段】実施形態によれば、画像処理装置は、表示部と、画像取得部と、縮小処理部と、結合部と、表示処理部と、を備える。表示部は、画像を表示する。画像取得部は、徐々に変化する撮影範囲を有する複数の撮影画像を取得する。縮小処理部は、前記画像取得部が取得した複数の前記撮影画像を縮小する。結合部は、前記縮小処理部が縮小した複数の前記撮影画像を結合して、プレビュー画像を生成する。表示処理部は、前記画像取得部が取得した前記撮影画像を表示する前記表示部の一部に前記プレビュー画像を表示する。【選択図】図１

Description

本発明の実施形態は、画像処理装置に関する。

画像処理装置には、複数の画像を組み合わせて１枚の結合画像を生成するものがある。
画像処理装置は、所定の範囲を含む結合画像（たとえば、所定の対象物を撮影した結合画像）を生成するために、当該範囲内の画像が必要である。従来、画像処理装置が適切に画像を取得したかは、生成された結合画像を人の目視によって確認しなればならいという課題がある。

特開２００５−２３６９７９号公報

上記の課題を解決するために、画像の取得状況を容易に確認することができる画像処理装置を提供する。

実施形態によれば、画像処理装置は、表示部と、画像取得部と、縮小処理部と、結合部と、表示処理部と、を備える。表示部は、画像を表示する。画像取得部は、アングルの異なる複数の撮影画像を取得する。縮小処理部は、前記画像取得部が取得した複数の前記撮影画像を縮小する。結合部は、前記縮小処理部が縮小した複数の前記撮影画像を結合して、プレビュー画像を生成する。表示処理部は、前記画像取得部が取得した前記撮影画像を表示する前記表示部の一部に前記プレビュー画像を表示する。

図１は、第１実施形態に係る画像処理装置の構成例を概略的に示す図である。図２は、第１実施形態に係る画像処理装置の動作例を示すフローチャートである。図３は、第１実施形態に係る画像処理装置の表示例を示す図である。図４は、第２実施形態に係る撮影対象物の例を示す図である。図５は、第２実施形態に係る画像処理装置の構成例を示すブロック図である。図６は、第２実施形態に係る撮影漏れの判定方法の例を示す図である。図７は、第２実施形態に係る撮影漏れの判定方法の他の例を示す図である。図８は、第２実施形態に係る撮影漏れの判定方法の他の例を示す図である。図９は、第２実施形態に係る撮影対象領域の設定方法の例を示す図である。図１０は、第２実施形態に係る撮影対象領域の設定方法の他の例を示す図である。図１１は、第２実施形態に係る撮影対象領域の設定方法の他の例を示す図である。図１２は、第２実施形態に係る画像処理装置の動作例を示すフローチャートである。図１３は、第２実施形態に係る画像処理装置の配置図を示す図である。

以下、実施形態について、図面を参照して説明する。
（第１実施形態）
まず、第１実施形態に係る画像処理装置について説明する。
図１は、画像処理装置１の構成例を示すブロック図である。
画像処理装置１は、複数の画像を取得して、複数の画像を結合した１枚の結合画像を生成する。たとえば、画像処理装置１は、人によって移動される。画像処理装置１は、移動されている間に連続して画像を取得することで、アングルの異なる複数の画像を取得する。画像処理装置１は、取得した複数の画像をつなぎ合わせて１枚の結合画像を生成する。

画像処理装置１は、たとえば、スマートフォン、タブレットＰＣ又はノートＰＣなどであってもよい。

図１が示すように、画像処理装置１は、処理部１１、撮影部１２、インターフェース１３、記憶部１４、入力部１５及び表示部１６などを備える。

処理部１１は、画像処理装置１全体の動作を制御する機能を有する。処理部１１は、たとえば、プロセッサ（ＣＰＵ）、内部メモリ、ＲＯＭ、ＲＡＭ及び各種のインターフェースなどを備えても良い。処理部１１のプロセッサは、内部メモリ、ＲＯＭ、ＲＡＭ又は記憶部１４などに予め記憶したプログラムを実行することにより処理部１１の機能を実現する。

なお、処理部１１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであっても良い。この場合、処理部１１は、ハードウエア回路により実行される機能を制御する。

ＲＯＭは、予め制御用のプログラム及び制御データなどが記憶された不揮発性のメモリである。ＲＯＭに記憶される制御プログラム及び制御データは、予め画像処理装置１の仕様に応じて組み込まれる。ＲＯＭは、たとえば、画像処理装置１の回路基板を制御するプログラム（例えば、ＢＩＯＳ）などを格納している。

ＲＡＭは、揮発性のメモリである。ＲＡＭは、処理部１１の処理中のデータなどを一時的に格納する。ＲＡＭは、処理部１１からの命令に基づき種々のアプリケーションプログラムを格納している。また、ＲＡＭは、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

撮影部１２は、画像を撮影する。撮影部１２は、処理部１１からの信号に従って、画像を撮影する。撮影部１２は、撮影した画像を処理部１１へ送信する。たとえば、撮影部１２は、所定の間隔で画像を撮影することができる。たとえば、撮影部１２は、３０ｆｐｓ（又は６０ｆｐｓ）で動画を撮影してもよい。
撮影部１２は、たとえば、ＣＣＤカメラなどである。

なお、撮影部１２は、画像処理装置１と独立した装置であってもよい。たとえば、撮影部１２は、無線で画像を画像処理装置１へ送信してもよい。

インターフェース１３は、撮影部１２と通信するインターフェースである。たとえば、インターフェース１３は、処理部１１からの信号に応じて撮影部１２に画像を撮影させる信号を撮影部１２へ送信する。また、インターフェース１３は、撮影部１２が撮影した画像を処理部１１へ送信する。たとえば、インターフェース１３は、ＵＳＢ接続をサポートするインターフェースであってもよい。

記憶部１４は、不揮発性のメモリである。たとえば、記憶部１４は、データの書き込み及び書き換えが可能なメモリである。記憶部１４は、例えば、ハードディスク、ＳＳＤ、又はフラッシュメモリなどにより構成される。記憶部１４は、画像処理装置１の運用用途に応じて制御プログラム、アプリケーション、及び種々のデータを格納してもよい。

入力部１５は、画像処理装置１の操作者によって、種々の操作指示が入力される。入力部１５は、操作者に入力された操作指示のデータを処理部１１へ送信する。入力部１５は、たとえば、キーボード、テンキー、及び、タッチパネルなどである。ここでは、入力部１５は、タッチパネルである。

表示部１６は、処理部１１の制御により種々の情報（たとえば、画像）を表示する表示装置である。表示部１６は、たとえば、液晶モニタなどである。ここでは、表示部１６は、入力部１５と一体的に形成される。

次に、処理部１１が実現する機能について説明する。
処理部１１は、画像取得部２１、画像縮小部２２、画像貼り合わせ部２３、表示処理部２４及び計算部２５などを実現する。

画像取得部２１は、徐々に変化する撮影範囲を有する複数の撮影画像を取得する。たとえば、画像取得部２１は、インターフェース１３を通じて、撮影部１２に画像を撮影させる信号を送信する。画像取得部２１は、インターフェース１３を通じて、撮影部１２が撮影した画像を取得する。なお、画像取得部２１は、外部装置から通信インターフェースなどを通じて撮影画像を取得してもよい。たとえば、画像取得部２１は、所定の領域を徐々にずらした複数の撮影画像を取得する。たとえば、画像取得部２１は、１次元方向、２次元方向、又は、３次元方向にずらした複数の撮影画像を取得する。

画像縮小部２２（縮小処理部）は、撮影画像を縮小する。画像縮小部２２は、画像取得部２１が撮影画像を取得するたびに、撮影画像を縮小する。たとえば、画像縮小部２２は、ニアレストネイバー法、又は、バイキュービック法によって撮影画像を縮小する。画像縮小部２２が撮影画像を縮小する方法は、特定の方法に限定されるものではない。

画像貼り合わせ部２３は、縮小された複数の撮影画像をつなぎ合わせて１枚のプレビュー画像を生成する。画像貼り合わせ部２３は、画像縮小部２２が撮影画像を縮小するたびに、プレビュー画像に撮影画像を追加的につなぎ合わせる。画像貼り合わせ部２３は、たとえば、複数の撮影画像から特徴点を抽出して、抽出された特徴点に基づいて画像をつなぎ合わせてもよい。画像貼り合わせ部２３が複数の撮影画像をつなぎ合わせる方法は、特定の方法に限定されるものではない。

表示処理部２４は、画像貼り合わせ部２３がつなぎ合わせたプレビュー画像を表示部１６に表示する。たとえば、表示処理部２４は、表示部１６内にプレビュー表示領域を設定する。表示処理部２４は、設定されたプレビュー表示領域にプレビュー画像を表示する。
表示処理部２４は、画像貼り合わせ部２３がプレビュー画像に撮影画像を追加するたびに、プレビュー画像を更新する。

表示処理部２４は、プレビュー表示領域のサイズを固定してもよい。たとえば、表示処理部２４は、プレビュー画像をプレビュー表示領域のサイズに合わせて表示してもよい。
また、表示処理部２４は、プレビュー表示領域のサイズを動的に変更してもよい。たとえば、表示処理部２４は、プレビュー画像に合わせてプレビュー表示領域のサイズを変更してもよい。

また、表示処理部２４は、表示部１６に、撮影部１２が撮影している撮影画像を表示してもよい。表示処理部２４は、撮影画像を表示する表示部１６の一部にプレビュー表示領域を設定し、当該プレビュー表示領域にプレビュー画像を表示してもよい。

また、表示処理部２４は、プレビュー画像上に、撮影部１２が撮影している撮影画像を示す撮影画像枠を表示してもよい。

計算部２５は、種々の計算を実行する。たとえば、計算部２５は、撮影画像の特徴点を抽出するため撮影画像の各部の特徴量などを計算する。また、計算部２５は、撮影画像を縮小するための計算を行ってもよい。

次に、画像処理装置１の動作例について説明する。
図２は、画像処理装置１の動作例を説明するためのフローチャートである。
まず、画像処理装置１の処理部１１は、撮影画像を取得する（ＡＣＴ１１）。撮影画像を取得すると、処理部１１は、取得された撮影画像を縮小する（ＡＣＴ１２）。

撮影画像を縮小すると、処理部１１は、縮小された撮影画像を貼り合わせてプレビュー画像を生成する（ＡＣＴ１３）。プレビュー画像を生成すると、処理部１１は、表示部１６に、プレビュー画像を表示する（ＡＣＴ１４）。

プレビュー画像を表示すると、処理部１１は、撮影画像の取得が終了したか判定する（ＡＣＴ１５）。たとえば、処理部１１は、入力部１５を通じて、撮影画像の取得を終了する操作を受け付けたか判定する。

撮影画像の取得が終了していないと判定すると（ＡＣＴ１５、ＮＯ）、処理部１１は、ＡＣＴ１１に戻る。

撮影画像の取得が終了したと判定すると（ＡＣＴ１５、ＹＥＳ）、処理部１１は、動作を終了する。

次に、画像処理装置１の表示部１６が表示する表示例について説明する。
図３は、表示部１６が表示する表示例を示す図である。
図３が示す例において、画像処理装置１は、ＡＣＴ１１乃至１５を繰り返し実行しているものとする。

図３が示すように、処理部１１は、表示部１６の全体に、撮影部１２が撮影している撮影画像を表示する。また、処理部１１は、表示部１６の一部に、プレビュー表示領域１６ａを設定する。処理部１１は、プレビュー表示領域１６ａにＡＣＴ１３で生成されたプレビュー画像を表示する。また、処理部１１は、プレビュー表示領域１６ａ内に、撮影部１２が撮影している撮影画像を示す撮影画像枠１６ｂを設定する。

なお、処理部１１は、撮影画像を縮小せずに、複数の撮影画像をつなぎ合わせてもよい。処理部１１は、つなぎ合わせた画像を縮小してプレビュー画像を生成してもよい。

以上のように構成された画像処理装置は、表示部に、撮影画像をつなぎ合わせた画像のプレビューを表示することができる。そのため、画像処理装置は、操作者に撮影漏れがないかをリアルタイムで確認させることができる。その結果、画像処理装置は、画像の取得状況を容易に確認させることができる。
（第２実施形態）
次に、第２実施形態について説明する。
第２実施形態に係る画像処理装置１は、撮影漏れがないかを判定する点で第１実施形態に係る画像処理装置１と異なる。従って、その他の点については同一の符号を付して詳細な説明を省略する。

図４は、第２実施形態に係る画像処理装置１及び商品棚２の例を示す図である。
商品棚２は、商品を販売する販売店などに設置される。商品棚２は、商品などが配置される。

たとえば、画像処理装置１は、商品棚２を写した結合画像を生成する。即ち、画像処理装置１は、商品棚２の各部を撮影した複数の画像を取得し、複数の画像を結合して結合画像を生成する。

また、画像処理装置１は、商品棚２を漏れなく撮影したかを判定する。なお、画像処理装置１が漏れなく撮影したか判定する対象物は、特定の構成に限定されるものではない。

次に、画像処理装置１の構成例について説明する。
図５は、画像処理装置１の構成例を説明するためのブロック図である。
図５が示すように、処理部１１は、画像取得部２１、画像貼り合わせ部２６及び撮影漏れ判定部２７などを実現する。

画像取得部２１は、第１実施形態のそれと同様であるので説明を省略する。

画像貼り合わせ部２６（結合部）は、画像取得部２１が取得した複数の撮影画像を結合して１枚の結合画像を生成する。画像貼り合わせ部２６は、たとえば、複数の撮影画像から特徴点を抽出して、抽出された特徴点に基づいて画像をつなぎ合わせてもよい。画像貼り合わせ部２６が複数の撮影画像をつなぎ合わせる方法は、特定の方法に限定されるものではない。

撮影漏れ判定部２７（特定部）は、画像貼り合わせ部２３が生成した結合画像に基づいて、撮影対象物を撮影漏れした領域（撮影漏れ領域）を特定する。たとえば、撮影漏れ判定部２７は、結合画像に含まれるべき撮影対象物（たとえば、商品棚２）を漏れなく撮影できているかを判定する。撮影漏れ判定部２７は、漏れなく撮影できていないと判定した場合に、撮影漏れ領域を特定する。

たとえば、撮影漏れ判定部２７は、結合画像がループ状に形成されているか判定する。
即ち、撮影漏れ判定部２７は、結合画像内においてつなぎ合わされていない領域（未結合領域）があるか判定する。撮影漏れ判定部２７は、結合画像がループ状に形成される場合撮影漏れ領域があると判定し、結合画像内の当該未結合領域を撮影漏れ領域と特定する。

図６は、結合画像がループ状に形成されていないか判定する方法の例を示す。
図６が示す例において、結合画像３１は、ループ状に形成される。結合画像３１の囲まれる未結合領域３４が存在する。

たとえば、撮影漏れ判定部２７は、結合画像３１に外接する最小矩形３２を設定する。撮影漏れ判定部２７は、たとえばラベリング処理などによって、最小矩形３２に接する未結合領域３３以外に未結合領域があるか判定する。撮影漏れ判定部２７は、未結合領域３３以外の未結合領域がある場合、結合画像３１内に未結合領域があると判定する。また、撮影漏れ判定部２７は、未結合領域３３以外の未結合領域がある場合、未結合領域３３以外の未結合領域（たとえば、未結合領域３４）を撮影漏れ領域と判定する。また、撮影漏れ判定部２７は、未結合領域３３以外の未結合領域がない場合、撮影漏れ領域がないと判定する。

次に、結合画像がループ状に形成されていないか判定する方法の他の例について説明する。
図７は、当該判定方法の他の例を示す。
図７が示す例において、図６と同様に、結合画像３１は、ループ状に形成される。結合画像３１の内部には、未結合領域３４が存在する。

たとえば、撮影漏れ判定部２７は、結合画像のエッジループを抽出する。即ち、撮影漏れ判定部２７は、未結合領域と結合画像との間のエッジを抽出する。撮影漏れ判定部２７は、抽出したエッジループが２つ以上あれば撮影漏れがあると判定する。即ち、撮影漏れ判定部２７は、結合画像の外周以外にもエッジループがあるかを判定する。図７が示す例において、撮影漏れ判定部２７は、エッジループ３５とエッジループ３６とを抽出する。したがって、撮影漏れ判定部２７は、撮影漏れ領域（たとえば、未結合領域３４）があると判定する。

また、撮影漏れ判定部２７は、結合画像に撮影対象物が写る撮影対象領域を設定し、撮影対象領域内に未結合領域があるかを判定する。即ち、撮影漏れ判定部２７は、撮影対象領域内に未結合領域があれば撮影漏れ領域があると判定し、当該未結合領域を撮影漏れ領域と特定する。

図８は、撮影対象領域内に未結合領域があるかを判定する方法の例を示す。

撮影漏れ判定部２７は、結合画像４１に撮影対象領域４２を設定する。撮影漏れ判定部２７は、撮影対象領域４２内に未結合領域がないか判定する。図８が示す例において、撮影漏れ判定部２７は、未結合領域４３ａ乃至４３ｄを発見する。したがって、撮影漏れ判定部２７は、撮影漏れがあると判定し、未結合領域４３ａ乃至４３ｄを撮影漏れ領域と特定する。

次に、撮影対象領域を設定する方法について説明する。
図９は、撮影対象領域を設定する方法の例を示すための撮影対象物の例である。

図９が示す例では、撮影対象物５１（たとえば、商品棚２）は、矩形状であり、四隅に撮影対象物であることを示すコードを表示する表示領域５２ａ乃至５２ｄを備える。即ち、撮影対象物５１は、左上に表示領域５２ａ、右上に表示領域５２ｂ、右下に表示領域５２ｃ及び左下に表示領域５２ｄを備える。

各表示領域５２が表示する特定コードは、撮影対象物５１を特定する。たとえば、特定コードは、撮影対象物５１の位置を示す。たとえば、特定コードは、自身が撮影対象物５１のいずれの位置にあるかを示す。たとえば、左上に表示領域５２ａが表示する特定コードは、自信が撮影対象物５１の左上に位置していることを示す。また、各表示領域５２が表示する特定コードは、撮影対象物５１が矩形状であることを示してもよい。特定コードは、１次元コード、２次元コード、記号、又は、マークなどであってもよく、特定の構成に限定されるものではない。

撮影漏れ判定部２７は、結合画像から特定コードを抽出する。撮影漏れ判定部２７は、抽出された特定コードに従って、撮影対象物５１を特定し、撮影対象物５１が写る撮影対象領域を設定する。たとえば、撮影漏れ判定部２７は、各表示領域５２が示す特定コードを抽出する。撮影漏れ判定部２７は、各特定コードに基づいて、各特定コードと撮影対象物５１との位置関係を取得する。撮影漏れ判定部２７は、各特定コードが示す位置関係に基づいて各特定コードの表示領域５２に外接する矩形を設定し、当該矩形を撮影対象領域として設定する。

次に、撮影対象領域を設定する他の方法について説明する。
撮影漏れ判定部２７は、撮影部１２と撮影画像の各部との距離に基づいて撮影対象領域を設定する。
画像処理装置１は、さらに、距離センサ１７を備える。

距離センサ１７は、撮影部１２と撮影画像の各部との距離を測定する。たとえば、距離センサ１７は、レーザを照射して距離を測定するものであってもよい。また、距離センサ１７は、ステレオカメラを用い、画像の差異から距離を測定するものであってもよい。また、ステレオカメラとして構成される場合、距離センサ１７は、撮影部１２と一体的に構成されてもよい。

また、処理部１１は、距離画像取得部２８を実現する。
距離画像取得部２８は、距離センサ１７が測定する距離に基づいて、結合画像に対応する距離画像を生成する。即ち、距離画像取得部２８は、撮影部１２と結合画像の各部との距離を示す距離画像を生成する。なお、距離画像取得部２８は、通信インターフェースなどを通じて外部装置から距離画像を取得してもよい。

図１０は、距離画像の例を示す。
図１０が示す例において、距離画像は、色が濃いほど撮影部１２との距離が近いことを示し、色が薄いほど撮影部１２との距離が遠いことを示す。

図１０が示す例において、距離画像は、商品棚２を撮影した画像である。
撮影漏れ判定部２７は、距離画像に基づいて撮影対象領域を設定する。たとえば、撮影漏れ判定部２７は、所定の距離よりも近い領域を撮影対象領域と設定する。図１０が示す例では、商品棚２がある領域は、他の領域よりも撮影部１２との距離が近いため、撮影漏れ判定部２７は、商品棚２が写る領域を撮影対象領域と設定することができる。なお、撮影漏れ判定部２７は、所定の閾値によりも距離が近い領域を撮影対象領域と設定してもよいし、他の領域よりも距離が近い領域を撮影対象領域と設定してもよい。

また、撮影漏れ判定部２７は、距離画像と特定コードとに基づいて撮影対象領域を設定してもよい。

図１１は、商品棚２の例を示す。
図１１が示す商品棚２は、特定コードを表示する表示領域２０ａ及び２２ｂなどを備える。たとえば、商品棚２は、左下に表示領域２０ａ、及び、右下に表示領域２０ｂを備える。

商品棚２の下部は、床と連続して形成されるため、距離画像において、商品棚の２の下部と床とを区別しにくい。そのため、撮影漏れ判定部２７は、商品棚２の下部については特定コードを用いて撮影対象領域を特定する。

たとえば、撮影漏れ判定部２７は、結合画像から商品棚２の下部にある特定コードを抽出する。撮影漏れ判定部２７は、特定コードに基づいて、商品棚２が写る撮影対象領域の下部を特定する。また、撮影漏れ判定部２７は、距離画像（たとえば、図１０が示す距離画像）に基づいて、撮影対象領域の上部を特定する。撮影漏れ判定部２７は、特定コードから特定された撮影対象領域の下部と距離画像から特定された撮影対象領域の上部とに基づいて撮影対象領域を特定する。

また、撮影漏れ判定部２７は、撮影対象物の色情報に基づいて撮影対象領域を特定してもよい。たとえば、撮影対象物の色が背景にない色である場合、撮影漏れ判定部２７は、撮影対象物の色がある領域を撮影対象領域と特定する。

また、撮影漏れ判定部２７は、撮影部１２の位置及び向きなどに基づいて撮影対象領域を設定してもよい。たとえば、撮影漏れ判定部２７は、撮影部１２の位置を特定する測位センサ及び撮影部１２の向きを測定するジャイロセンサなどを用いて、撮影部１２がいずれの領域を撮影しているか空間的に把握する。撮影漏れ判定部２７は、撮影対象物の位置及びサイズなどを示す３Ｄデータと撮影部１２の空間的位置及び向きとに基づいて、結合画像に撮影対象領域を設定してもよい。

撮影漏れ判定部２７が撮影漏れの有無を判定する方法及び撮影漏れ領域を特定する方法は、特定の方法に限定されるものではない。

次に、画像処理装置１の動作例について説明する。
図１２は、画像処理装置１の動作例について説明するためのフローチャートである。
まず、画像処理装置１の処理部１１は、撮影画像を取得する（ＡＣＴ２１）。撮影画像を取得すると、処理部１１は、撮影画像の取得が終了したか判定する（ＡＣＴ２２）。たとえば、処理部１１は、入力部１５を通じて、撮影画像の取得を終了する操作の入力を受け付けたか判定する。

撮影画像の取得が終了していないと判定すると（ＡＣＴ２２、ＮＯ）。処理部１１は、ＡＣＴ２１へ戻る。

撮影画像の取得が終了したと判定すると（ＡＣＴ２２、ＹＥＳ）。処理部１１は、取得された複数の撮影画像から結合画像を生成する（ＡＣＴ２３）。結合画像を生成すると、処理部１１は、結合画像に撮影漏れがあるかを判定する（ＡＣＴ２４）。

結合画像に撮影漏れがあると判定すると（ＡＣＴ２５、ＹＥＳ）、処理部１１は、表示部１６などに、撮影漏れ領域を提示する（ＡＣＴ２６）。

結合画像に撮影漏れがないと判定した場合（ＡＣＴ２５、ＮＯ）、又は、撮影漏れ領域を提示した場合（ＡＣＴ２６）、処理部１１は、動作を終了する。

なお、処理部１１は、撮影画像を取得するたびに、結合画像を生成してもよい。たとえば、処理部１１、撮影画像を取得するたびに、既存の結合画像に撮影画像を追加的につなぎ合わせてもよい。
また、処理部１１は、撮影漏れがないと判定した場合に、撮影漏れがないことを提示してもよい。

また、処理部１１は、複数個の撮影対象物について、撮影が終了したか、又は、撮影漏れがないかを示してもよい。
図１３は、処理部１１が複数の撮影対象物について、撮影が終了したか、又は、撮影漏れがないかを可視化した配置図の例を示す。
処理部１１は、表示部１６などに、配置図を表示する。

配置図は、複数の撮影対象物を表示する。図１３が示す例において、配置図は、複数個の商品棚（撮影対象物）について、撮影が終了したか、又は、撮影漏れがないかを色又は濃度によって示す。

配置図において、たとえば、商品棚７１は、撮影する必要がない商品棚である。商品棚７２は、撮影が終了し撮影漏れのない商品棚である。商品棚７３は、２／３程度撮影が終了した商品棚である。商品棚７４は、１／３程度撮影が終了した商品棚である。商品棚７５は、未撮影の商品棚である。商品棚７６は、撮影が終了したが撮影漏れのある商品棚である。図１３が示す配置図は、色の濃淡によって商品棚の撮影状態を示す。

以上のように構成された画像処理装置は、複数の撮影画像から結合画像を生成し、結合画像に基づいて撮影漏れがないか判定することができる。また、画像処理装置は、撮影漏れ領域を特定することができる。その結果、画像処理装置は、画像の取得状況を容易に確認し、画像を取得できなかった領域を提示することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…画像処理装置、２…商品棚、１１…処理部、１２…撮影部、１６…表示部、１７…距離センサ、２０ａ及び２０ｂ…表示領域、２１…画像取得部、２２…画像縮小部、２３…画像貼り合わせ部、２４…表示処理部、２５…計算部、２６…画像貼り合わせ部、２７…撮影漏れ判定部、２８…距離画像取得部、３１…結合画像、３２…最小矩形、３３及び３４…未結合領域、３５及び３６…エッジループ、４１…結合画像、４２…撮影対象領域、４３ａ乃至４３ｄ…未結合領域、５１…撮影対象物、５２ａ乃至５２ｄ…表示領域、６１…撮影対象領域、７１乃至７７…商品棚。

実施形態によれば、画像処理装置は、画像取得部と、結合部と、特定部と、を備える。画像取得部は、徐々に変化する撮影範囲を有する複数の撮影画像を取得する。結合部は、前記画像取得部が取得した複数の前記撮影画像を結合して、結合画像を生成する。特定部は、前記結合画像に撮影対象物が写る撮影対象領域を設定し、前記撮影対象領域内に未結合領域があると判定した場合、前記撮影対象領域内の未結合領域を撮影漏れ領域と特定する。前記特定部は、前記撮影対象物に表示される特定コードに基づいて、前記撮影対象領域を設定する。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
画像を表示する表示部と、
徐々に変化する撮影範囲を有する複数の撮影画像を取得する画像取得部と、
前記画像取得部が取得した複数の前記撮影画像を縮小する縮小処理部と、
前記縮小処理部が縮小した複数の前記撮影画像を結合して、プレビュー画像を生成する結合部と、
前記画像取得部が取得した前記撮影画像を表示する前記表示部の一部に前記プレビュー画像を表示する表示処理部と、
を備える画像処理装置。
［Ｃ２］
画像を撮影する撮影部を備え、
前記画像取得部は、前記撮影部を用いて前記撮影画像を取得し、
前記表示処理部は、前記プレビュー画像上に、前記撮影部が撮影している撮影画像を示す撮影画像枠を表示する、
前記Ｃ１に記載の画像処理装置。
［Ｃ３］
徐々に変化する撮影範囲を有する複数の撮影画像を取得する画像取得部と、
前記画像取得部が取得した複数の前記撮影画像を結合して、結合画像を生成する結合部と、
前記結合部が結合した前記結合画像がループ状に形成される場合、前記結合画像に囲まれる未結合領域を撮影漏れ領域と特定する特定部と、
を備える画像処理装置。
［Ｃ４］
徐々に変化する撮影範囲を有する複数の撮影画像を取得する画像取得部と、
前記画像取得部が取得した複数の前記撮影画像を結合して、結合画像を生成する結合部と、
前記結合画像に撮影対象物が写る撮影対象領域を設定し、前記撮影対象領域内に未結合領域があると判定した場合、前記撮影対象領域内の未結合領域を撮影漏れ領域と特定する特定部と、
を備える画像処理装置。
［Ｃ５］
前記特定部は、前記撮影対象物に表示される特定コードに基づいて、前記撮影対象領域を設定する、
前記Ｃ４に記載の画像処理装置。

Claims

画像を表示する表示部と、
徐々に変化する撮影範囲を有する複数の撮影画像を取得する画像取得部と、
前記画像取得部が取得した複数の前記撮影画像を縮小する縮小処理部と、
前記縮小処理部が縮小した複数の前記撮影画像を結合して、プレビュー画像を生成する結合部と、
前記画像取得部が取得した前記撮影画像を表示する前記表示部の一部に前記プレビュー画像を表示する表示処理部と、
を備える画像処理装置。
画像を撮影する撮影部を備え、
前記画像取得部は、前記撮影部を用いて前記撮影画像を取得し、
前記表示処理部は、前記プレビュー画像上に、前記撮影部が撮影している撮影画像を示す撮影画像枠を表示する、
前記請求項１に記載の画像処理装置。
徐々に変化する撮影範囲を有する複数の撮影画像を取得する画像取得部と、
前記画像取得部が取得した複数の前記撮影画像を結合して、結合画像を生成する結合部と、
前記結合部が結合した前記結合画像がループ状に形成される場合、前記結合画像に囲まれる未結合領域を撮影漏れ領域と特定する特定部と、
を備える画像処理装置。
徐々に変化する撮影範囲を有する複数の撮影画像を取得する画像取得部と、
前記画像取得部が取得した複数の前記撮影画像を結合して、結合画像を生成する結合部と、
前記結合画像に撮影対象物が写る撮影対象領域を設定し、前記撮影対象領域内に未結合領域があると判定した場合、前記撮影対象領域内の未結合領域を撮影漏れ領域と特定する特定部と、
を備える画像処理装置。
前記特定部は、前記撮影対象物に表示される特定コードに基づいて、前記撮影対象領域を設定する、
前記請求項４に記載の画像処理装置。