JP2019015553A - 情報処理装置、情報処理方法および個体撮像装置 - Google Patents

Abstract

【課題】必要な画像のフレーム数を低減しつつ、撮像範囲および投光に課される制約を緩和して、被写体の形状の限定なく被写体のサイズを自動的に測定することが可能な技術が提供されることが望まれる。
【解決手段】奥行き情報を取得する奥行き情報取得部と、前記奥行き情報を３次元データに変換するデータ変換部と、前記３次元データに基づいて被写体が存在する被写体領域を抽出する被写体抽出部と、前記被写体領域に基づいて前記被写体のサイズを測定するサイズ測定部と、を備え、前記サイズ測定部は、前記被写体領域に外接する６平面を検出し、前記６平面に基づいて、前記被写体のサイズを測定する、情報処理装置が提供される。
【選択図】図２

Description

本開示は、情報処理装置、情報処理方法および個体撮像装置に関する。

近年、被写体のサイズを測定する技術が存在する。例えば、直方体形状の被写体がカメラによって撮像されて画面に表示され、ユーザによって、直方体形状の被写体の３辺が集まる頂点と、当該頂点に集まる３辺それぞれの両端のうち、当該頂点とは反対側の各他端との合計４点の位置が画面上において指定されると、この指定位置に基づいて被写体のサイズを測定する技術が開示されている（例えば、特許文献１参照。）。

また、直方体形状の被写体の３辺が集まる頂点付近に幾何学的形状の光パターンを投光する投光部と、被写体によって反射された光パターンを撮像する２つのカメラと、２つのカメラそれぞれによって撮像された画像から得られる視差情報に基づいて、被写体のサイズを測定する測定部とを有するサイズ測定装置に関する技術が開示されている（例えば、特許文献２参照。）。かかるサイズ測定装置は、幾何学的形状の光パターンを投光する投光部および２つのカメラを有するアクティブステレオカメラを前提として有している。

さらに、周期的に距離画像を取得する画像取得部と、複数フレームの距離画像に基づいて距離画像ごとに形状データを生成する形状データ生成部と、複数フレームの距離画像に基づいて、距離画像ごとに位置および角度を推定する推定部と、形状データと位置および角度とに基づいて、被写体を検出する検出部と、検出された被写体のサイズを測定する測定部とを有する測定装置に関する技術が開示されている（例えば、特許文献３参照。）。

国際公開第１４／００６８３２号 特開２０１３−２５３７９９号公報 特開２０１３−１９６３５５号公報

しかし、被写体のサイズを測定するために、ユーザによる位置指定が必要である場合、位置指定のための手間がユーザに掛かってしまい、被写体の形状も直方体形状に限定されてしまう。また、直方体形状の被写体の３辺が集まる頂点付近に幾何学的形状の光パターンを投光する必要がある場合、撮像範囲および投光に制約が課されてしまう。さらに、距離画像を複数フレーム撮像する必要がある場合、距離画像を複数フレーム撮像するための時間を要してしまう。

そこで、必要な画像のフレーム数を低減しつつ、撮像範囲および投光に課される制約を緩和して、被写体の形状の限定なく被写体のサイズを自動的に測定することが可能な技術が提供されることが望まれる。

本開示によれば、奥行き情報を取得する奥行き情報取得部と、前記奥行き情報を３次元データに変換するデータ変換部と、前記３次元データに基づいて被写体が存在する被写体領域を抽出する被写体抽出部と、前記被写体領域に基づいて前記被写体のサイズを測定するサイズ測定部と、を備え、前記サイズ測定部は、前記被写体領域に外接する６平面を検出し、前記６平面に基づいて、前記被写体のサイズを測定する、情報処理装置が提供される。

本開示によれば、奥行き情報を取得することと、前記奥行き情報を３次元データに変換することと、前記３次元データに基づいて被写体が存在する被写体領域を抽出することと、前記被写体領域に基づいて前記被写体のサイズを測定することと、を含み、プロセッサにより、前記被写体領域に外接する６平面を検出し、前記６平面に基づいて、前記被写体のサイズを測定することを含む、情報処理方法が提供される。

本開示によれば、奥行き情報を取得する奥行き情報取得部と、前記奥行き情報を３次元データに変換するデータ変換部と、前記３次元データに基づいて被写体が存在する被写体領域を抽出する被写体抽出部と、前記被写体領域に基づいて前記被写体のサイズを測定するサイズ測定部と、を備え、前記サイズ測定部は、前記被写体領域に外接する６平面を検出し、前記６平面に基づいて、前記被写体のサイズを測定する、個体撮像装置が提供される。

以上説明したように本開示によれば、必要な画像のフレーム数を低減しつつ、撮像範囲および投光に課される制約を緩和して、被写体の形状の限定なく被写体のサイズを自動的に測定することが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る情報処理装置が利用される様子を示す図である。 本開示の第１の実施形態に係る情報処理装置の機能構成例を示すブロック図である。 奥行き情報検出部の撮像方向の例について説明するための第１の図である。 奥行き情報検出部の撮像方向の例について説明するための第２の図である。 奥行き情報検出部の撮像方向の例について説明するための第３の図である。 基準平面を算出する例を説明するための図である。 上面および下面の算出の例について説明するための図である。 上面および下面の算出の他の例について説明するための図である。 サイズ測定の例について説明するための図である。 向かい合う平行な２つの平面３組それぞれの距離の例を示す図である。 被写体の一例としての箱に対するサイズ測定の結果の例を示す図である。 被写体の他の一例としての紙袋に対するサイズ測定の結果の例を示す図である。 被写体のサイズに基づく表示の第１の例を示す図である。 被写体のサイズに基づく表示の第２の例を示す図である。 被写体のサイズに基づく表示の第３の例を示す図である。 被写体のサイズに基づく表示の第４の例を示す図である。 被写体のサイズに基づく表示の第５の例を示す図である。 被写体領域の表示の第１の例を示す図である。 被写体領域の表示の第２の例を示す図である。 ２層の積層イメージセンサの構成例を示す図である。 ２層の積層イメージセンサの詳細構成例を示す図である。 ３層の積層イメージセンサの構成例を示す図である。 ３層の積層イメージセンサの詳細構成例を示す図である。 複数の被写体それぞれのサイズに基づく所定の表示の例を示す図である。 本開示の第１の実施形態に係る情報処理装置の動作の例を示すフローチャートである。 被写体に外接する平面の算出の動作の詳細を示すフローチャートである。 複数回奥行き情報を得る第１の例を説明するための図である。 複数回奥行き情報を得る第２の例を説明するための図である。 本開示の第１の実施形態に係る情報処理装置の奥行き情報を複数回得る場合の動作の例を示すフローチャートである。 本開示の第２の実施形態に係る情報処理装置の機能構成例を示すブロック図である。 複数の被写体から自動的に１つの被写体を選択する第１の例を説明するための図である。 複数の被写体から自動的に１つの被写体を選択する第２の例を説明するための図である。 複数の被写体から自動的に１つの被写体を選択する第３の例を説明するための図である。 複数の被写体から自動的に１つの被写体を選択する第４の例を説明するための図である。 複数の被写体からユーザ操作に基づいて１つの被写体を選択する第１の例を説明するための図である。 複数の被写体からユーザ操作に基づいて１つの被写体を選択する第２の例を説明するための図である。 本開示の第２の実施形態に係る情報処理装置の被写体を選択する場合の動作の例を示すフローチャートである。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
０．概要
１．第１の実施形態
１．１．情報処理装置の機能構成例
１．２．情報処理装置の機能詳細
１．２．１．撮像方向の例
１．２．２．３次元データの取得
１．２．３．重力方向の算出
１．２．４．被写体の抽出
１．２．５．基準平面の算出
１．２．６．サイズの測定
１．２．７．サイズに基づく表示
１．２．８．センサの構成例
１．２．９．被写体が複数の場合
１．２．１０．動作例
１．２．１１．奥行き情報を複数回得る場合
１．２．１２．奥行き情報を複数回得る場合の動作例
１．２．１３．第１の実施形態のまとめ
２．第２の実施形態
２．１．情報処理装置の機能構成例
２．２．情報処理装置の機能詳細
２．２．１．被写体の自動的な選択
２．２．２．ユーザ操作に基づく被写体の選択
２．２．３．被写体を選択する場合の動作例
２．２．４．第２の実施形態のまとめ
３．ハードウェア構成例
４．むすび

＜０．概要＞
近年、被写体のサイズを測定する技術が存在する。例えば、直方体形状の被写体がカメラによって撮像されて画面に表示され、ユーザによって、直方体形状の被写体の３辺が集まる頂点と、当該頂点に集まる３辺それぞれの両端のうち、当該頂点とは反対側の各他端との合計４点の位置が画面上において指定されると、この指定位置に基づいて被写体のサイズを測定する技術が開示されている。

しかし、被写体のサイズを測定するために、ユーザによる位置指定が必要である場合、位置指定のための手間がユーザに掛かってしまい、被写体の形状も直方体形状に限定されてしまう。

また、直方体形状の被写体の３辺が集まる頂点付近に幾何学的形状の光パターンを投光する投光部と、被写体によって反射された光パターンを撮像する２つのカメラと、２つのカメラそれぞれによって撮像された画像から得られる視差情報に基づいて、被写体のサイズを測定する測定部とを有するサイズ測定装置に関する技術が開示されている。かかるサイズ測定装置は、幾何学的形状の光パターンを投光する投光部および２つのカメラを有するアクティブステレオカメラを前提として有している。

しかし、被写体のサイズを測定するために、直方体形状の被写体の３辺が集まる頂点付近に幾何学的形状の光パターンを投光する必要がある場合、撮像範囲および投光に制約が課されてしまう。

さらに、周期的に距離画像を取得する画像取得部と、複数フレームの距離画像に基づいて距離画像ごとに形状データを生成する形状データ生成部と、複数フレームの距離画像に基づいて、距離画像ごとに位置および角度を推定する推定部と、形状データと位置および角度とに基づいて、被写体を検出する検出部と、検出された被写体のサイズを測定する測定部とを有する測定装置に関する技術が開示されている。

しかし、被写体のサイズを測定するために、距離画像を複数フレーム撮像する必要がある場合、距離画像を複数フレーム撮像するための時間を要してしまう。

図１は、本開示の実施形態に係る情報処理装置が利用される様子を示す図である。図１に示すように、平面４０には被写体３０が載置されている。ただし、被写体３０は、平面４０の上とは異なる場所に存在していてもよい。また、ユーザは、情報処理装置１０を保持している。情報処理装置１０には図示しないカメラが設けられており、かかるカメラを被写体３０に向けると、カメラによって撮像された被写体３０が情報処理装置１０の表示部１６０によって表示され、被写体３０のサイズが測定される。

本開示の実施形態に係る情報処理装置１０によれば、必要な画像のフレーム数を低減しつつ、撮像範囲および投光に課される制約を緩和して、被写体の形状の限定なく自動的に被写体３０のサイズを測定することが可能である。以下では、かかる情報処理装置１０の詳細について説明する。

以上、本開示の一実施形態の概要について説明した。

＜１．第１の実施形態＞
続いて、本開示の第１の実施形態について説明する。

［１．１．情報処理装置の機能構成例］
続いて、本開示の第１の実施形態に係る情報処理装置の機能構成例について説明する。図２は、本開示の第１の実施形態に係る情報処理装置の機能構成例を示すブロック図である。図２に示したように、本開示の第１の実施形態に係る情報処理装置１０Ａは、制御部１１０、奥行き情報検出部１２１、加速度検出部１２２、操作部１３０、通信部１４０、記憶部１５０、および、表示部１６０を備える。

本開示の第１の実施形態において、制御部１１０は、奥行き情報取得部１１１、データ変換部１１２、基準平面算出部１１３、被写体抽出部１１４、サイズ測定部１１５、表示制御部１１６、加速度取得部１１７および重力方向算出部１１８を有する。以下、情報処理装置１０Ａが備えるこれらの機能ブロックについて説明する。

なお、本開示の実施形態に係る情報処理装置１０Ａは、各種の電子機器に適用され得る。例えば、情報処理装置１０Ａが適用される電子機器は、スマートフォンであってもよいし、携帯電話であってもよいし、タブレット端末であってもよいし、ヘッドマウントディスプレイであってもよい。あるいは、情報処理装置１０Ａが適用される電子機器は、撮像装置（例えば、個体撮像装置）であってもよい。撮像装置は、デジタルカメラ、車両に搭載される車載カメラなどであってよい。

制御部１１０は、例えば、１または複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算処理装置）などといった処理装置によって構成されてよい。これらのブロックがＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は電子回路によって構成されてよい。これらのブロックについては、後に詳細に説明する。

奥行き情報検出部１２１は、奥行き情報を検出するセンサによって構成される。本開示の第１の実施形態においては、奥行き情報検出部１２１が、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサによって構成される場合を主に想定する。奥行き情報検出部１２１がＴＯＦセンサによって構成される場合には、幾つかのメリットが享受される。

例えば、被写体のサイズ測定は光量が不十分な環境（例えば、室内などの暗い環境）において行われる可能性もあり、模様がない被写体（例えば、段ボールなど）に対してサイズ測定が行われる可能性もある。そのため、被写体のサイズ測定に利用される奥行き情報を高精度に得ることは有用である。ＴＯＦセンサによれば、アクティブ方式によって（光の照射によって）光量が不十分な環境においても被写体の奥行き情報を高精度に得ることが可能である。また、ＴＯＦセンサによれば、模様がない被写体の奥行き情報も高精度に得ることが可能である。

しかし、奥行き情報検出部１２１は、ＴＯＦセンサ以外のセンサによって構成されてもよい。例えば、奥行き情報検出部１２１は、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ法による距離画像センサによって構成されてもよいし、ステレオカメラによって構成されてもよい。

加速度検出部１２２は、加速度センサによって構成される。例えば、加速度検出部１２２によって検出された加速度は、制御部１１０に提供され、制御部１１０による重力方向の算出に用いられる。なお、制御部１１０によって重力方向が利用されない場合などには、情報処理装置１０Ａは、加速度検出部１２２を有していなくてもよい。

操作部１３０は、ユーザによる操作の入力を受け付ける機能を有する。本開示の第１の実施形態においては、操作部１３０が、タッチパネルおよびボタンを含む場合を主に想定する。しかし、操作部１３０は、マウス、キーボード、スイッチおよびレバーなどを含んでもよい。また、操作部１３０は、ユーザの音声を検出するマイクロフォンを含んでもよい。

通信部１４０は、通信回路を含んで構成され、通信ネットワークを介して通信ネットワークに接続された他の装置からのデータの取得および当該他の装置へのデータの提供を行う機能を有する。例えば、通信部１４０は、通信インターフェースにより構成される。

記憶部１５０は、メモリを含んで構成され、制御部１１０によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部１５０は、制御部１１０による演算のためにデータを一時的に記憶する。例えば、記憶部１５０は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスにより構成される。

表示部１６０は、各種の情報を出力する。例えば、表示部１６０は、ユーザに視認可能な表示を行うことが可能なディスプレイを含んでよい。このとき、ディスプレイは、液晶ディスプレイであってもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであってもよい。なお、情報表示の必要がない場合などには、情報処理装置１０Ａは、表示部１６０を有していなくてもよい。

なお、本開示の第１の実施形態においては、奥行き情報検出部１２１、加速度検出部１２２、操作部１３０、通信部１４０、記憶部１５０および表示部１６０が情報処理装置１０Ａの内部に存在する場合を主に想定する。しかし、奥行き情報検出部１２１、加速度検出部１２２、操作部１３０、通信部１４０、記憶部１５０および表示部１６０の少なくともいずれか一つは、情報処理装置１０Ａの外部に存在していてもよい。

以上、本開示の第１の実施形態に係る情報処理装置１０Ａの機能構成例について説明した。

［１．２．情報処理装置の機能詳細］
続いて、本開示の第１の実施形態に係る情報処理装置１０Ａの機能詳細について説明する。まず、ユーザは、奥行き情報検出部１２１によって被写体３０が撮像されるように、情報処理装置１０の位置および姿勢を調整する。

（１．２．１．撮像方向の例）
図３は、奥行き情報検出部１２１の撮像方向の例について説明するための第１の図である。図３を参照すると、平面４０の上に被写体３０が載置されている。ここで、奥行き情報検出部１２１は、少なくとも被写体３０の上面を検出可能な位置に配置されるのがよい。被写体３０の上面が検出されれば、被写体３０の上面の形状および位置に基づいて、被写体領域に外接する６平面を容易に検出することが可能となる。

図３を参照すると、被写体３０の上面を検出可能な位置に配置された奥行き情報検出部１２１の例として、奥行き情報検出部１２１−１および奥行き情報検出部１２１−２が示されている。また、被写体３０の上面を検出可能な位置は、撮像方向と平面４０の法線方向とのなす角度が９０度よりも大きい位置に相当し得る。あるいは、被写体３０の上面を検出可能な位置は、撮像方向と重力方向とのなす角度が９０度よりも小さい位置に相当し得る。

図４は、奥行き情報検出部１２１の撮像方向の例について説明するための第２の図である。図４を参照すると、被写体３０が載置されている平面４０の法線方向５１が示されている。このとき、奥行き情報検出部１２１は、撮像方向と平面４０の法線方向５１とのなす角度が９０度よりも大きくなるように配置されるとよい。そうすれば、奥行き情報検出部１２１によって、少なくとも被写体３０の上面が検出され得る。図４を参照すると、撮像方向と平面４０の法線方向５１とのなす角度が９０度よりも大きくなるように配置された奥行き情報検出部１２１の例として、奥行き情報検出部１２１−１および奥行き情報検出部１２１−２が示されている。

図５は、奥行き情報検出部１２１の撮像方向の例について説明するための第３の図である。図５を参照すると、重力方向５２が示されている。このとき、奥行き情報検出部１２１は、撮像方向と重力方向５２とのなす角度が９０度よりも小さくなるように配置されるとよい。そうすれば、奥行き情報検出部１２１によって、少なくとも被写体３０の上面が検出され得る。図５を参照すると、撮像方向と重力方向５２とのなす角度が９０度よりも小さくなるように配置された奥行き情報検出部１２１の例として、奥行き情報検出部１２１−１および奥行き情報検出部１２１−２が示されている。

（１．２．２．３次元データの取得）
図２に戻って説明を続ける。奥行き情報取得部１１１は、奥行き情報検出部１２１によって検出された奥行き情報を取得する。データ変換部１１２は、奥行き情報取得部１１１によって取得された奥行き情報を３次元データに変換する。より具体的には、データ変換部１１２は、奥行き情報を構成する画素ごとの距離情報を実空間における３次元座標に変換する。

（１．２．３．重力方向の算出）
加速度取得部１１７は、加速度検出部１２２によって検出された加速度を取得する。重力方向算出部１１８は、加速度取得部１１７によって取得された加速度に基づいて重力方向を算出する。なお、制御部１１０によって重力方向が利用されない場合などには、制御部１１０は、加速度取得部１１７および重力方向算出部１１８を有していなくてもよい。

（１．２．４．被写体の抽出）
被写体抽出部１１４は、データ変換部１１２によって得られた３次元データに基づいて被写体が存在する被写体領域を抽出する。ここで、被写体領域はどのようにして抽出されてもよい。例えば、サイズ測定対象の被写体は、撮像範囲（画面）の中心または中心に近い位置に存在する可能性がある。そのため、被写体抽出部１１４は、３次元データに基づいて、クラスタリングによって３次元点群の塊を物体領域として決定し、撮像範囲（画面）の中心から所定の距離以内にある物体領域を被写体領域として抽出してもよい。

あるいは、サイズ測定対象の被写体は、撮像範囲（画面）の中に大きく写っている可能性がある。そのため、被写体抽出部１１４は、３次元データに基づいて、画面占有率が所定の割合よりも大きい物体領域を被写体領域として抽出してもよい。あるいは、サイズ測定対象の被写体は、奥行き情報検出部１２１の最も近くに存在している可能性がある。そのため、被写体抽出部１１４は、奥行き情報検出部１２１に最も近い物体領域を被写体領域として抽出してもよい。

あるいは、サイズ測定対象の被写体の形状があらかじめ分かっている場合も想定される。典型的には、サイズ測定対象の被写体の形状が直方体形状であると分かっている場合が想定されるが、サイズ測定対象の被写体の形状は直方体形状に限定されない。かかる場合には、被写体抽出部１１４は、あらかじめ把握されている形状（所定の形状）を有する物体領域を被写体領域として抽出してもよい。

サイズ測定対象の被写体の形状が直方体形状と決められている場合が想定される。かかる場合には、被写体抽出部１１４は、３次元データに基づいて、３平面に囲まれた頂点のうち撮像範囲（画面）の中心から所定の距離以内にある頂点と、その頂点を囲む３平面とを含む３次元点群の塊を被写体領域として抽出してもよい。このとき、被写体抽出部１１４は、単に３平面に囲まれた頂点を検出するのではなく、３平面に囲まれた頂点のうち、撮像範囲（画面）に凸形状の先端として写る頂点を検出してもよい。

（１．２．５．基準平面の算出）
本開示の第１の実施形態においては、基準平面算出部１１３が、基準平面を算出し、被写体抽出部１１４が、基準平面算出部１１３によって算出された基準平面の上に存在する物体領域を被写体領域として抽出する場合を主に想定する。そうすれば、被写体領域を迅速かつ高精度に見つけることが可能となる。しかし、被写体抽出部１１４は、基準平面を考慮せずに、被写体領域を抽出してもよい。このとき、制御部１１０は、基準平面算出部１１３を有していなくてもよい。

図６は、基準平面を算出する例を説明するための図である。図６を参照すると、撮像範囲（画面）の中に平面が３つ存在し、３つの平面それぞれの法線ｎ１〜ｎ３として示されている。ここで、基準平面の上に物体が存在していると仮定すると、基準平面は水平（重力方向に垂直）である可能性が高い。そこで、一例として、基準平面算出部１１３は、重力方向算出部１１８によって算出された重力方向Ｗに基づいて基準平面を検出するとよい。

より具体的には、基準平面算出部１１３は、重力方向Ｗとのなす角度が９０度に一致または９０度に近い平面を基準平面として検出すればよい。図６には、法線をｎ３とする平面４０と重力方向Ｗとのなす角度が９０度であるため、法線をｎ３とする平面４０が基準平面として検出され、その基準平面の上に存在する物体領域が被写体領域として抽出される例が示されている。

なお、本開示の第１の実施形態においては、基準平面算出部１１３は、重力方向に基づいて基準平面を検出する場合を主に想定するが、基準平面算出部１１３は、他の手法によって基準平面を検出してもよい。例えば、基準平面算出部１１３は、データ変換部１１２によって得られた３次元データに基づいて、支配的な平面を基準平面として検出してもよい。すなわち、基準平面算出部１１３は、撮像範囲（画面）における占有率が最も大きい平面を基準平面として検出してもよい。

あるいは、平面の上に被写体が存在している場合には、被写体が存在する平面と被写体の上面との法線方向が一致または類似することが想定される。しかし、被写体が存在する平面は、被写体の上面よりも奥行き情報検出部１２１からの距離が近いことが想定される。そこで、基準平面算出部１１３は、データ変換部１１２によって得られた３次元データに基づいて、法線方向が一致または類似する複数の平面のうち、奥行き情報検出部１２１からの距離がより遠い平面を基準平面として検出してもよい。

（１．２．６．サイズの測定）
サイズ測定部１１５は、被写体領域に基づいて被写体のサイズを測定する。このとき、サイズ測定部１１５は、被写体領域に外接する６平面を検出し、６平面に基づいて、被写体のサイズを測定する。

かかる構成によれば、必要な画像のフレーム数を低減しつつ、撮像範囲および投光に課される制約を緩和して、自動的に被写体のサイズを測定することが可能となる。なお、本開示の第１の実施形態においては、被写体領域に外接する６平面それぞれが、長方形であり、被写体領域に外接する６平面によって囲まれる立体が、直方体である場合を主に想定する。すなわち、サイズ測定部１１５は、被写体領域に外接する直方体の６平面を検出し、６平面に基づいて、被写体のサイズを測定する。

６平面は、上面、下面および４側面に分けられる。上面、下面および４側面の検出の例について説明する。

図７は、上面および下面の算出の例について説明するための図である。図７を参照すると、被写体３０と重力方向Ｗとが示されている。図７に示すように、サイズ測定部１１５は、被写体領域（被写体３０が存在する領域）に外接する上下方向（重力方向Ｗ）に垂直な２平面のうち、被写体領域（被写体３０が存在する領域）の上側に外接する平面を上面４２として検出する。また、サイズ測定部１１５は、被写体領域の下側に外接する平面を下面４１として検出する。

ここで、上下方向はどのようにして検出されてもよい。本開示の第１の実施形態においては、サイズ測定部１１５は、重力方向Ｗを上下方向として検出する場合を主に想定する。しかし、サイズ測定部１１５は、他の手法によって上下方向を検出してもよい。

図８は、上面および下面の算出の他の例について説明するための図である。図８を参照すると、被写体が存在する平面の法線方向５１が示されている。サイズ測定部１１５は、被写体が存在する平面の法線方向５１を上下方向として検出してもよい。被写体が存在する平面の法線方向は、基準平面算出部１１３によって算出された基準平面の法線方向でもよい。

このようにして、サイズ測定部１１５は、上面および下面を算出すると、上面に垂直であり、かつ、向かい合う平行な２つの平面２組からなる４側面を算出する。そして、サイズ測定部１１５は、６平面（上面、下面および４側面）において、向かい合う平行な２つの平面３組それぞれの距離を被写体３０のサイズとして測定する。なお、サイズ測定部１１５は、３平面に囲まれた頂点から伸びる３辺それぞれの長さに基づいて、被写体３０のサイズを測定してもよい。

被写体領域に外接する６平面としては、１通りの６平面だけが検出されてもよいが、サイズ測定部１１５によって複数通りの６平面が検出された上で、サイズ測定部１１５によって複数通りの６平面からサイズ測定に最適な６平面が決定されるのが望ましい。サイズ測定に最適な６平面は、被写体３０のサイズの体積に最も体積が近づく６平面（すなわち、体積が最小となる６平面）であってよい。

すなわち、サイズ測定部１１５は、被写体領域（被写体３０が存在する領域）に外接する複数通りの６平面を検出し、複数通りの６平面から、囲まれる体積が最小となる６平面を検出し、体積が最小となる６平面に基づいて、被写体３０のサイズを測定するとよい。

図９は、サイズ測定の例について説明するための図である。図９を参照すると、サイズ測定部１１５によって、４側面として、側面４３−１、側面４４−１、側面４５−１、側面４６−１が検出された例が示されている。また、サイズ測定部１１５によって、これらの４側面が上下方向を軸にして回転された４側面として、側面４３−２、側面４４−２、側面４５−２、側面４６−２が検出された例が示されている。

このようにして、サイズ測定部１１５は、４側面を回転しながら複数通りの６平面を検出し、複数通りの６平面から、囲まれる体積が最小となる６平面を検出すればよい。サイズ測定部１１５は、囲まれる体積が最小となる６平面（上面、下面および４側面）において、向かい合う平行な２つの平面３組それぞれの距離を被写体３０のサイズとして測定する。

図１０は、向かい合う平行な２つの平面３組それぞれの距離の例を示す図である。図１０を参照すると、被写体領域（被写体３０が存在する領域）に外接する体積最小となる６平面が示されている。また、図１０を参照すると、かかる６平面のうち、向かい合う平行な２つの平面３組それぞれの距離が、Ｌｘ、Ｌｙ、Ｌｚとして示されている。一例として、サイズ測定部１１５は、検出した６平面のうち向かい合う平行な２つの平面３組それぞれの距離Ｌｘ、Ｌｙ、Ｌｚを被写体３０のサイズとして測定してよい。

図１１は、被写体の一例としての箱に対するサイズ測定の結果の例を示す図である。図１１を参照すると、被写体の一例としての箱３０−１に外接する６平面が検出され、この６平面のうち、向かい合う平行な２つの平面３組それぞれの距離が「１１０ｍｍ」「１９０ｍｍ」「２６０ｍｍ」として示されている。この例に示されるように、本開示の第１の実施形態によれば、直方体形状の被写体のサイズを測定することが可能である。

図１２は、被写体の他の一例としての紙袋に対するサイズ測定の結果の例を示す図である。図１２を参照すると、被写体の他の一例としての紙袋３０−２に外接する６平面が検出され、この６平面のうち、向かい合う平行な２つの平面３組それぞれの距離が「１５３ｍｍ」「２７２ｍｍ」「２６３ｍｍ」として示されている。この例に示されるように、本開示の第１の実施形態によれば、直方体形状以外の形状の被写体に対しても、サイズを測定することが可能である。

（１．２．７．サイズに基づく表示）
サイズ測定部１１５によって被写体３０のサイズが測定されると、表示制御部１１６は、被写体３０のサイズに基づく所定の表示が、撮像画像に重畳されて表示されるように制御する。ここでは、表示制御部１１６が、撮像画像として、奥行き情報検出部１２１によって検出された距離画像の表示を制御する場合を主に想定する。しかし、撮像画像はかかる例に限定されない。例えば、表示制御部１１６は、撮像画像として、奥行き情報検出部１２１とは異なるイメージセンサによって撮像された画像の表示を制御してもよい。そうすれば、被写体３０の視認性が向上することが期待される。

図１３は、被写体のサイズに基づく表示の第１の例を示す図である。図１３を参照すると、表示制御部１１６は、奥行き情報検出部１２１によって検出された被写体３０の表示部１６０による表示を制御している。また、図１３を参照すると、表示制御部１１６は、被写体３０のサイズに基づく表示の例として、被写体３０のサイズ「（縦×横×高さ＝）Ａｍｍ×Ｂｍｍ×Ｃｍｍ」の表示を制御している。

図１４は、被写体のサイズに基づく表示の第２の例を示す図である。図１４を参照すると、表示制御部１１６は、被写体３０のサイズに基づく表示の例として、被写体３０のサイズ（図１４に示した例では、縦、横、高さそれぞれのサイズ）に対応する画面上の範囲の表示（図１４に示した例では、両方向の矢印）を制御している。また、図１４には、表示制御部１１６が、被写体のサイズ（「Ａｍｍ」「Ｂｍｍ」「Ｃｍｍ」）の各範囲（縦、横、高さの範囲）に対応する位置への表示を制御する例が示されている。

図１５は、被写体のサイズに基づく表示の第３の例を示す図である。図１５を参照すると、表示制御部１１６は、被写体３０のサイズに基づく表示の例として、被写体領域に外接する６平面の表示を制御している。また、図１５には、表示制御部１１６が、被写体３０のサイズ（「Ａｍｍ」「Ｂｍｍ」「Ｃｍｍ」）と被写体３０のサイズに対応する画面上の範囲（両方向の矢印）の表示を制御する例が示されている。

図１６は、被写体のサイズに基づく表示の第４の例を示す図である。図１６を参照すると、表示制御部１１６は、被写体３０のサイズに基づく表示の例として、被写体３０のサイズの合計（「Ｄｍｍ」）の表示を制御している。この被写体３０のサイズの合計は、被写体領域に外接する直方体の１つの頂点に集まる３辺（縦と横と高さ）それぞれの長さ（「Ａｍｍ」と「Ｂｍｍ」と「Ｃｍｍ」）の合計であってよい。また、図１６には、表示制御部１１６が、被写体３０のサイズ（「Ａｍｍ」「Ｂｍｍ」「Ｃｍｍ」）の表示を制御する例が示されている。

図１７は、被写体のサイズに基づく表示の第５の例を示す図である。図１７を参照すると、表示制御部１１６は、被写体３０のサイズに基づく表示の例として、被写体３０のサイズに対応する価格（「￥ＸＸＸ」）の表示を制御している。例えば、価格は、運送会社による輸送に掛かる金額であってよく、サイズと価格との対応関係は、あらかじめ決められていてよい。また、図１７には、表示制御部１１６が、被写体３０のサイズ（「Ａｍｍ」「Ｂｍｍ」「Ｃｍｍ」）と被写体３０のサイズの合計（「Ｄｍｍ」）の表示を制御する例が示されている。

上記では、被写体のサイズに基づく表示の例について説明した。このとき、どの物体のサイズに基づく表示がなされているのかをユーザが把握できるようにするのが望ましい。すなわち、表示制御部１１６は、被写体領域と他の領域とを区別可能に表示制御するのが望ましい。

図１８は、被写体領域の表示の第１の例を示す図である。図１８に示すように、表示制御部１１６は、被写体領域（被写体３０が存在する領域）と他の領域（例えば、床面）とが異なる色で表示されるように表示制御してもよい。被写体領域（被写体３０が存在する領域）および他の領域（例えば、床面）それぞれの色は限定されない。

図１９は、被写体領域の表示の第２の例を示す図である。図１９に示すように、表示制御部１１６は、被写体領域（被写体３０が存在する領域）と他の領域（例えば、床面）とが異なる明るさで表示されるように表示制御してもよい。例えば、表示制御部１１６は、被写体領域（被写体３０が存在する領域）の明るさが、他の領域（例えば、床面）の明るさよりも高くなるように表示制御してもよい。

（１．２．８．センサの構成例）
続いて、センサの構成例について説明する。ここで、上記では、奥行き情報検出部１２１および制御部１１０それぞれについて説明したが、奥行き情報検出部１２１と制御部１１０の少なくとも一部とは、積層イメージセンサを構成してもよい。例えば、積層イメージセンサは、ＴＯＦセンサであってもよい。例えば、積層イメージセンサは、２層の積層イメージセンサを構成してもよい。

図２０は、２層の積層イメージセンサの構成例を示す図である。図２１は、２層の積層イメージセンサの詳細構成例を示す図である。図２０を参照すると、２層の積層イメージセンサにおいては、画素領域１２１１と信号処理回路領域１２１２とが積層されている。また、図２１に示すように、信号処理回路領域１２１２には、データ変換部１１２、被写体抽出部１１４、サイズ測定部１１５、カメラ信号処理部１１９１などが含まれていてよい。なお、信号処理回路領域１２１２には、制御部１１０が有する他の構成がさらに含まれてもよい。

画素領域１２１１によって検出された画素ごとの距離情報は、データ変換部１１２およびカメラ信号処理部１１９１に出力される。上記したように、データ変換部１１２は、画素ごとの距離情報を３次元データに変換し、被写体抽出部１１４は、３次元データに基づいて被写体領域を抽出し、サイズ測定部１１５は、被写体領域に基づいて被写体のサイズを測定して出力する。一方、カメラ信号処理部１１９１は、画素ごとの距離情報を処理して、表示可能な撮像画像として出力する。

あるいは、積層イメージセンサは、３層の積層イメージセンサを構成してもよい。

図２２は、３層の積層イメージセンサの構成例を示す図である。図２３は、３層の積層イメージセンサの詳細構成例を示す図である。図２２を参照すると、３層の積層イメージセンサにおいては、画素領域１２１１および信号処理回路領域１２１２の他に、メモリ領域が積層されている。また、図２３に示すように、メモリ領域１２１３には、データ変換部１１２によって得られた３次元データを保持する３次元データ保持部１５１が含まれていてよい。

被写体抽出部１１４は、３次元データ保持部１５１から３次元データを取得し、取得した３次元データに基づいて被写体領域を抽出する。また、サイズ測定部１１５は、３次元データ保持部１５１から３次元データを取得し、取得した３次元データと被写体抽出部１１４によって抽出された被写体領域を示す情報とに基づいて被写体のサイズを測定して出力する。３層の積層イメージセンサにおける他の構成については、図２１および図２２を参照しながら既に説明した通りである。

（１．２．９．被写体が複数の場合）
上記では、１つの被写体のサイズを測定する場合を主に説明した。しかし、サイズ測定対象の被写体の数は特に限定されない。例えば、上記したような１つの被写体に対するサイズ測定を、複数の被写体に対して行うことによって、複数の被写体それぞれのサイズを測定することが可能である。すなわち、サイズ測定部１１５は、複数の被写体領域が抽出された場合、複数の被写体領域に基づいて複数の被写体それぞれのサイズを測定することが可能である。

このとき、表示制御部１１６は、複数の被写体それぞれのサイズに基づく所定の表示が撮像画像に重畳されて表示されるように制御すればよい。

図２４は、複数の被写体それぞれのサイズに基づく所定の表示の例を示す図である。図２４を参照すると、撮像範囲（画面）に複数の被写体３０が存在している。特に、図２４に示した例では、撮像範囲（画面）に、被写体３０−３、被写体３０−４および被写体３０−５が存在している（被写体３０が撮像範囲（画面）に３つ存在している）。しかし、撮像範囲（画面）に存在する被写体３０の数は、３つに限定されない。

図２４を参照すると、表示制御部１１６は、被写体３０−３のサイズに基づく表示の例として、被写体３０−３のサイズ「（縦×横×高さ＝）ａｘ×ａｙ×ａｚ」、被写体３０−３のサイズの合計「ａ」、および、被写体３０−３のサイズに対応する価格「￥ａａａ」が、被写体３０−３の位置に対応する位置に表示されるように制御している。

また、図２４を参照すると、表示制御部１１６は、被写体３０−４のサイズに基づく表示の例として、被写体３０−４のサイズ「（縦×横×高さ＝）ｂｘ×ｂｙ×ｂｚ」、被写体３０−４のサイズの合計「ｂ」、および、被写体３０−４のサイズに対応する価格「￥ｂｂｂ」が、被写体３０−４の位置に対応する位置に表示されるように制御している。

また、図２４を参照すると、表示制御部１１６は、被写体３０−５のサイズに基づく表示の例として、被写体３０−５のサイズ「（縦×横×高さ＝）ｃｘ×ｃｙ×ｃｚ」、被写体３０−５のサイズの合計「ｃ」、および、被写体３０−５のサイズに対応する価格「￥ｃｃｃ」が、被写体３０−５の位置に対応する位置に表示されるように制御している。

また、図２４を参照すると、表示制御部１１６は、被写体３０−３のサイズに対応する価格「￥ａａａ」と被写体３０−４のサイズに対応する価格「￥ｂｂｂ」と被写体３０−５のサイズに対応する価格「￥ｃｃｃ」との合計「￥ｄｄｄ」が表示されるように制御している。

なお、表示制御部１１６は、被写体３０−３、被写体３０−４および被写体３０−５に基づく他の表示を制御してもよい。

例えば、表示制御部１１６は、被写体３０−３、被写体３０−４および被写体３０−５それぞれのサイズに対応する画面上の範囲の表示を制御してもよい。あるいは、表示制御部１１６は、被写体３０−３、被写体３０−４および被写体３０−５それぞれのサイズの合計の表示を制御してもよい。あるいは、表示制御部１１６は、被写体３０−３、被写体３０−４および被写体３０−５それぞれの領域（被写体領域）に外接する６平面の表示を制御してもよい。

（１．２．１０．動作例）
図２５は、本開示の第１の実施形態に係る情報処理装置１０Ａの動作の例を示すフローチャートである。なお、図２５に示した動作の例は、本開示の第１の実施形態に係る情報処理装置１０Ａの動作の一例を示したに過ぎない。したがって、本開示の第１の実施形態に係る情報処理装置１０Ａの動作は、図２５に示した動作に限定されない。

図２５に示すように、加速度取得部１１７は、加速度検出部１２２によって検出された加速度を取得する。重力方向算出部１１８は、加速度取得部１１７によって取得された加速度に基づいて、重力方向を算出する（Ｓ１１０）。また、奥行き情報取得部１１１は、奥行き情報検出部１２１によって検出された奥行き情報を取得する（Ｓ１２０）。データ変換部１１２は、奥行き情報取得部１１１によって取得された奥行き情報を３次元データに変換する（Ｓ１３０）。

基準平面算出部１１３は、重力方向算出部１１８によって算出された重力方向に基づいて基準平面を算出する（Ｓ１４０）。被写体抽出部１１４は、データ変換部１１２によって得られた３次元データに基づいて、被写体領域を算出する（Ｓ１５０）。サイズ測定部１１５は、被写体に外接する平面（例えば、６平面）を算出する（Ｓ１６０）。被写体に外接する平面の算出については、図２６を参照しながら詳細に説明する。

図２６は、被写体に外接する平面の算出の動作の詳細を示すフローチャートである。なお、図２６に示した動作の例は、被写体に外接する平面の算出の動作の一例を示したに過ぎない。したがって、被写体に外接する平面の算出の動作は、図２６に示した動作に限定されない。

図２６に示したように、サイズ測定部１１５は、被写体の上下方向を算出する（Ｓ１６１）。続いて、サイズ測定部１１５は、被写体の下側に外接する平面（下面）を算出する（Ｓ１６２）、被写体の上側に外接する平面（上面）を算出する（Ｓ１６３）。続いて、サイズ測定部１１５は、被写体に外接する、ある４側面（隣同士が直交）を選び（Ｓ１６４）、被写体に外接する６平面（上面、下面、４側面）の体積を算出する（Ｓ１６５）。

続いて、サイズ測定部１１５は、算出した体積が最小であるか否かを判断する（Ｓ１６６）。サイズ測定部１１５は、算出した体積が最小ではない場合（Ｓ１６６において「Ｎｏ」）、Ｓ１６４に戻る。一方、サイズ測定部１１５は、算出した体積が最小である場合（Ｓ１６６において「Ｙｅｓ」）、体積が最小となる外接平面から被写体のサイズを算出する（Ｓ１６４）。

図２５に戻って説明を続ける。サイズ測定部１１５は、被写体に外接する平面の算出が終わると、被写体に外接する平面から被写体のサイズを算出する（Ｓ１７０）。そして、表示制御部１１６は、被写体のサイズが撮像画像に重畳されて表示されるように表示部１６０を制御する。表示部１６０は、表示制御部１１６による表示制御に従って、被写体のサイズを撮像画像に重畳させて表示する（Ｓ１８０）。

（１．２．１１．奥行き情報を複数回得る場合）
上記では、１回の撮像によって得られた奥行き情報に基づいて被写体のサイズを測定する場合を主に想定した。しかし、１回の撮像によって得られた奥行き情報だけからは被写体のサイズを高精度に測定できない場合も想定される。かかる場合には、奥行き情報を複数回取得し、複数回得られた奥行き情報に基づいて被写体のサイズを測定するのがよい。以下では、かかる場合について詳細に説明する。

図２７は、複数回奥行き情報を得る第１の例を説明するための図である。図２７を参照すると、奥行き情報検出部１２１によって１回目に撮像が行われる位置に奥行き情報検出部１２１−１が示されている。しかし、被写体３０−６の形状が単純な形状ではないため、奥行き情報検出部１２１−１によって撮像される範囲からだけでは、被写体３０−６の死角に当たる部分の形状を推測するのが難しい。

そこで、このような場合には、奥行き情報検出部１２１によって２回目の撮像も行われるようにするのがよい。図２７を参照すると、奥行き情報検出部１２１によって２回目に撮像が行われる位置に奥行き情報検出部１２１−２が示されている。奥行き情報検出部１２１−２によって撮像される範囲には、奥行き情報検出部１２１−１によって撮像される範囲には含まれなかった部分が含まれるようになっている。

このとき、データ変換部１１２は、奥行き情報検出部１２１−１および奥行き情報検出部１２１−２それぞれによって検出された奥行き情報が奥行き情報取得部１１１によって取得され、それぞれの奥行き情報に対応する３次元データを得た場合、これらの３次元データを合成すればよい。そして、被写体抽出部１１４は、合成後の３次元データに基づいて被写体領域を抽出すればよい。

図２８は、複数回奥行き情報を得る第２の例を説明するための図である。図２８を参照すると、奥行き情報検出部１２１によって１回目に撮像が行われる位置に奥行き情報検出部１２１−１が示されている。しかし、被写体３０−７が細長いため、奥行き情報検出部１２１−１によって撮像される範囲に、被写体３０−７がある程度以上の大きさで収まるようにしながら、被写体３０−７の全体を収めるのは難しい。

そこで、このような場合には、奥行き情報検出部１２１によって２回目の撮像も行われるようにするのがよい。図２８を参照すると、奥行き情報検出部１２１によって２回目に撮像が行われる位置に奥行き情報検出部１２１−２が示されている。奥行き情報検出部１２１−２によって撮像される範囲には、奥行き情報検出部１２１−１によって撮像される範囲には含まれなかった部分が含まれるようになっている。

このとき、データ変換部１１２は、奥行き情報検出部１２１−１および奥行き情報検出部１２１−２それぞれによって検出された奥行き情報が奥行き情報取得部１１１によって取得され、それぞれの奥行き情報に対応する３次元データを得た場合、これらの３次元データを合成すればよい。そして、被写体抽出部１１４は、合成後の３次元データに基づいて被写体領域を抽出すればよい。

（１．２．１２．奥行き情報を複数回得る場合の動作例）
図２９は、本開示の第１の実施形態に係る情報処理装置１０Ａの奥行き情報を複数回得る場合の動作の例を示すフローチャートである。なお、図２９に示した動作の例は、奥行き情報を複数回得る場合の動作の一例を示したに過ぎない。したがって、奥行き情報を複数回得る場合の動作は、図２９に示した動作に限定されない。

図２９に示すように、加速度取得部１１７は、加速度検出部１２２によって検出された加速度を取得する。重力方向算出部１１８は、加速度取得部１１７によって取得された加速度に基づいて、重力方向を算出する（Ｓ１１０）。また、奥行き情報取得部１１１は、奥行き情報検出部１２１によって複数回検出された奥行き情報を取得する（Ｓ１２０）。データ変換部１１２は、奥行き情報取得部１１１によって取得された複数の奥行き情報それぞれを３次元データに変換する（Ｓ１３０）。

データ変換部１１２は、複数の奥行き情報それぞれに対応する３次元データを合成する（Ｓ２１０）。

基準平面算出部１１３は、重力方向算出部１１８によって算出された重力方向に基づいて基準平面を算出する（Ｓ１４０）。被写体抽出部１１４は、データ変換部１１２によって得られた３次元データに基づいて、被写体領域を算出する（Ｓ１５０）。サイズ測定部１１５は、被写体に外接する平面（例えば、６平面）を算出する（Ｓ１６０）。被写体に外接する平面の算出については、図２６に示した通りである。

サイズ測定部１１５は、被写体に外接する平面の算出が終わると、被写体に外接する平面から被写体のサイズを算出する（Ｓ１７０）。そして、表示制御部１１６は、被写体のサイズが撮像画像に重畳されて表示されるように表示部１６０を制御する。表示部１６０は、表示制御部１１６による表示制御に従って、被写体のサイズを撮像画像に重畳させて表示する（Ｓ１８０）。

（１．２．１３．第１の実施形態のまとめ）
本開示の第１の実施形態によれば、奥行き情報を取得する奥行き情報取得部１１１と、奥行き情報を３次元データに変換するデータ変換部１１２と、３次元データに基づいて被写体が存在する被写体領域を抽出する被写体抽出部１１４と、被写体領域に基づいて被写体のサイズを測定するサイズ測定部１１５と、を備え、サイズ測定部１１５は、被写体領域に外接する６平面を検出し、６平面に基づいて、被写体のサイズを測定する、情報処理装置１０Ａが提供される。

かかる構成によれば、必要な画像のフレーム数を低減しつつ、撮像範囲および投光に課される制約を緩和して、被写体の形状の限定なく被写体のサイズを自動的に測定することが可能となる。

以上、本開示の第１の実施形態について説明した。

＜２．第２の実施形態＞
続いて、本開示の第２の実施形態について説明する。

［２．１．情報処理装置の機能構成例］
続いて、本開示の第２の実施形態に係る情報処理装置の機能構成例について説明する。図３０は、本開示の第２の実施形態に係る情報処理装置の機能構成例を示すブロック図である。図３０に示したように、本開示の第２の実施形態に係る情報処理装置１０Ｂは、本開示の第１の実施形態に係る情報処理装置１０Ａと同様に、制御部１１０、奥行き情報検出部１２１、加速度検出部１２２、操作部１３０、通信部１４０、記憶部１５０、および、表示部１６０を備える。

ただし、本開示の第２の実施形態に係る情報処理装置１０Ｂは、制御部１１０が被写体選択部１１９を有している点において、本開示の第１の実施形態に係る情報処理装置１０Ａと主に異なる。そこで、以下では、情報処理装置１０Ｂが有する各機能のうち、被写体選択部１１９が有する機能について主に説明し、他の機能についての詳細な説明は省略する。

以上、本開示の第２の実施形態に係る情報処理装置１０Ｂの機能構成例について説明した。

［２．２．情報処理装置の機能詳細］
本開示の第１の実施形態においては、被写体抽出部１１４によって１つの被写体領域が抽出される場合を主に想定した。本開示の第２の実施形態においては、被写体抽出部１１４によって複数の被写体領域が抽出される場合を主に想定する。かかる場合、被写体選択部１１９は、複数の被写体から、ユーザ操作に基づいて、または、自動的に、１つの被写体を選択すればよい。そして、サイズ測定部１１５は、選択された１つの被写体のサイズを測定すればよい。

（２．２．１．被写体の自動的な選択）
図３１は、複数の被写体から自動的に１つの被写体を選択する第１の例を説明するための図である。図３１を参照すると、被写体抽出部１１４によって抽出された複数の被写体３０の例として、被写体３０−８、被写体３０−９および被写体３０−１０が表示部１６０によって表示されている。なお、図３１に示した例では、３つの被写体３０が抽出されているが、抽出される被写体３０の数は３つに限定されない。

このとき、サイズ測定対象の被写体は、撮像範囲（画面）の中心に最も近い（奥行き情報検出部１２１の光軸に最も近い）位置に存在する可能性がある。そのため、被写体選択部１１９は、撮像範囲（画面）の中心に最も近い位置に存在する被写体を選択すればよい。図３１に示した例では、被写体３０−９が撮像範囲（画面）の中心に最も近い位置に存在するため、被写体選択部１１９は、被写体３０−９を選択すればよい。

なお、選択された被写体と選択されていない被写体と被写体以外の領域とは区別可能に表示されるのがよい。すなわち、表示制御部１１６は、選択された被写体３０−９に対応する被写体領域と選択されていない被写体３０−８および被写体３０−１０に対応する被写体領域とを区別可能に表示制御し、被写体３０−８、被写体３０−９および被写体３０−１０に対応する被写体領域と他の領域とを区別可能に表示制御するのがよい。

例えば、図３１に示すように、表示制御部１１６は、選択された被写体３０−９に対応する被写体領域と選択されていない被写体３０−８および被写体３０−１０に対応する被写体領域とが異なる色で表示されるように表示制御してもよい。選択された被写体３０−９に対応する被写体領域と選択されていない被写体３０−８および被写体３０−１０に対応する被写体領域それぞれの色は限定されない。

あるいは、表示制御部１１６は、選択された被写体３０−９に対応する被写体領域と選択されていない被写体３０−８および被写体３０−１０に対応する被写体領域とが異なる明るさで表示されるように表示制御してもよい。例えば、表示制御部１１６は、選択された被写体３０−９に対応する被写体領域の明るさが、選択されていない被写体３０−８および被写体３０−１０に対応する被写体領域の明るさよりも高くなるように表示制御してもよい。

また、図３１に示すように、表示制御部１１６は、被写体３０−８、被写体３０−９および被写体３０−１０に対応する被写体領域と被写体以外の領域とが異なる色で表示されるように表示制御してもよい。被写体３０−８、被写体３０−９および被写体３０−１０に対応する被写体領域と被写体以外の領域それぞれの色は限定されない。

あるいは、表示制御部１１６は、被写体３０−８、被写体３０−９および被写体３０−１０に対応する被写体領域と被写体以外の領域とが異なる明るさで表示されるように表示制御してもよい。例えば、表示制御部１１６は、被写体３０−８、被写体３０−９および被写体３０−１０に対応する被写体領域の明るさが、被写体以外の領域の明るさよりも高くなるように表示制御してもよい。

図３２は、複数の被写体から自動的に１つの被写体を選択する第２の例を説明するための図である。図３２を参照すると、被写体抽出部１１４によって抽出された複数の被写体３０の例として、被写体３０−１１、被写体３０−１２および被写体３０−１３が表示部１６０によって表示されている。なお、図３２に示した例では、３つの被写体３０が抽出されているが、抽出される被写体３０の数は３つに限定されない。

このとき、サイズ測定対象の被写体は、撮像範囲（画面）における占有率が最も高い可能性がある。そのため、被写体選択部１１９は、撮像範囲（画面）における占有率が最も高い被写体を選択すればよい。図３２に示した例では、被写体３０−１３が撮像範囲（画面）における占有率が最も高いため、被写体選択部１１９は、被写体３０−１３を選択すればよい。

図３３は、複数の被写体から自動的に１つの被写体を選択する第３の例を説明するための図である。図３３を参照すると、被写体抽出部１１４によって抽出された複数の被写体３０の例として、被写体３０−１４、被写体３０−１５および被写体３０−１６が表示部１６０によって表示されている。なお、図３３に示した例では、３つの被写体３０が抽出されているが、抽出される被写体３０の数は３つに限定されない。

このとき、サイズ測定対象の被写体は、奥行き情報検出部１２１から最も近くに存在する可能性がある。そのため、被写体選択部１１９は、奥行き情報に基づいて奥行き情報検出部１２１から最も近くに存在する被写体を選択すればよい。図３３に示した例では、被写体３０−１４が奥行き情報検出部１２１から最も近くに存在するため、被写体選択部１１９は、被写体３０−１４を選択すればよい。

図３４は、複数の被写体から自動的に１つの被写体を選択する第４の例を説明するための図である。図３４を参照すると、被写体抽出部１１４によって抽出された複数の被写体３０の例として、被写体３０−１７、被写体３０−１８および被写体３０−１９が表示部１６０によって表示されている。なお、図３４に示した例では、３つの被写体３０が抽出されているが、抽出される被写体３０の数は３つに限定されない。

例えば、選択すべき被写体の形状があらかじめ登録されているとき、被写体選択部１１９は、あらかじめ登録された形状を有する被写体を選択するのがよい。図３４に示した例では、選択すべき被写体の形状として「直方体」があらかじめ登録されているため、被写体選択部１１９は、直方体形状を有する被写体３０−１７を選択すればよい。

（２．２．２．ユーザ操作に基づく被写体の選択）
図３５は、複数の被写体からユーザ操作に基づいて１つの被写体を選択する第１の例を説明するための図である。図３５を参照すると、被写体抽出部１１４によって抽出された複数の被写体３０の例として、被写体３０−２１および被写体３０−２２が表示部１６０によって表示されている。なお、図３５に示した例では、２つの被写体３０が抽出されているが、抽出される被写体３０の数は２つに限定されない。

例えば、図３５に示すように、操作部１３０がボタンによって構成されている場合、被写体選択部１１９は、ユーザによって押下されたボタンに基づいて被写体を選択するのがよい。図３５に示した例では、ユーザによって左側を示すボタンが押下されたため、被写体選択部１１９は、左側に存在する被写体３０−２１を選択すればよい。

図３６は、複数の被写体からユーザ操作に基づいて１つの被写体を選択する第２の例を説明するための図である。図３６を参照すると、被写体抽出部１１４によって抽出された複数の被写体３０の例として、被写体３０−２１および被写体３０−２２が表示部１６０によって表示されている。なお、図３６に示した例では、２つの被写体３０が抽出されているが、抽出される被写体３０の数は２つに限定されない。

例えば、図３６に示すように、操作部１３０がタッチパネルによって構成されている場合、被写体選択部１１９は、ユーザによってタッチされた位置に基づいて被写体を選択するのがよい。図３６に示した例では、ユーザによって被写体３０−２１が表示されている位置がタッチされているため、被写体選択部１１９は、ユーザによってタッチされた位置に存在する被写体３０−２１を選択すればよい。

（２．２．３．被写体を選択する場合の動作例）
図３７は、本開示の第２の実施形態に係る情報処理装置１０Ｂの被写体を選択する場合の動作の例を示すフローチャートである。なお、図３７に示した動作の例は、被写体を選択する場合の動作の一例を示したに過ぎない。したがって、被写体を選択する場合の動作は、図３７に示した動作に限定されない。

図３７に示すように、加速度取得部１１７は、加速度検出部１２２によって検出された加速度を取得する。重力方向算出部１１８は、加速度取得部１１７によって取得された加速度に基づいて、重力方向を算出する（Ｓ１１０）。また、奥行き情報取得部１１１は、奥行き情報検出部１２１によって検出された奥行き情報を取得する（Ｓ１２０）。データ変換部１１２は、奥行き情報取得部１１１によって取得された奥行き情報を３次元データに変換する（Ｓ１３０）。

基準平面算出部１１３は、重力方向算出部１１８によって算出された重力方向に基づいて基準平面を算出する（Ｓ１４０）。被写体抽出部１１４は、データ変換部１１２によって得られた３次元データに基づいて、複数の被写体領域を算出する（Ｓ１５０）。被写体選択部１１９は、複数の被写体から１つの被写体を選択する（Ｓ２２０）。サイズ測定部１１５は、被写体に外接する平面（例えば、６平面）を算出する（Ｓ１６０）。被写体に外接する平面の算出については、図２６に示した通りである。

サイズ測定部１１５は、被写体に外接する平面の算出が終わると、被写体に外接する平面から被写体のサイズを算出する（Ｓ１７０）。そして、表示制御部１１６は、被写体のサイズが撮像画像に重畳されて表示されるように表示部１６０を制御する。表示部１６０は、表示制御部１１６による表示制御に従って、被写体のサイズを撮像画像に重畳させて表示する（Ｓ１８０）。

（２．２．４．第２の実施形態のまとめ）
本開示の第２の実施形態によれば、第１の実施形態に係る情報処理装置１０Ｂに追加して、複数の被写体から、ユーザ操作に基づいて、または、自動的に、１つの被写体を選択する被写体選択部１１９をさらに備える、情報処理装置１０Ｂが提供される。そして、サイズ測定部１１５は、被写体選択部１１９によって選択された１つの被写体のサイズを測定する。

かかる構成によれば、第１の実施形態と同様に、必要な画像のフレーム数を低減しつつ、撮像範囲および投光に課される制約を緩和して、被写体の形状の限定なく被写体のサイズを自動的に測定することが可能となる。さらに、かかる構成によれば、複数の被写体が抽出された場合であっても、複数の被写体から所望の被写体を選択して、選択した被写体のサイズを測定することが可能となる。

以上、本開示の第２の実施形態について説明した。

＜３．ハードウェア構成例＞
次に、図３８を参照して、本開示の実施形態に係る情報処理装置１０のハードウェア構成について説明する。図３８は、本開示の実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。

図３８に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、ボタンなど、ユーザによって操作される装置である。入力装置９１５は、マウス、キーボード、タッチパネル、スイッチおよびレバーなどを含んでもよい。また、入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音出力装置などであり得る。また、出力装置９１７は、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、プロジェクタ、ホログラム、プリンタ装置などを含んでもよい。出力装置９１７は、情報処理装置１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。

ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０と外部接続機器９２９との間で各種のデータが交換され得る。

通信装置９２５は、例えば、ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続されるネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置１０の筐体の姿勢など、情報処理装置１０自体の状態に関する情報や、情報処理装置１０の周辺の明るさや騒音など、情報処理装置１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

＜４．むすび＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
奥行き情報を取得する奥行き情報取得部と、
前記奥行き情報を３次元データに変換するデータ変換部と、
前記３次元データに基づいて被写体が存在する被写体領域を抽出する被写体抽出部と、
前記被写体領域に基づいて前記被写体のサイズを測定するサイズ測定部と、を備え、
前記サイズ測定部は、前記被写体領域に外接する６平面を検出し、前記６平面に基づいて、前記被写体のサイズを測定する、
情報処理装置。
（２）
前記サイズ測定部は、向かい合う平行な２つの平面３組それぞれの距離を前記被写体のサイズとして測定する、
前記（１）に記載の情報処理装置。
（３）
前記サイズ測定部は、前記被写体領域に外接する複数通りの６平面を検出し、前記複数通りの６平面から、囲まれる体積が最小となる６平面を検出し、体積が最小となる６平面に基づいて、前記被写体のサイズを測定する、
前記（１）または（２）に記載の情報処理装置。
（４）
前記サイズ測定部は、前記被写体領域に外接する上下方向に垂直な２平面のうち、前記被写体領域の上側に外接する平面を上面として検出するとともに、前記被写体領域の下側に外接する平面を下面として検出し、前記上面に垂直であり、かつ、向かい合う平行な２つの平面２組からなる４側面を算出する、
前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記サイズ測定部は、重力方向または記被写体が存在する平面の法線方向を前記上下方向として検出する、
前記（４）に記載の情報処理装置。
（６）
前記被写体抽出部は、前記３次元データに基づいて、画面中心から所定の距離以内にある物体領域、画面占有率が所定の割合よりも大きい物体領域、前記奥行き情報を検出するセンサに最も近い物体領域、および、所定の形状を有する物体領域の少なくともいずれか一つを前記被写体領域として抽出する、
前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記情報処理装置は、基準平面を算出する基準平面算出部を備え、
前記被写体抽出部は、前記３次元データに基づいて、前記基準平面の上に存在する物体領域を前記被写体領域として抽出する、
前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記基準平面算出部は、重力方向に基づいて前記基準平面を検出し、または、前記３次元データに基づいて、画面における占有率が最も大きい平面を前記基準平面として検出し、または、法線方向が一致または類似する複数の平面のうち、前記奥行き情報を検出するセンサからの距離がより遠い平面を前記基準平面として検出する、
前記（７）に記載の情報処理装置。
（９）
前記情報処理装置は、前記被写体のサイズに基づく所定の表示が撮像画像に重畳されて表示されるように制御する表示制御部を備え、
前記所定の表示は、前記被写体のサイズ、前記被写体のサイズに対応する画面上の範囲、前記被写体領域に外接する６平面、前記被写体のサイズの合計、および、前記被写体のサイズに対応する価格のうち、少なくともいずれか一つを含む、
前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記撮像画像は、前記奥行き情報を検出するセンサによって撮像された画像、または、前記奥行き情報を検出するセンサとは異なるイメージセンサによって撮像された画像である、
前記（９）に記載の情報処理装置。
（１１）
前記表示制御部は、前記被写体領域と他の領域とを区別可能に表示制御する、
前記（９）または（１０）に記載の情報処理装置。
（１２）
前記サイズ測定部は、複数の被写体領域が抽出された場合、前記複数の被写体領域に基づいて複数の被写体それぞれのサイズを測定する、
前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記情報処理装置は、前記複数の被写体それぞれのサイズに基づく所定の表示が撮像画像に重畳されて表示されるように制御する表示制御部を備え、
前記所定の表示は、前記複数の被写体それぞれのサイズ、前記複数の被写体それぞれのサイズに対応する画面上の範囲、前記複数の被写体領域それぞれに外接する６平面、前記複数の被写体それぞれのサイズの合計、および、前記複数の被写体のサイズそれぞれに対応する価格の合計のうち、少なくともいずれか一つを含む、
前記（１２）に記載の情報処理装置。
（１４）
前記表示制御部は、前記複数の被写体に対応する被写体領域のうち、選択された前記１の被写体に対応する被写体領域と選択されていない他の被写体に対応する被写体領域とを区別可能に表示制御し、前記複数の被写体に対応する被写体領域と他の領域とを区別可能に表示制御する、
前記（１３）に記載の情報処理装置。
（１５）
前記情報処理装置は、前記複数の被写体から、ユーザ操作に基づいて、または、自動的に、１の被写体を選択する被写体選択部を備え、
前記サイズ測定部は、選択された前記１の被写体のサイズを測定する、
前記（１３）または（１４）に記載の情報処理装置。
（１６）
前記奥行き情報取得部は、ＴＯＦセンサ、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ法による距離画像センサ、および、ステレオカメラの少なくともいずれか一つによって検出された前記奥行き情報を取得する、
前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記奥行き情報を検出するセンサは、少なくとも前記被写体の上面を検出可能な位置に配置される、
前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記データ変換部は、複数の奥行き情報が取得され、前記複数の奥行き情報それぞれに対応する３次元データを得た場合、前記複数の奥行き情報それぞれに対応する３次元データを合成し、
前記被写体抽出部は、合成後の３次元データに基づいて前記被写体領域を抽出する、
前記（１）〜（１７）のいずれか一項に記載の情報処理装置。
（１９）
奥行き情報を取得することと、
前記奥行き情報を３次元データに変換することと、
前記３次元データに基づいて被写体が存在する被写体領域を抽出することと、
前記被写体領域に基づいて前記被写体のサイズを測定することと、を含み、
プロセッサにより、前記被写体領域に外接する６平面を検出し、前記６平面に基づいて、前記被写体のサイズを測定することを含む、
情報処理方法。
（２０）
奥行き情報を取得する奥行き情報取得部と、
前記奥行き情報を３次元データに変換するデータ変換部と、
前記３次元データに基づいて被写体が存在する被写体領域を抽出する被写体抽出部と、
前記被写体領域に基づいて前記被写体のサイズを測定するサイズ測定部と、を備え、
前記サイズ測定部は、前記被写体領域に外接する６平面を検出し、前記６平面に基づいて、前記被写体のサイズを測定する、
個体撮像装置。

１０（１０Ａ、１０Ｂ） 情報処理装置
３０ 被写体
４０ 平面
５１ 法線方向
５２ 重力方向
１１０ 制御部
１１１ 奥行き情報取得部
１１２ データ変換部
１１３ 基準平面算出部
１１４ 被写体抽出部
１１５ サイズ測定部
１１６ 表示制御部
１１７ 加速度取得部
１１８ 重力方向算出部
１１９ 被写体選択部
１２１ 奥行き情報検出部
１２２ 加速度検出部
１３０ 操作部
１４０ 通信部
１５０ 記憶部
１５１ ３次元データ保持部
１６０ 表示部

Claims (20)

1. 奥行き情報を取得する奥行き情報取得部と、
   前記奥行き情報を３次元データに変換するデータ変換部と、
   前記３次元データに基づいて被写体が存在する被写体領域を抽出する被写体抽出部と、
   前記被写体領域に基づいて前記被写体のサイズを測定するサイズ測定部と、を備え、
   前記サイズ測定部は、前記被写体領域に外接する６平面を検出し、前記６平面に基づいて、前記被写体のサイズを測定する、
   情報処理装置。
2. 前記サイズ測定部は、向かい合う平行な２つの平面３組それぞれの距離を前記被写体のサイズとして測定する、
   請求項１に記載の情報処理装置。
3. 前記サイズ測定部は、前記被写体領域に外接する複数通りの６平面を検出し、前記複数通りの６平面から、囲まれる体積が最小となる６平面を検出し、体積が最小となる６平面に基づいて、前記被写体のサイズを測定する、
   請求項１に記載の情報処理装置。
4. 前記サイズ測定部は、前記被写体領域に外接する上下方向に垂直な２平面のうち、前記被写体領域の上側に外接する平面を上面として検出するとともに、前記被写体領域の下側に外接する平面を下面として検出し、前記上面に垂直であり、かつ、向かい合う平行な２つの平面２組からなる４側面を算出する、
   請求項１に記載の情報処理装置。
5. 前記サイズ測定部は、重力方向または記被写体が存在する平面の法線方向を前記上下方向として検出する、
   請求項４に記載の情報処理装置。
6. 前記被写体抽出部は、前記３次元データに基づいて、画面中心から所定の距離以内にある物体領域、画面占有率が所定の割合よりも大きい物体領域、前記奥行き情報を検出するセンサに最も近い物体領域、および、所定の形状を有する物体領域の少なくともいずれか一つを前記被写体領域として抽出する、
   請求項１に記載の情報処理装置。
7. 前記情報処理装置は、基準平面を算出する基準平面算出部を備え、
   前記被写体抽出部は、前記３次元データに基づいて、前記基準平面の上に存在する物体領域を前記被写体領域として抽出する、
   請求項１に記載の情報処理装置。
8. 前記基準平面算出部は、重力方向に基づいて前記基準平面を検出し、または、前記３次元データに基づいて、画面における占有率が最も大きい平面を前記基準平面として検出し、または、法線方向が一致または類似する複数の平面のうち、前記奥行き情報を検出するセンサからの距離がより遠い平面を前記基準平面として検出する、
   請求項７に記載の情報処理装置。
9. 前記情報処理装置は、前記被写体のサイズに基づく所定の表示が撮像画像に重畳されて表示されるように制御する表示制御部を備え、
   前記所定の表示は、前記被写体のサイズ、前記被写体のサイズに対応する画面上の範囲、前記被写体領域に外接する６平面、前記被写体のサイズの合計、および、前記被写体のサイズに対応する価格のうち、少なくともいずれか一つを含む、
   請求項１に記載の情報処理装置。
10. 前記撮像画像は、前記奥行き情報を検出するセンサによって撮像された画像、または、前記奥行き情報を検出するセンサとは異なるイメージセンサによって撮像された画像である、
    請求項９に記載の情報処理装置。
11. 前記表示制御部は、前記被写体領域と他の領域とを区別可能に表示制御する、
    請求項９に記載の情報処理装置。
12. 前記サイズ測定部は、複数の被写体領域が抽出された場合、前記複数の被写体領域に基づいて複数の被写体それぞれのサイズを測定する、
    請求項１に記載の情報処理装置。
13. 前記情報処理装置は、前記複数の被写体それぞれのサイズに基づく所定の表示が撮像画像に重畳されて表示されるように制御する表示制御部を備え、
    前記所定の表示は、前記複数の被写体それぞれのサイズ、前記複数の被写体それぞれのサイズに対応する画面上の範囲、前記複数の被写体領域それぞれに外接する６平面、前記複数の被写体それぞれのサイズの合計、および、前記複数の被写体のサイズそれぞれに対応する価格の合計のうち、少なくともいずれか一つを含む、
    請求項１２に記載の情報処理装置。
14. 前記表示制御部は、前記複数の被写体に対応する被写体領域のうち、選択された前記１の被写体に対応する被写体領域と選択されていない他の被写体に対応する被写体領域とを区別可能に表示制御し、前記複数の被写体に対応する被写体領域と他の領域とを区別可能に表示制御する、
    請求項１３に記載の情報処理装置。
15. 前記情報処理装置は、前記複数の被写体から、ユーザ操作に基づいて、または、自動的に、１の被写体を選択する被写体選択部を備え、
    前記サイズ測定部は、選択された前記１の被写体のサイズを測定する、
    請求項１３に記載の情報処理装置。
16. 前記奥行き情報取得部は、ＴＯＦセンサ、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ法による距離画像センサ、および、ステレオカメラの少なくともいずれか一つによって検出された前記奥行き情報を取得する、
    請求項１に記載の情報処理装置。
17. 前記奥行き情報を検出するセンサは、少なくとも前記被写体の上面を検出可能な位置に配置される、
    請求項１に記載の情報処理装置。
18. 前記データ変換部は、複数の奥行き情報が取得され、前記複数の奥行き情報それぞれに対応する３次元データを得た場合、前記複数の奥行き情報それぞれに対応する３次元データを合成し、
    前記被写体抽出部は、合成後の３次元データに基づいて前記被写体領域を抽出する、
    請求項１に記載の情報処理装置。
19. 奥行き情報を取得することと、
    前記奥行き情報を３次元データに変換することと、
    前記３次元データに基づいて被写体が存在する被写体領域を抽出することと、
    前記被写体領域に基づいて前記被写体のサイズを測定することと、を含み、
    プロセッサにより、前記被写体領域に外接する６平面を検出し、前記６平面に基づいて、前記被写体のサイズを測定することを含む、
    情報処理方法。
20. 奥行き情報を取得する奥行き情報取得部と、
    前記奥行き情報を３次元データに変換するデータ変換部と、
    前記３次元データに基づいて被写体が存在する被写体領域を抽出する被写体抽出部と、
    前記被写体領域に基づいて前記被写体のサイズを測定するサイズ測定部と、を備え、
    前記サイズ測定部は、前記被写体領域に外接する６平面を検出し、前記６平面に基づいて、前記被写体のサイズを測定する、
    個体撮像装置。

Images