JP2023043090A

JP2023043090A - モバイル端末、及びモバイル端末を用いたサイズ測定方法

Info

Publication number: JP2023043090A
Application number: JP2021150605A
Authority: JP
Inventors: 直行田屋; Naoyuki Taya; 裕充中野; Hiromitsu Nakano; 史騎仲田; Fumiki Nakata; 利行志賀; Toshiyuki Shiga
Original assignee: SAY COMPUTER Inc
Current assignee: SAY COMPUTER Inc
Priority date: 2021-09-15
Filing date: 2021-09-15
Publication date: 2023-03-28
Anticipated expiration: 2041-09-15
Also published as: JP7034448B1

Abstract

【課題】モバイル端末、及びモバイル端末を用いたサイズ測定方法において、撮影対象物の表面を認識して、撮影対象物の高さを測定すること。【解決手段】モバイル端末１００は、マーカＭＫが付された直方体の対象物ＯＢを撮影する撮影部１８０と、直方体の対象物ＯＢまでの深度情報を測定する深度センサ１９０と、撮影部１８０で撮影したマーカＭＫが付された直方体の対象物ＯＢの撮影画像と、深度センサ１９０で測定した撮影部１８０から直方体の対象物ＯＢまでの深度情報と、を取得する取得部１１１と、マーカＭＫが付された直方体の対象物ＯＢの撮影画像と深度情報とに基づいて、撮影画像における直方体の対象物ＯＢの四隅の座標と、当該四隅の背面座標とを抽出する抽出部１１２と、直方体の対象物ＯＢの四隅の座標と四隅の背面座標とに基づいて、直方体の対象物ＯＢの物理的なサイズを測定する測定部１１３と、を備える。【選択図】図３

Description

本発明は、深度センサを有するモバイル端末を用いて、対象物の物理的なサイズを測定する、モバイル端末、及びモバイル端末を用いたサイズ測定方法に関する。

従来から、深度センサを利用した、物体のサイズを測定する装置が検討されている。例えば、特許文献１には、物体の表面が平坦でなくとも、物体の厚みを計測する計測装置が開示されている（特許文献１の要約参照）。

特許文献１の技術は、撮影部とセンサ部とを備えるカメラと、パーソナルコンピュータで構成される計測装置とを使用し、ベルトコンベアにより搬送される魚体のサイズを計測する計測システムである。特許文献１の記載の計測システムでは、センサ部に深度センサが設けられている。

これにより、特許文献１の記載の計測システムは、算出部において、基準面に裁置された検知領域内の魚体の表面における空間座標に関わる情報を利用して、魚体において基準面から検知装置に向かう方向の厚みが最も厚い部分を検知し、当該検知した部分の厚みを魚体の厚みとして算出する（特許文献１参照）。

特開２０２０－１６５０１号公報

特許文献１に記載された計測システムにおいて、算出部は、厚み計測部と、長さ計測部とを備えて構成されている。算出部において行われる厚み計測部と長さ計測部の処理は、処理負荷が大きいため、計測装置としてパーソナルコンピュータが用いられ、各計測処理が行われている。

一方、近年、モバイル端末において、技術の進歩が目覚ましく、カメラで撮影した撮影画像に対して、高速でかつ高精度な画像処理を実現しつつある。そこで、モバイル端末に深度センサを搭載し、モバイル端末のカメラで撮影した撮影画像に深度情報を付加することで、撮影画像における撮影対象物の高さを測定することが考えられる。

しかしながら、撮影画像に深度情報を付加し、拡張現実（ＡＲ（Augmented Reality））機能を適用した場合、モバイル端末は、背景面を認識することができるが、撮影対象物の表面を認識することが困難である。そのため、深度センサを搭載したモバイル端末では、撮影対象物の高さを測定することが難しい。

そこで、モバイル端末、及びモバイル端末を用いたサイズ測定方法において、撮影対象物の表面を認識して、撮影対象物の高さを測定することを課題とする。

すなわち、本発明の上記課題は、下記の構成により解決される。
本発明に係るモバイル端末は、マーカが付された直方体の対象物を撮影する撮影部と、前記直方体の対象物までの深度情報を測定する深度センサと、前記撮影部で撮影した前記マーカが付された直方体の対象物の撮影画像と、前記深度センサで測定した前記撮影部から前記直方体の対象物までの深度情報と、を取得する取得部と、前記取得部で取得した、前記マーカが付された直方体の対象物の撮影画像と前記深度情報とに基づいて、前記撮影画像における前記直方体の対象物の四隅の座標と、当該四隅の背面座標とを抽出する抽出部と、前記抽出部で抽出した、前記直方体の対象物の四隅の座標と前記四隅の背面座標とに基づいて、前記直方体の対象物の物理的なサイズを測定する測定部と、を備えることを特徴とする。

本発明によれば、モバイル端末、及びモバイル端末を用いたサイズ測定方法において、撮影対象物の表面を認識して、撮影対象物の高さを測定することができる。

本実施形態に係るモバイル端末を使用した箱サイズ測定システムの全体構成を示した説明図である。本実施形態に係るモバイル端末の主な構成例を説明する説明図である。本実施形態に係るモバイル端末のＣＰＵの機能を示した機能ブロック図である。本実施形態に係るモバイル端末が、マーカが付された直方体の対象物を撮影し、その直方体の対象物の物理的なサイズを表示する処理を示したフローチャートである。撮影画像において、抽出部が、直方体の対象物の四隅の座標と、当該四隅の背面座標を抽出して、ワールド座標に変換する処理の概念を示した説明図である。モバイル端末の表示画面において、直方体の対象物の物理的なサイズを測定する方法を示した説明図である。撮影画像において、直方体の対象物の物理的なサイズを測定する方法を示した説明図である。モバイル端末の表示部の表示画面に、直方体の対象物の物理的なサイズを表示した例を示した説明図である。

以下に、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

＜本実施形態＞
［全体構成］
図１は、本実施形態に係るモバイル端末１００を使用した、箱サイズ測定システム１の全体構成を示した説明図である。図１に示すように、この箱サイズ測定システム１では、背景面２００に対象物ＯＢが載置されている。

本実施形態に係るモバイル端末１００は、背景面２００に載置された対象物ＯＢを撮影する。対象物ＯＢには、マーカＭＫが付されている。対象物ＯＢは、直方体で構成されており、背景面２００からの高さが一定になっている。また、モバイル端末１００は、対象物ＯＢと背景面２００に対して平行になるように設けられる。また、モバイル端末１００は、対象物ＯＢの真上から撮影する。

対象物ＯＢは、マーカＭＫが付されることにより、対象物ＯＢの表面が特定されている。すなわち、マーカＭＫは、対象物ＯＢの表面を特定する。本実施形態では、対象物ＯＢの物理的なサイズを、例えば、横Ｘ、縦Ｙ、高さＺで示すことにする（図６参照）。

なお、マーカＭＫは、一例として、直方体の対象物ＯＢに付される紙状に記載された図柄を示しているが、これに限定されるものではない。例えば、マーカＭＫは、マーカＭＫ自体に厚みを有していてもよく、所定の高さを有していてもよい。また、マーカＭＫは、筆記具等で記載された図柄、目印等であってもよい。

［モバイル端末の構成］
図２は、本実施形態に係るモバイル端末１００の主な構成例を説明する説明図である。モバイル端末１００は、ＣＰＵ(Central Processing Unit)１１０、記憶部１２０、ＲＯＭ（Read Only Memory）１３０、ＲＡＭ(Random Access Memory)１４０、入力部１５０、表示部１６０、撮影部１８０、深度センサ１９０、及び内部バス１９５を備えて構成されている。モバイル端末１００は、例えば、スマートフォン（smartphone）や、タブレット（tablet）端末で構成することができ、本実施形態では、特に限定されるものではない。

ＣＰＵ１１０、記憶部１２０、ＲＯＭ１３０、及びＲＡＭ１４０は、記憶部１２０またはＲＯＭ１３０に格納されている制御プログラム（不図示）を、ＣＰＵ１１０が実行することにより、アプリケーション１７０として機能する。すなわち、モバイル端末１００は、例えば、記憶部１２０に制御プログラムをインストールすることで、アプリケーション１７０として実行することができる。

ＣＰＵ１１０は、中央処理装置であり、記憶部１２０又はＲＯＭ１３０に格納された制御プログラムを実行することにより、図３に示す各処理を具現化する。ＣＰＵ１１０が具現化する各処理については、図３を用いて後述する。

記憶部１２０は、大容量の記憶装置であり、例えば、不揮発性メモリなどで構成される。記憶部１２０は、例えば、制御プログラム、撮影画像、測定した直方体の対象物ＯＢの物理的なサイズの情報などを格納する。

ＲＡＭ１４０は、ＣＰＵ１１０により実行制御される各種処理において、ＲＯＭ１３０から読み出され、ＣＰＵ１１０で実行可能な各種プログラム、入力データ、出力データ、及びパラメータ等を一時的に記憶するワークエリアとして機能する。

入力部１５０は、カーソルキー、数字入力キー、及び各種機能キーなどを備えた入力装置を備えて構成される。入力部１５０は、押下操作されたキーの押下信号や操作信号を、入力信号としてＣＰＵ１１０に出力する。ＣＰＵ１１０は、入力部１５０からの押下信号や操作信号に基づいて、各種処理を実行する。

表示部１６０は、例えば、ＬＣＤ（Liquid Crystal Display）のモニタで構成される。表示部１６０は、ＣＰＵ１１０から入力される表示信号の指示に従って、各種画面を表示する。本実施形態では、表示部１６０は、後述するＣＰＵ１１０の測定部１１３で測定した直方体の対象物の物理的なサイズを表示する。なお、表示部１６０および入力部１５０は、タッチパネルディスプレイを採用することもできる。

撮影部１８０は、カメラにより構成される。撮影部１８０は、マーカＭＫが付された直方体の対象物ＯＢを撮影する。撮影部１８０は、背景面２００に載置された直方体の対象物ＯＢを撮影することにより、可視光による直方体の対象物ＯＢと背景面２００の２次元画像を出力する。

深度センサ１９０は、撮影部１８０から直方体の対象物ＯＢまでの深度情報を測定する。具体的には、深度センサ１９０は、背景面２００と直方体の対象物ＯＢに対して、撮影部１８０からの奥行方向の距離（深度情報）を検出する。深度センサ１９０は、例えば、赤外線を利用したＴＯＦ（Time of Flight）方式によって、撮影部１８０から直方体の対象物ＯＢまでの距離に関する情報（深度情報）を画素毎に算出する。なお、深度センサ１９０は、光の射出位置と受光位置とに基づいた三角測距方式によって、撮影部１８０から直方体の対象物ＯＢまでの距離に関する情報（深度情報）を算出してもよい。深度センサ１９０は、背景面２００の深度情報と直方体の対象物ＯＢの深度情報を検出し、それぞれ画素毎に当該画素に対応する部分の空間座標に関する情報（深度情報）を出力する。

内部バス１９５は、モバイル端末１００における各構成要素に対して、電気的に相互に接続する。

次に、本実施形態に係るモバイル端末１００のＣＰＵ１１０処理（機能）について、図３を用いて説明する。以下、同一の部材には同一の符号を付し、説明を適宜、省略する。

図３は、本実施形態に係るモバイル端末１００のＣＰＵ１１０の機能を示した機能ブロック図である。ＣＰＵ１１０は、例えば、記憶部１２０に格納された制御プログラム（不図示）を実行することにより、図３に示す、取得部１１１、抽出部１１２、測定部１１３、及び振分部１１４を具現化する。

取得部１１１は、撮影部１８０で撮影したマーカＭＫが付された直方体の対象物ＯＢの撮影画像と、深度センサ１９０で測定した撮影部１８０から直方体の対象物ＯＢまでの深度情報と、を取得する。取得部１１１は、取得した、マーカＭＫが付された撮影画像と、深度情報とを抽出部１１２に送出する。

抽出部１１２は、取得部１１１で取得した、マーカＭＫが付された直方体の対象物ＯＢの撮影画像と深度情報とに基づいて、撮影画像における直方体の対象物ＯＢの四隅の座標と、当該四隅の背面座標とを抽出する。抽出部１１２は、マーカＭＫにより、撮影画像における直方体の対象物ＯＢの表面と背景面とを識別すると共に、深度情報に基づいて、四隅の背面座標を抽出することができる。また、抽出部１１２は、直方体の対象物ＯＢの四隅の座標と、当該四隅の背面座標とを、ワールド座標に変換する。

測定部１１３は、抽出部１１２で抽出した、直方体の対象物ＯＢの四隅の座標と、当該四隅の背面座標とに基づいて、直方体の対象物ＯＢの物理的なサイズを測定する。

表示部１６０は、測定部１１３で測定した直方体の対象物ＯＢの物理的なサイズを表示する。

振分部１１４は、測定部１１３で測定した直方体の対象物ＯＢの物理的なサイズに基づいて、当該直方体の対象物ＯＢの収納先を振分する。振分部１１４は、例えば、直方体の対象物ＯＢの体積に基づいて、収納先を振り分けることができる。具体的には、振分部１１４は、体積が１００［ｃｍ^３］以上か否かによって、直方体の対象物ＯＢの収納先を自動的に振り分ける。また、振分部１１４は、例えば、直方体の対象物ＯＢの高さに基づいて、収納先を振り分けることもできる。具体的には、振分部１１４は、直方体の対象物ＯＢの高さが２０［ｃｍ］以上か否かによって、直方体の対象物ＯＢの収納先を自動的に振り分ける。

［モバイル端末の処理］
次に、本実施形態に係るモバイル端末１００のＣＰＵ１１０の処理を説明する。
図４は、本実施形態に係るモバイル端末１００が、マーカＭＫが付された直方体の対象物ＯＢを撮影し、その直方体の対象物ＯＢの物理的なサイズを表示する処理を示したフローチャートである。なお、適宜、図５を参照しながら、説明することにする。

図５は、撮影画像ＧＺ１～ＧＺ５において、抽出部１１２が、直方体の対象物画像ＯＢＰの四隅（交点Ｐ１～交点Ｐ４）の座標と、当該四隅の背面座標Ｈ１～Ｈ４を抽出して、ワールド座標に変換する処理の概念を示した説明図である。

まず、モバイル端末１００は、ユーザが入力部１５０を操作することによって、指示を受け付ける。撮影部１８０は、ユーザの操作により、マーカＭＫが付された直方体の対象物ＯＢを撮影する（ステップＳ００１）。この場合、深度センサ１９０は、撮影部１８０が直方体の対象物ＯＢを撮影するタイミングと同時に、直方体の対象物ＯＢまでの深度情報を測定する。なお、図５に示す撮影画像ＧＺ１は、対象物ＯＢを撮影している状態を示している。

これにより、ＣＰＵ１１０の取得部１１１は、撮影部１８０で撮影したマーカＭＫが付された直方体の対象物ＯＢの撮影画像と、深度センサ１９０で測定した撮影部１８０から直方体の対象物ＯＢまでの深度情報と、を取得することができる。

次に、ＣＰＵ１１０の抽出部１１２は、取得部１１１で取得した、マーカＭＫが付された直方体の対象物ＯＢの撮影画像と深度情報とに基づいて、撮影画像における直方体の対象物ＯＢの四隅の座標と、当該四隅の背面座標とを抽出する。

具体的には、抽出部１１２は、撮影画像ＧＺ１において、直方体の対象物ＯＢのエッジ（境界線）を画像処理により抽出する（ステップＳ００３）。図５の撮影画像ＧＺ２は、画像処理により、直方体の対象物ＯＢのエッジを抽出している状態を示している。

次に、抽出部１１２は、直方体の対象物ＯＢの表面の交点を特定すると共に、背面座標を抽出する（ステップＳ００５）。この場合、抽出部１１２は、図５の撮影画像ＧＺ３に示すように、エッジを示す縦線Ａと横線Ｂを検出し、交差する交点Ｐ１を特定する。抽出部１１２は、図５の撮影画像ＧＺ４に示すように、この交差する交点を特定する処理を四隅に適用して、４つの交点Ｐ１～Ｐ４である四隅の座標を特定する。また、抽出部１１２は、同時に背景面２００における四隅の背面座標Ｈ１～Ｈ４を抽出する。すなわち、抽出部１１２は、各画素に対応した深度情報に基づいて、４つの交点Ｐ１～Ｐ４のそれぞれに対応する背景面２００の座標（背面座標Ｈ１～Ｈ４）を抽出する。

次に、抽出部１１２は、モデル座標（カメラ座標）からワールド座標に変換する（ステップＳ００７）。モデル座標とは、撮影部１８０の位置から、直方体の対象物ＯＢの方向を見たときのモバイル端末１００固有の座標のことをいう。また、ワールド座標とは、３次元空間における直方体の対象物ＯＢの座標のこという。

抽出部１１２は、撮影された撮影画像の各画素のそれぞれの深度情報を用いて、拡張現実（ＡＲ（Augmented Reality））を適用することで、モデル座標から３次元空間における直方体の対象物ＯＢの座標に変換する。抽出部１１２は、図５の撮影画像ＧＺ５に示すように、バーチャルの３次元空間上に、４つの交点Ｐ１～Ｐ４である四隅の座標を表示することができ、交点Ｐ１～Ｐ４の距離を測定することができる。

次に、ＣＰＵ１１０の測定部１１３は、抽出部１１２で抽出した、直方体の対象物ＯＢの四隅の座標（４つの交点Ｐ１～Ｐ４）と、当該四隅の背面座標Ｈ１～Ｈ４とに基づいて、直方体の対象物ＯＢの物理的なサイズを測定する（ステップＳ００９）。

図６は、モバイル端末１００の表示画面１６１において、直方体の対象物ＯＢの物理的なサイズを測定する方法を示した説明図である。図７は、撮影画像ＧＺ６において、直方体の対象物ＯＢの物理的なサイズを測定する方法を示した説明図である。

図６と図７において、同一の部材については、同一の符号を付し、説明を適宜、省略する。

図６に示すように、モバイル端末１００は、直方体の対象物ＯＢを測定しており、直方体の対象物ＯＢの横Ｘ、縦Ｙ、高さＺを測定する。また、図７では、撮影画像ＧＺ６における対象物ＯＢは、背景面２００における直方体の対象物ＯＢとして測定されている。

測定部１１３は、例えば、図６および図７に示すように、交点Ｐ１と交Ｐ２の距離と、交点Ｐ３と交点Ｐ４の距離の平均値を、直方体の対象物ＯＢの横Ｘの長さとして測定する。また、測定部１１３は、例えば、交点Ｐ１と交Ｐ３の距離と、交点Ｐ２と交点Ｐ４の距離の平均値を、直方体の対象物ＯＢの縦Ｙの長さとして測定する。

また、測定部１１３は、例えば、交点Ｐ２と背面座標Ｈ２の距離を、直方体の対象物ＯＢの高さＺとして測定する。なお、測定部１１３は、例えば、交点Ｐ１と背面座標Ｈ１の距離と、交点Ｐ２と背面座標Ｈ２の距離と、交点Ｐ３と背面座標Ｈ３の距離と、交点Ｐ４と背面座標Ｈ４の距離の平均値を算出し、直方体の対象物ＯＢの高さＺとしてもよい。また、対象物ＯＢは、直方体であるため、交点Ｐ１と背面座標Ｈ１の距離を、直方体の対象物ＯＢの高さＺとして測定してもよい。なお、測定部１１３による測定方法は、特に限定されるものではない。

図４に戻り、説明を続ける。
測定部１１３は、測定部１１３で測定した直方体の対象物ＯＢの物理的なサイズを表示部１６０の表示画面に表示する（ステップＳ０１１）。

図８は、モバイル端末１００の表示部１６０の表示画面１６２に、直方体の対象物ＯＢの物理的なサイズを表示した例を示した説明図である。

図８に示すように、表示画面１６２の上部に、直方体の対象物ＯＢの測定結果が表示されており、例えば、直方体に対象物ＯＢは、「縦：１０．８ｃｍ、横：１０．８ｃｍ、高さ：１０．３ｃｍ」と表示されている。

図４に戻り、説明を続ける。
ＣＰＵ１１０の振分部１１４は、測定部１１３で測定した直方体の対象物ＯＢの物理的なサイズに基づいて、当該直方体の対象物ＯＢの収納先を振分する（ステップＳ０１３）。

振分部１１４は、例えば、直方体の対象物ＯＢの体積に基づいて、収納先を振り分けることができる。振分部１１４は、具体的には、体積が１０００［ｃｍ^３］以上か否かによって、直方体の対象物ＯＢの収納先を自動的に振り分けることができる。

図８の場合、直方体の対象物ＯＢの体積は、約１２００［ｃｍ^３］になるため、振分部１１４は、直方体の対象物ＯＢを倉庫Ｋに格納するように振り分ける。もし、直方体の対象物の体積が、９５０［ｃｍ^３］の場合には、振分部１１４は、倉庫Ｌに格納されるように、直方体の対象物ＯＢの収納先を振り分ける。

また、振分部１１４は、例えば、直方体の対象物ＯＢの高さに基づいて、収納先を振り分けることもできる。振分部１１４は、具体的には、直方体の対象物ＯＢの高さが２０［ｃｍ］以上か否かによって、直方体の対象物ＯＢの収納先を自動的に振り分けることができる。

図８の場合、直方体の対象物ＯＢの高さは、約１０［ｃｍ］であるため、振分部１１４は、直方体の対象物ＯＢを倉庫Ｍに格納するように振り分ける。もし、直方体の対象物の体積が、２５［ｃｍ］の場合には、振分部１１４は、倉庫Ｎに格納されるように、直方体の対象物ＯＢの収納先を振り分ける。

振分部１１４は、直方体の対象物ＯＢの収納先を振り分けると、図４に示す処理を終了する。

以上説明したように、本実施形態に係るモバイル端末１００は、撮影部１８０と、深度センサ１９０と、取得部１１１と、抽出部１１２と、測定部１１３とを備えて構成されている。

取得部１１１は、撮影部１８０で撮影したマーカＭＫが付された直方体の対象物ＯＢの撮影画像と、深度センサ１９０で測定した撮影部１８０から直方体の対象物ＯＢまでの深度情報と、を取得する。抽出部１１２は、マーカＭＫが付された直方体の対象物ＯＢの撮影画像と深度情報とに基づいて、撮影画像における直方体の対象物ＯＢの四隅の座標（交点Ｐ１～Ｐ４）と、当該四隅の背面座標Ｈ１～Ｈ４とを抽出する。測定部１１３は、直方体の対象物ＯＢの四隅の座標（交点Ｐ１～Ｐ４）と、当該四隅の背面座標Ｈ１～Ｈ４とに基づいて、直方体の対象物ＯＢの物理的なサイズを測定する。

これにより、本実施形態に係るモバイル端末１００は、マーカＭＫにより対象物ＯＢの表面を認識して、撮影対象物の高さを測定することができる。

特に、取得部１１１、抽出部１１２、及び測定部１１３は、アプリケーション１７０として自動的に実行させることができるので、ユーザは、入力部１５０を操作して、撮影部１８０で撮影したマーカＭＫが付された直方体の対象物ＯＢの撮影画像と、深度センサ１９０で測定した撮影部１８０から直方体の対象物ＯＢまでの深度情報と、を取得するだけで、容易に、直方体の対象物ＯＢの物理的なサイズを測定することができる。

なお、本実施形態では、モバイル端末１００は、マーカＭＫが付された直方体の対象物ＯＢを撮影するようになっていたが、例えば、対象物ＯＢに図柄が付されている場合は、その図柄をマーカＭＫとみなしてもよい。

これにより、モバイル端末１００は、対象物ＯＢに図柄が付されていれば、対象物ＯＢの表面を認識して、撮影対象物の高さを測定することができる。なお、図柄は対象物ＯＢの特徴点になり得るため、図柄が多いほど表面の検出精度が向上し、対象物ＯＢの物理的なサイズの測定精度が向上する。

また、本実施形態において、対象物ＯＢに付されたマーカＭＫは、背景面２００との関係で、対象物ＯＢの表面を特定するようにしてもよい。

具体的には、背景面２００に、ボーダー、ストライプ、市松模様などを設け、直方体の対象物ＯＢの表面を無地とする。これにより、背景面２００に載置された直方体の対象物ＯＢは、背景面２００によって直方体の対象物ＯＢの表面が特定されるため、対象物ＯＢの高さを測定することができる。この場合、直方体の対象物ＯＢにおけるマーカＭＫは、無地によって構成される。

同様に、背景面２００を無地に設定し、対象物ＯＢに付されるマーカＭＫを、ボーダー、ストライプ、市松模様などで構成するようにしてもよい。

また、マーカＭＫは、図柄、目印、無地、ボーダー、ストライプ、市松模様などに限定されるものではなく、背景面２００に対し、反対色で構成されていてもよい。すなわち、本実施形態におけるマーカＭＫは、背景面２００との関係で、対象物ＯＢの表面を特定することができればよい。

また、マーカＭＫは、直方体の対象物ＯＢにおいて、表面に付されていたが、例えば、四隅のいずれか１つに配置するようにしてもよい。この場合、マーカＭＫが配置された隅において、高さＺを測定することができるので、その高さＺの測定精度を向上させることができる。

また、マーカＭＫは、直方体の対象物ＯＢの中央に配置されるようにしてもよい。例えば、直方体の対象物ＯＢが空き箱で構成されている場合、空き箱の中央付近が凹むことが想定されるので、マーカＭＫを対象物ＯＢである空き箱の中央付近に配置することにより、対象物ＯＢの表面を特定する精度を向上させることができる。

１００モバイル端末
１１０ＣＰＵ
１１１取得部
１１２抽出部
１１３測定部
１１４振分部
１２０記憶部
１３０ＲＯＭ
１４０ＲＡＭ
１５０入力部
１６０表示部
１７０アプリケーション
１８０撮影部
１９０深度センサ
１９５内部バス
ＯＢ対象物（撮影対象物）
ＭＫマーカ

すなわち、本発明の上記課題は、下記の構成により解決される。
本発明に係るモバイル端末は、マーカが付された直方体の対象物を撮影する撮影部と、前記直方体の対象物までの深度情報を測定する深度センサと、前記撮影部で撮影した前記マーカが付された直方体の対象物の撮影画像と、前記深度センサで測定した前記撮影部から前記直方体の対象物までの深度情報と、を取得する取得部と、取得した前記撮影画像において、前記直方体の対象物の境界線を画像処理により複数抽出し、前記境界線同士が交差する交点を特定して前記直方体の対象物の四隅の座標を前記撮影部のモデル座標として特定し、前記四隅の座標のそれぞれに対応する背面座標を前記撮影部のモデル座標として抽出し、前記撮影画像の各画素のそれぞれに対応する前記深度情報を適用して、前記撮影部のモデル座標からワールド座標に変換し、３次元空間における前記直方体の対象物の四隅の座標と当該四隅の背面座標とをワールド座標として抽出する抽出部と、前記抽出部で抽出した、前記直方体の対象物の四隅の座標と前記四隅の背面座標とに基づいて、前記直方体の対象物の物理的なサイズを測定する測定部と、を備えることを特徴とする。

Claims

マーカが付された直方体の対象物を撮影する撮影部と、
前記直方体の対象物までの深度情報を測定する深度センサと、
前記撮影部で撮影した前記マーカが付された直方体の対象物の撮影画像と、前記深度センサで測定した前記撮影部から前記直方体の対象物までの深度情報と、を取得する取得部と、
前記取得部で取得した、前記マーカが付された直方体の対象物の撮影画像と前記深度情報とに基づいて、前記撮影画像における前記直方体の対象物の四隅の座標と、当該四隅の背面座標とを抽出する抽出部と、
前記抽出部で抽出した、前記直方体の対象物の四隅の座標と前記四隅の背面座標とに基づいて、前記直方体の対象物の物理的なサイズを測定する測定部と、
を備えることを特徴とするモバイル端末。
前記マーカは、前記対象物の表面を特定し、
前記抽出部は、
前記マーカにより、前記撮影画像における前記直方体の対象物の表面と背景面とを識別すると共に、前記深度情報に基づいて、前記四隅の背面座標を抽出する、
ことを特徴とする請求項１に記載のモバイル端末。
表示部をさらに備え、
前記表示部は、
前記測定部で測定した前記直方体の対象物の物理的なサイズを表示する、
ことを特徴とする請求項１または２に記載のモバイル端末。
前記測定部で測定した前記直方体の対象物の物理的なサイズに基づいて、当該直方体の対象物の収納先を振分する振分部を、さらに備える、
ことを特徴とする請求項１から３のいずれか１項に記載のモバイル端末。
撮影部で、マーカが付された直方体の対象物を撮影するステップと、
深度センサで、前記直方体の対象物までの深度情報を測定するステップと、
前記撮影部で撮影した前記マーカが付された直方体の対象物の撮影画像と、前記深度センサで測定した前記撮影部から前記直方体の対象物までの深度情報と、を取得するステップと、
取得した、前記マーカが付された直方体の対象物の撮影画像と前記深度情報とに基づいて、前記撮影画像における前記直方体の対象物の四隅の座標と、当該四隅の背面座標とを抽出するステップと、
抽出した、前記直方体の対象物の四隅の座標と前記四隅の背面座標とに基づいて、前記直方体の対象物の物理的なサイズを測定するステップと、
を含むモバイル端末を用いたサイズ測定方法。