JP2018510324A5

JP2018510324A5 -

Info

Publication number: JP2018510324A5
Application number: JP2017537922A
Authority: JP
Filing date: 2016-01-04
Publication date: 2019-01-24
Anticipated expiration: 2036-01-04

Description

[0076]前述は本開示の態様に関するが、本開示の他のおよびさらなる態様がその基本的な範囲から逸脱することなく考案され得、その範囲は以下の特許請求の範囲によって決定される。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
奥行きマップを生成するための装置であって、
イメージングデバイスの視野（ＦＯＶ）中の光景の少なくとも画像を取り込むように構成された前記イメージングデバイスと、
複数の奥行き感知モジュールと、前記奥行き感知モジュールの各々が前記光景の奥行きマップを生成するように構成される、
プロセッサを備える処理システムとを備え、前記処理システムが、
前記複数の奥行き感知モジュールから第１の奥行き感知モジュールを選択し、
前記第１の選択された奥行き感知モジュールおよび前記イメージングデバイスを使用して、前記イメージングデバイスのＦＯＶ中の前記光景の第１の奥行き情報を感知し、
前記第１の奥行き情報に基づいて第１の奥行きマップを生成し、前記第１の奥行きマップが前記光景の複数のポイントの奥行き測定値を備える、
１つまたは複数の不正確な奥行き測定値を有する前記第１の奥行きマップの１つまたは複数のポイントの少なくとも１つの領域を識別し、
前記識別された少なくとも１つの領域の特性に基づいて、前記複数の奥行き感知モジュールのうちの第２の選択された奥行き感知モジュールを使用して追加の奥行き感知を実行すべきかどうかを決定するように構成される、装置。
［Ｃ２］
前記処理システムが、
追加の奥行き感知を実行するという決定に基づいて、前記複数の奥行き感知モジュールから前記第２の奥行き感知モジュールを選択し、
前記第２の選択された奥行き感知モジュールを使用して、前記イメージングデバイスの前記ＦＯＶ中の前記光景の第２の奥行き情報を感知し、
前記第２の奥行き情報に基づいて第２の奥行きマップを生成し、

前記第１の奥行きマップと前記第２の奥行きマップの少なくとも一部を一緒に使用して融合奥行きマップを作り出す、前記融合奥行きマップが、１つまたは複数の不正確な奥行き測定値を有する前記第１の奥行きマップの前記少なくとも１つの領域に対応する前記第２の奥行きマップの少なくとも一部を使用する、ようにさらに構成される、Ｃ１に記載の装置。
［Ｃ３］
前記処理システムが、
１つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの１つまたは複数のポイントの少なくとも第２の領域を識別し、
前記識別された第２の領域の特性に基づいて、第３の選択された奥行き感知モジュールを使用して追加の奥行き感知を実行すべきかどうかを決定するようにさらに構成される、Ｃ２に記載の装置。
［Ｃ４］
前記処理システムが、前記第１の奥行きマップと前記第２の奥行きマップとの空間依存融合を生成することによって、前記第１の奥行きマップと前記第２の奥行きマップとを融合させるようにさらに構成される、Ｃ２に記載の装置。
［Ｃ５］
前記処理システムが前記複数の奥行き感知モジュールから前記第２の奥行き感知モジュールを選択するように構成されることが、前記ＦＯＶの以前に取り込まれたフレームのレビューに基づいて、前記第１の奥行きマップの前記奥行き測定値を改善しないことになる前記複数の奥行き感知モジュールのうちの１つまたは複数の奥行き感知モジュールを識別するように前記処理システムが構成されることを備える、Ｃ２に記載の装置。
［Ｃ６］
前記処理システムが前記複数の奥行き感知モジュールのうちの第３の選択された奥行き感知モジュールを介して追加の奥行き感知を実行すべきかどうかを決定するように構成されることは、前記複数の奥行き感知モジュールのうちのいずれかの奥行き感知モジュールが前記融合奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように前記処理システムが構成されることを備える、Ｃ３に記載の装置。
［Ｃ７］
前記処理システムが前記複数の奥行き感知モジュールのうちの第２の選択された奥行き感知モジュールを介して追加の奥行き感知を実行すべきかどうかを決定するように構成されることが、前記複数の奥行き感知モジュールのうちのいずれかの奥行き感知モジュールが前記第１の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように前記処理システムが構成されることを備える、Ｃ１に記載の装置。
［Ｃ８］
前記第１の奥行き感知モジュールが、ステレオビジョン奥行き感知モジュール、構造化光奥行き感知モジュール、または陰影奥行き感知モジュールのうちの少なくとも１つから選択される、Ｃ１に記載の装置。
［Ｃ９］
前記ステレオビジョン奥行き感知モジュール、前記構造化光奥行き感知モジュール、および前記陰影奥行き感知モジュールが、前記イメージングデバイスのハードウェア構成要素を共有する、Ｃ８に記載の装置。
［Ｃ１０］
前記第１の奥行き感知モジュールの前記選択が、前記イメージングデバイスにおける利用可能な記憶空間、前記イメージングデバイスの利用可能なバッテリ電力、利用可能な奥行き分解能、前記イメージングデバイスの環境、または前記イメージングデバイスによって取り込まれるべき光景のうちの少なくとも１つに基づく、Ｃ１に記載の装置。
［Ｃ１１］
前記第１の奥行き感知モジュールの前記選択が、前記少なくとも１つの対象物の奥行き、前記少なくとも１つの対象物の環境、前記少なくとも１つの対象物のフレーム内の場所、または前記イメージングデバイスの特性に少なくとも部分的に基づく、Ｃ１に記載の装置。
［Ｃ１２］
前記イメージングデバイスが、ステレオイメージングシステムを備え、前記光景の２つ以上の画像を取り込み、前記処理システムが、前記２つ以上の画像に視差整合を実行することによって第１の奥行き情報を感知するように構成される、Ｃ１に記載の装置。
［Ｃ１３］
奥行きマップを生成する方法であって、
イメージングデバイスの視野を識別することと、前記イメージングデバイスが前記視野の少なくとも１つの画像を取り込むように構成される、
複数の奥行き感知方法から第１の奥行き感知方法を選択することと、
前記第１の選択された奥行き感知方法を使用して前記イメージングデバイスの前記視野の第１の奥行きを感知することと、
前記第１の選択された奥行き感知方法の前記第１の感知された奥行きに基づいて前記視野の第１の奥行きマップを生成することと、前記第１の奥行きマップが前記視野のすべてのポイントの奥行き測定値を備える、
前記第１の奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する前記第１の奥行きマップの１つまたは複数のポイントの領域を識別することと、
１つまたは複数の不正確な奥行き測定値を有する１つまたは複数のポイントを有する前記領域を前記識別することに基づいて、第２の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することとを備える、方法。
［Ｃ１４］
前記複数の奥行き感知方法から前記第２の奥行き感知方法を選択することと、
追加の奥行き感知が保証されるという前記決定に基づいて、前記第２の選択された奥行き感知方法を使用して前記イメージングデバイスに対する前記少なくとも１つの視野の第２の奥行きを感知することと、
前記第２の選択された奥行き感知方法の前記第２の感知された奥行きに基づいて前記少なくとも１つの視野の第２の奥行きマップを生成することと、
融合奥行きマップを作り出すために前記第１の奥行きマップと前記第２の奥行きマップとを一緒に融合させることと、前記融合奥行きマップが、前記第１の奥行きマップおよび前記第２の奥行きマップの各々よりも少ない数の信頼できない領域を有するように構成される、
前記融合奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの１つまたは複数のポイントの第２の領域を識別することと、

１つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの１つまたは複数のポイントの前記第２の領域を前記識別することに基づいて、第３の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することとをさらに備える、Ｃ１２に記載の方法。
［Ｃ１５］
前記第１の奥行きマップと前記第２の奥行きマップとを前記融合させることが、前記第１の奥行きマップと前記第２の奥行きマップとの空間依存融合を生成することを備える、Ｃ１３に記載の方法。
［Ｃ１６］
前記複数の奥行き感知方法から前記第２の奥行き感知方法を選択することが、前記少なくとも１つの視野の以前に取り込まれたフレームのレビューに基づいて、前記複数の奥行き感知方法のうちの奥行き感知方法を識別することを備える、Ｃ１３に記載の方法。
［Ｃ１７］
前記第３の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することは、前記複数の奥行き感知方法のうちのいずれかの奥行き感知方法が前記融合奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定することを備える、Ｃ１３に記載の方法。
［Ｃ１８］
前記第２の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することは、前記複数の奥行き感知方法のうちのいずれかの奥行き感知方法が前記第１の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定することを備える、Ｃ１２に記載の方法。
［Ｃ１９］
前記第１の奥行き感知方法が、ステレオビジョン奥行き感知方法、構造化光奥行き感知方法、および陰影奥行き感知方法のうちの少なくとも１つから選択される、Ｃ１２に記載の方法。
［Ｃ２０］
前記ステレオビジョン奥行き感知方法、前記構造化光奥行き感知方法、および前記陰影奥行き感知方法が、前記イメージングデバイスのハードウェア構成要素を共有する、Ｃ１８に記載の方法。
［Ｃ２１］
前記第１の奥行き感知方法の前記選択が、前記イメージングデバイスにおける利用可能な記憶空間、前記イメージングデバイスの利用可能なバッテリ電力、利用可能な奥行き分解能、前記イメージングデバイスの環境、および前記イメージングデバイスによって取り込まれるべき光景のうちの少なくとも１つに基づく、Ｃ１２に記載の方法。
［Ｃ２２］
前記第１の奥行き感知方法の前記選択が、前記少なくとも１つの対象物の奥行き、前記少なくとも１つの対象物の環境、前記少なくとも１つの対象物のフレーム内の場所、または前記イメージングデバイスの特性に少なくとも部分的に基づく、Ｃ１２に記載の方法。
［Ｃ２３］
前記少なくとも１つの視野の前記奥行きを感知することが、前記識別された少なくとも１つの視野に視差整合を適用することを備え、前記イメージングデバイスがステレオ光学部品を備える、Ｃ１２に記載の方法。
［Ｃ２４］
奥行きマップを生成するための装置であって、
視野の画像を取り込むための手段と、
奥行きを感知するための複数の手段と、前記複数の奥行き感知手段の各々が前記視野の奥行きマップを生成するように構成される、
前記複数の奥行き感知手段から第１の奥行き感知手段を選択するための手段と、
前記第１の選択された奥行き感知手段を使用して前記画像取込み手段の前記視野の第１の奥行きを感知するための手段と、
前記第１の選択された奥行き感知手段の前記第１の感知された奥行きに基づいて前記視野の第１の奥行きマップを生成するための手段と、前記第１の奥行きマップが前記視野のすべてのポイントの奥行き測定値を備える、
前記第１の奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する前記第１の奥行きマップの１つまたは複数のポイントの領域を識別するための手段と、
１つまたは複数の不正確な奥行き測定値を有する１つまたは複数のポイントを有する前記領域を前記識別することに基づいて、前記複数の奥行き感知手段うちの第２の選択された奥行き感知手段を介した追加の奥行き感知が保証されるかどうかを決定するための手段とを備える、装置。
［Ｃ２５］
前記複数の奥行き感知手段から前記第２の奥行き感知手段を選択するための手段と、
追加の奥行き感知が保証されているという前記決定に基づいて、前記第２の選択された奥行き感知手段を使用して前記画像取込み手段に対する前記視野の第２の奥行きを感知するための手段と、
前記第２の選択された奥行き感知モジュールの前記感知された第２の奥行きに基づいて前記視野の第２の奥行きマップを生成するための手段と、
融合奥行きマップを作り出すために前記第１の奥行きマップと前記第２の奥行きマップとを一緒に融合させるための手段と、前記融合奥行きマップが、前記第１の奥行きマップおよび前記第２の奥行きマップの各々よりも少ない数の信頼できない領域を有するように構成される、
前記融合奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの１つまたは複数のポイントの第２の領域を識別するための手段と、

１つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの１つまたは複数のポイントの前記第２の領域を前記識別すること基づいて、第３の選択された奥行き感知モジュールを介した追加の奥行き感知が保証されるかどうかを決定するための手段とをさらに備える、Ｃ２３に記載の装置。
［Ｃ２６］
前記第１の奥行きマップと前記第２の奥行きマップとを融合させるための手段が、前記第１の奥行きマップと前記第２の奥行きマップとの空間依存融合を生成するように構成される、Ｃ２４に記載の装置。
［Ｃ２７］
前記複数の奥行き感知手段から前記第２の奥行き感知手段を選択するための前記手段が、前記少なくとも１つの視野の以前に取り込まれたフレームのレビューに基づいて、前記第１の奥行きマップの前記奥行き測定値を改善しないことになる前記複数の奥行き感知手段のうちの１つまたは複数の奥行き感知手段を識別するように構成される、Ｃ２４に記載の装置。
［Ｃ２８］
前記複数の奥行き感知手段のうちの前記第３の選択された奥行き感知手段を介した追加の奥行き感知がどうかを決定するための前記手段が、前記複数の奥行き感知手段のうちのいずれかの奥行き感知手段が前記融合奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように構成される、Ｃ２４に記載の装置。
［Ｃ２９］
前記複数の奥行き感知手段のうちの前記第２の選択された奥行き感知手段を介した追加の奥行き感知が必要とされるかどうかを決定するための前記手段が、前記複数の奥行き感知手段のうちのいずれかの奥行き感知手段が前記第１の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように構成される、Ｃ２３に記載の装置。
［Ｃ３０］
前記第１の奥行き感知手段が、ステレオ奥行き画像を取り込むための手段、構造化光奥行き画像を取り込むための手段、および陰影奥行き画像を取り込むための手段のうちの少なくとも１つから選択される、Ｃ２３に記載の装置。

Claims

奥行きマップを生成する方法であって、
イメージングデバイスの視野を識別することと、前記イメージングデバイスが前記視野の少なくとも１つの画像を取り込むように構成される、
複数の奥行き感知方法から第１の奥行き感知方法を選択することと、
前記第１の選択された奥行き感知方法を使用して前記イメージングデバイスの前記視野の第１の奥行きを感知することと、
前記第１の選択された奥行き感知方法の前記第１の感知された奥行きに基づいて前記視野の第１の奥行きマップを生成することと、前記第１の奥行きマップが前記視野のすべてのポイントの奥行き測定値を備える、
前記第１の奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する前記第１の奥行きマップの１つまたは複数のポイントの領域を識別することと、
１つまたは複数の不正確な奥行き測定値を有する１つまたは複数のポイントを有する前記領域を前記識別することに基づいて、第２の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することとを備える、方法。
前記複数の奥行き感知方法から前記第２の奥行き感知方法を選択することと、
追加の奥行き感知が保証されるという前記決定に基づいて、前記第２の選択された奥行き感知方法を使用して前記イメージングデバイスに対する前記少なくとも１つの視野の第２の奥行きを感知することと、
前記第２の選択された奥行き感知方法の前記第２の感知された奥行きに基づいて前記少なくとも１つの視野の第２の奥行きマップを生成することと、
融合奥行きマップを作り出すために前記第１の奥行きマップと前記第２の奥行きマップとを一緒に融合させることと、前記融合奥行きマップが、前記第１の奥行きマップおよび前記第２の奥行きマップの各々よりも少ない数の信頼できない領域を有するように構成される、
前記融合奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの１つまたは複数のポイントの第２の領域を識別することと、
１つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの１つまたは複数のポイントの前記第２の領域を前記識別することに基づいて、第３の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することとをさらに備える、請求項１に記載の方法。
前記第１の奥行きマップと前記第２の奥行きマップとを前記融合させることが、前記第１の奥行きマップと前記第２の奥行きマップとの空間依存融合を生成することを備える、請求項２に記載の方法。
前記複数の奥行き感知方法から前記第２の奥行き感知方法を選択することが、前記少なくとも１つの視野の以前に取り込まれたフレームのレビューに基づいて、前記複数の奥行き感知方法のうちの奥行き感知方法を識別することを備える、請求項２に記載の方法。
前記第３の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することは、前記複数の奥行き感知方法のうちのいずれかの奥行き感知方法が前記融合奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定することを備える、請求項２に記載の方法。
前記第２の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することは、前記複数の奥行き感知方法のうちのいずれかの奥行き感知方法が前記第１の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定することを備える、請求項１に記載の方法。
前記第１の奥行き感知方法が、ステレオビジョン奥行き感知方法、構造化光奥行き感知方法、および陰影奥行き感知方法のうちの少なくとも１つから選択される、請求項１に記載の方法。
前記第１の奥行き感知方法の前記選択が、
前記イメージングデバイスにおける利用可能な記憶空間、
前記イメージングデバイスの利用可能なバッテリ電力、
利用可能な奥行き分解能、
前記イメージングデバイスの環境、
前記イメージングデバイスによって取り込まれるべき光景、
前記少なくとも１つの対象物の奥行き、
前記少なくとも１つの対象物の環境、
前記少なくとも１つの対象物のフレーム内の場所、および、
前記イメージングデバイスの特性、
のうちの少なくとも１つに少なくとも部分的に基づく、請求項１に記載の方法。
前記少なくとも１つの視野の前記奥行きを感知することが、前記識別された少なくとも１つの視野に視差整合を適用することを備え、前記イメージングデバイスがステレオ光学部品を備える、請求項１に記載の方法。
奥行きマップを生成するための装置であって、
視野の画像を取り込むための手段と、
奥行きを感知するための複数の手段と、前記複数の奥行き感知手段の各々が前記視野の奥行きマップを生成するように構成される、
前記複数の奥行き感知手段から第１の奥行き感知手段を選択するための手段と、
前記第１の選択された奥行き感知手段を使用して前記画像取込み手段の前記視野の第１の奥行きを感知するための手段と、
前記第１の選択された奥行き感知手段の前記第１の感知された奥行きに基づいて前記視野の第１の奥行きマップを生成するための手段と、前記第１の奥行きマップが前記視野のすべてのポイントの奥行き測定値を備える、
前記第１の奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する前記第１の奥行きマップの１つまたは複数のポイントの領域を識別するための手段と、
１つまたは複数の不正確な奥行き測定値を有する１つまたは複数のポイントを有する前記領域を前記識別することに基づいて、前記複数の奥行き感知手段うちの第２の選択された奥行き感知手段を介した追加の奥行き感知が保証されるかどうかを決定するための手段とを備える、装置。
前記複数の奥行き感知手段から前記第２の奥行き感知手段を選択するための手段と、
追加の奥行き感知が保証されているという前記決定に基づいて、前記第２の選択された奥行き感知手段を使用して前記画像取込み手段に対する前記視野の第２の奥行きを感知するための手段と、
前記第２の選択された奥行き感知モジュールの前記感知された第２の奥行きに基づいて前記視野の第２の奥行きマップを生成するための手段と、
融合奥行きマップを作り出すために前記第１の奥行きマップと前記第２の奥行きマップとを一緒に融合させるための手段と、前記融合奥行きマップが、前記第１の奥行きマップおよび前記第２の奥行きマップの各々よりも少ない数の信頼できない領域を有するように構成される、
前記融合奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの１つまたは複数のポイントの第２の領域を識別するための手段と、
１つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの１つまたは複数のポイントの前記第２の領域を前記識別すること基づいて、第３の選択された奥行き感知モジュールを介した追加の奥行き感知が保証されるかどうかを決定するための手段とをさらに備える、請求項１０に記載の装置。
前記第１の奥行きマップと前記第２の奥行きマップとを融合させるための手段が、前記第１の奥行きマップと前記第２の奥行きマップとの空間依存融合を生成するように構成される、請求項１１に記載の装置。
前記複数の奥行き感知手段から前記第２の奥行き感知手段を選択するための前記手段が、前記少なくとも１つの視野の以前に取り込まれたフレームのレビューに基づいて、前記第１の奥行きマップの前記奥行き測定値を改善しないことになる前記複数の奥行き感知手段のうちの１つまたは複数の奥行き感知手段を識別するように構成される、請求項１１に記載の装置。
前記複数の奥行き感知手段のうちの前記第１の選択された奥行き感知手段および前記第２の選択された奥行き感知手段を介した追加の奥行き感知が必要とされるかどうかを決定するための前記手段が、前記複数の奥行き感知手段のうちのいずれかの奥行き感知手段がそれぞれの前記融合奥行きマップまたは第１の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように構成される、請求項１０または１１に記載の装置。
前記第１の奥行き感知手段が、ステレオ奥行き画像を取り込むための手段、構造化光奥行き画像を取り込むための手段、および陰影奥行き画像を取り込むための手段のうちの少なくとも１つから選択される、請求項１０に記載の装置。