JP2022100238A - 人の姿勢に基づきマルチカメラシステムを較正する方法及び機器 - Google Patents

人の姿勢に基づきマルチカメラシステムを較正する方法及び機器 Download PDF

Info

Publication number
JP2022100238A
JP2022100238A JP2021186387A JP2021186387A JP2022100238A JP 2022100238 A JP2022100238 A JP 2022100238A JP 2021186387 A JP2021186387 A JP 2021186387A JP 2021186387 A JP2021186387 A JP 2021186387A JP 2022100238 A JP2022100238 A JP 2022100238A
Authority
JP
Japan
Prior art keywords
points
person
camera
point
exemplary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021186387A
Other languages
English (en)
Inventor
セサル サモラ エスキベル フリオ
Cesar Zamora Esquivel Julio
イスラエル ゴンザレス アギーレ デイヴィッド
Israel Gonzalez Aguirre David
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2022100238A publication Critical patent/JP2022100238A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 人の姿勢に基づきマルチカメラシステムを較正する方法及び機器が開示される。【解決手段】 例示的な機器は、第1カメラによりキャプチャされた第1画像内の人の解剖学的点の第1位置を定める第1座標セットを識別し及び第2カメラによりキャプチャされた第2画像内の解剖学的点の第2位置を定める第2座標セットを識別するオブジェクト識別部を含む。前記機器は、前記第1又は第2座標セットのうちの少なくとも1つに基づき、前記人が特定の姿勢であるときを検出する姿勢検出部を含む。前記機器は、前記人が前記特定の姿勢であることの検出に応答して、前記第1座標セットのうちの第1サブセット及び前記第2座標セットのうちの第2サブセットに基づき、前記第1カメラと前記第2カメラとの間の相対変換を計算する変換計算部を含む。【選択図】 図1A

Description

本開示は、概して、マルチカメラ較正に関し、より詳細には、人の姿勢に基づきマルチカメラシステムを較正する方法及び機器に関する。
近年、デジタルカメラ及びマルチカメラシステムは、益々複雑になっており、一方で、(カメラの外部パラメータを推定することにより)このようなマルチカメラシステムを較正する較正技術は厄介な仕事のままである。マルチカメラシステムは、スポーツテレビ放送、セキュリティ及び防衛システム、家庭娯楽システム、仮想及び/又は拡張現実、IoT機器、及びドローンを含む、多くの異なる用途のために有用である。マルチカメラシステムが公衆及び非専門家に更に広く利用可能になるにつれ、マルチカメラシステムのロバストな較正は、マルチカメラアプリケーションのアクセシビリティ及びポータビリティを制限する要因になる可能性がある。
例示的なマルチカメラシステムを較正する人の例示的な使用を示す例示的な図である。 例示的なマルチカメラシステムを較正する人の例示的な使用を示す例示的な図である。 マルチカメラシステムを較正する、図1A及び1Bの例示的なマルチカメラ較正制御部の例示的なブロック図である。 図1A及び/又は1Bの例示的なマルチカメラ構成制御部により生成される例示的なデジタルポイントクラウドスケルトンである。 例示的な解剖学的点及び接続オーバレイを有するT形姿勢である人の3つの異なる画角(viewing angle)からの例示的な画像である。 例示的な解剖学的点及び接続オーバレイを有するT形姿勢である人の3つの異なる画角(viewing angle)からの例示的な画像である。 例示的な解剖学的点及び接続オーバレイを有するT形姿勢である人の3つの異なる画角(viewing angle)からの例示的な画像である。 図1A、1B、及び/又は2の例示的なマルチカメラ較正制御部により生成された例示的なデジタルスケルトンオーバレイを有する、カメラの画像空間と概して平行な角度にあるT形姿勢の人の例示的な画像である。 図1A、1B、及び/又は2の例示的なマルチカメラ較正制御部により生成された例示的なデジタルスケルトンを有する、カメラの画像平面と概して垂直な角度にあるT形姿勢の人の例示的な画像である。 図1A、1B、及び/又は2の例示的なマルチカメラ較正制御部により計算された変換を示す例示的なマルチカメラ閲覧システムの例示的な図である。 マルチカメラシステムを較正するための、図1A、1B、/又は2の例示的なマルチカメラ較正制御部を実装するために実行され得る例示的な機械可読命令を表すフローチャートである。 マルチカメラシステムを較正するための、図1A、1B、/又は2に示した例示的なマルチカメラ較正制御部を実装するために実行され得る例示的な機械可読命令を表す別のフローチャートである。 図1A、1B、/又は2に示した例示的なマルチカメラ較正制御部を実装するために、図7~8の例示的な命令を実行するよう較正された例示的な処理プラットフォームのブロック図である。 (例えば、ライセンス、販売、及び/又は使用のために)消費者に、(例えば、販売、再販、ライセンス、及び/又はサブライセンスのために)小売人のようなクライアント装置に、及び/又は(例えば、例えば小売人へ分配される及び/又は消費者に直販される製品への包含のために)OEM(original equipment manufacturer)にソフトウェア(例えば、図7~8の例示的なコンピュータ可読命令に対応するソフトウェア)を配信するための、例示的なソフトウェア配信プラットフォームのブロック図である。
図は必ずしも縮尺通りではない。概して、同じ参照符号が、図面、及び図面又はその部分を参照する添付の記載を通じて使用される。
特に断りのない限り、「第1」、「第2」、「第3」、等のような記述は、本願明細書では、優先度、物理的順序、リスト内の配置、及び/又は任意の順序を意味する又は示すことなく使用され、単に本開示の例を理解するのを容易にするために、要素を区別するためのラベル及び/又は任意の名称として使用される。幾つかの例では、記述子「第1」は、詳細な説明における要素を表すために使用され得るが、同じ要素が、請求項では「第2」又は「第3」のような異なる記述子により表されることがある。このような例では、このような記述子は、例えば同じ名称を共有することのある要素を単に区別して識別するために使用されることが理解されるべきである。
マルチカメラシステムを較正する従来の技術は、パターン(例えば、チェスボードパターン又は他のタグ)を使用するとこ、測定装置(例えば、定規、コンパス、ノギス、等)を使用すること、及び/又は基準タグ及び関連する3D推定を使用すること、を含む。しかしながら、これらの従来の技術は、煩わしく、これらの技術のために必要なツールは直ちに利用できないことがある。更に、システムを較正するために使用される較正機器の状態及び精度は、非技術的人員により展開されるとき、長期実行アプリケーションの状態を維持することが困難であることがある。多くの場合に、ユーザはカメラの固有パラメータ(例えば、焦点距離、ピクセル深度、等)を、システムのフレームワークからオンラインで又は直接に取得することができるが、ユーザは、カメラの互いに関する外部パラメータ(例えば、3次元(3D)位置及び方向)及び/又は撮像されるべき関連する環境を取得することができない。
本願明細書に開示される例は、マルチカメラシステムにおいて、カメラの較正(例えば、外部パラメータの決定)のための較正パターンとして、人の使用を可能にする。本願明細書に開示される例は、較正中の基準のために取得され位置決めされるべき予め印刷されたパターン及び/又はタグの必要を除去する。むしろ、本願明細書に開示される例は、撮像されるべき環境の中にいる人を較正のために頼りになる基準マーカ又はパターンとして使用することにより、マルチカメラシステムの較正(例えば、特定の印刷されたパターン又はタグの配置を伴わない較正)を可能にする。結果として、本願明細書に開示される例は、ユーザがスマートスペース及び対話型ゲームを容易に生成することを可能にし、深さ感知製品(例えば、Intel(登録商標)により開発されたRealSense(商標)技術)の改良された使用を可能にする。更に、本願明細書に開示される例は、較正パターンとして使用される人のサイズにより標準的な較正パターンを使用することが可能であるよりも、ターゲット環境から遠い距離にあるカメラを較正する(例えば、その外部パラメータを決定する)能力を提供する。更に、本願明細書に開示される例は、ユーザが、カメラの固有パラメータを知らずに、マルチカメラシステムを較正する(例えば、その外部パラメータを決定する)ことを可能にする。
本願明細書に開示される例は、マルチカメラシステムにおいて、複比不変量(cross-ratio invariant)をカメラの較正に導入することにより、較正パターンとしての人の使用を可能にする。本願明細書に開示される例示的な方法、機器、システム、及び製品は、複数のカメラによりキャプチャされた画像の中の人の被写体の解剖学的点を識別し、人の被写体の解剖学的点に対応する画像座標の複比を計算するマルチカメラ較正制御部を含む。第1カメラに対応する画像座標の計算した複比が、基準複比に一致すると決定することに応答して、本願明細書に開示される例は、人の被写体に対する第1及び第2カメラの各々の変換(transformation)を計算する。更に、幾つかの例では、人の被写体に対する各カメラの変換は、第1カメラと第2カメラの間の変換を計算するために使用されてよい。この同じ処理は、マルチカメラシステムの中の全部のカメラの間の変換を定めるために使用されてよく、それにより、完全に較正されたシステムのための全部の外部パラメータを定義する。
図1A及び1Bは、例示的なマルチカメラシステムを較正する人の例示的な使用を示す例示的な図である。図1Aに示した例示的なマルチカメラシステム100aは、例示的な第1静止カメラ102、例示的な第2静止カメラ104、及び例示的な第3静止カメラ106を含む。カメラ102、104、106の中央には、説明される例において示されるように、人被写体108がT形姿勢で(例えば、実質的に直線に、体の左及び右に向けて腕を伸ばして)立っている。図1Aに示した例示的な静止カメラ102、104、106は、それらの名称が暗示するように、画像データ(例えば、静止画像及び/又はビデオ)をキャプチャする間、位置を固定されたままに配置される静止カメラである。図示の例では、3個の静止カメラ102、104、106は、人被写体108を囲み、人被写体108がカメラの各々の視野の範囲内にあるような方向を向くよう位置決めされる。例示的な静止カメラ102、104、106及び人被写体108の相対位置により、例示的なカメラ102、104、106は、それぞれ、人被写体108の異なる画角(viewing angle)を有する。より一般的には、幾つかの例では、例示的な静止カメラ102、104、106は、それぞれ、他の静止カメラ102、104、106に対し及び人被写体108に対し、異なる並進及び回転に関連付けられる。幾つかの例では、例示的な静止カメラ102、104、106は、それぞれ、他の静止カメラ102、104、106、人被写体108、及び/又は3次元空間内で定められた任意の他の基準点に対し、6度の自由度(例えば、並進の3度、及び回転の3度)を有する。
図示の例に示すように、各静止カメラ102、104、106は、図1Aのマルチカメラシステム100aを較正するために実装されてよい例示的なマルチカメラ較正制御部110と通信する。例示的な静止カメラ102、104、106は、任意の適切な有線又は無線接続を介して、例示的なマルチカメラ較正制御部110へ、キャプチャした画像データを提供する。幾つかの例では、静止カメラ102、104、106は、それらがキャプチャした人被写体108の画像データを実質的にリアルタイムに提供する。本願明細書で使用されるとき、「実質的にリアルタイムに」は、時間の計算、送信、等に現実世界の遅延が存在し得ることを認識しながら、ほぼ瞬時に発生することを表す。従って、特に断りのない限り、「実質的にリアルタイムに」は、実際の時間+/-1秒を表す。他の例では、カメラ102、104、106によりキャプチャされた画像データは、格納され、例示的なカメラ102、104、106の外部パラメータを決定するために、後の時点で(例えば、数秒後、数分後、数時間後、等)例示的なマルチカメラ較正制御部110に提供される。
図1Bに示した例示的なマルチカメラシステム100bは、T形姿勢で立っている人被写体108を囲む、例示的な第1動的カメラ112、例示的な第2動的カメラ114、及び例示的な第3動的カメラ108を含む。図1Bに示した例示的な動的カメラ112、114、116は、それぞれのドローンに統合される。このように、図1Bに示した例示的な動的カメラ112、114、116は、画像データをキャプチャしている間、(互いに対して及び/又は人被写体108に対して)移動し及び/又は再位置決めすることができる動的カメラである。図示の例の動的カメラ112、114、116は、ドローンの動きにより動くが、動的カメラ112、114、116は、他の方法で(例えば、異なる人々により運ばれ、移動カメラジブ又はクレーンに取り付けられ、等)動いてもよい。図示の例では、3個の動的カメラ112、114、116は、人被写体108を囲み、人被写体108がカメラの各々の視野の範囲内にあるような方向を向くよう位置決めされる。例示的な動的カメラ112、114、116及び人被写体108の相対位置により、例示的な動的カメラ112、114、116は、それぞれ、人被写体108の異なる画角(viewing angle)を有する。より一般的に、幾つかの例では、例示的な動的カメラ112、114、116は、それぞれ、他の動的カメラ112、114、116、人被写体108、及び/又は3次元空間内で定められた任意の他の基準点に対し、6度の自由度(例えば、並進の3度、及び回転の3度)を有する。
図示の例に示すように、各動的カメラ112、114、116は、図1Bのマルチカメラシステム100bを較正するために実装されてよい例示的なマルチカメラ較正制御部110と通信する。例示的な動的カメラ112、114、116は、任意の適切な有線又は無線接続を介して、例示的なマルチカメラ較正制御部110へ、キャプチャした画像データを提供する。幾つかの例では、動的カメラ112、114、116は、それらがキャプチャした人被写体108の画像データを実質的にリアルタイムに提供する。他の例では、画像データは、格納され、後の時点において分析のために制御部110に提供されてよい。
図2は、複数のカメラ(例えば、カメラ102、104、106、112、114、116)を較正する図1A及び/又は1Bの例示的なマルチカメラ較正制御部110の例示的なブロック図である。例示的なデータインタフェース202は、入力及び/又は出力装置により通信を可能にする。例えば、幾つかの例では、データインタフェース202は、画像データ(例えば、静止画像、ビデオストリーム、等)を、カメラ102、104、106、112、114、116のうちの1つ以上から受信する。更に、幾つかの例では、データインタフェース202は、例示的なオブジェクト識別部204、例示的な姿勢検出部206、例示的な変換計算部208、及び/又は例示的なメモリ210のうちの1つ以上により生成された、画像データの分析の結果を示す(例えば、カメラ102、104、106、112、114、116の並進パラメータ及び/又は回転パラメータを含む計算された変換)他のデータを、ディスプレイ及び/又は他のリモート装置へ送信し及び/又は提供する。例示的なメモリ210は、画像データ、カメラデータ、機会学習アルゴリズム(例えば、トレーニング済み機械学習モデル)、ライブラリ、及び/又はカメラ較正のための他の適切なデータを含む情報を格納する。幾つかの例では、例示的なデータインタフェース202、例示的なオブジェクト識別部204、例示的な姿勢検出部206、例示的な変換計算部208、及び/又は例示的なメモリ210は、バス207を介して接続される。
図2に示される例示的なマルチカメラ構成制御部110は、画像データ内の人被写体(例えば、図1A及び1Bに示された人被写体108)を検出し、画像データ内に現れた人被写体の解剖学的点/接続(例えば、人被写体の身体上の点、人被写体の身体部分、及び/又は接合部のような人被写体の身体部分の交点)を推定し及び/又は識別し、識別した解剖学的点及び/又は接続に基づきデジタルスケルトンを生成し、及び/又は人被写体の推定した解剖学的点及び/又は解剖学的接続に基づきデジタルスケルトン(例えば、ポイントクラウドスケルトン)を生成する、例示的なオブジェクト識別部204を有する。
幾つかの例では、図2の例示的なオブジェクト識別部204は、図3に示される例示的なデジタルポイントクラウドスケルトン300の中に示される解剖学的点及び/又は解剖学的接続のうちの1つ以上を識別する。例えば、レジ的なオブジェクト識別部204は、人被写体の第1の足302、人被写体の第1の膝304、人被写体の第1の腰306、人被写体の第1の手314、人被写体の第1の肘312、人被写体の第1の肩310、人被写体の首308、人被写体の第2の肩316、人被写体の第2の肘318、人被写体の第2の手320、人被写体の第2の腰322、人被写体の第2の膝324、人被写体の第2の足326、人被写体の鼻328、人被写体の第1の目330、人被写体の第1の耳332、人被写体の第2の目334、及び/又は人被写体の第2の目、の位置を識別し及び/又は推定してよい。幾つかの例では、例示的なオブジェクト識別部204は、検出した解剖学的点に対応する画像座標を識別する。幾つかの例では、例示的な解剖学的点及び/又は解剖学的接続に対応する画像座標は、2次元(2D)画像座標(例えば、P(x,y))又は3次元(3D)画像座標(例えば、P(x,y,z))である。幾つかの例では、画像座標は、画像座標ベクトルである。幾つかの例では、検出された解剖学的点の画像座標及び/又は座標ベクトルは、例示的なメモリ210に格納される。幾つかの例では、画像座標及び/又は座標ベクトルは、カメラ(例えば、図1A及び1Bに示されるカメラ102,104、106、112、114、116)から受信した人被写体の画像内の1つ以上のピクセルに対応する。
幾つかの例では、例示的なオブジェクト識別部204は、例示的なオブジェクト識別部204により識別された2つの解剖学的点の間の接続の位置を識別し及び/又は推定する。例えば、例示的なオブジェクト識別部204は、図3に示される例示的なデジタルポイントクラウドスケルトンの中に示された接続のうちの任意の1つ以上を識別し及び/又は推定してよい。例えば、例示的なオブジェクト識別部204は、第1の足302と第1の膝304の間の接続303、第1の膝34と第1の腰306の間の接続305、第1の腰306と首308との間の接続307、首308と第1の肩310との間の接続309、第1の肩310と第1の肘312との間の接続311、第1の肘312と第1の手314との間の接続313、首308と第2の肩316との間の接続315、第2の肩316と第2の膝318との間の接続317、第2の肘318と第2の手320との間の接続319、首308と第2の腰322との間の接続321、第2の腰322と第2の膝324との間の接続323、第2の膝324と第2の足326との間の接続325、首308と鼻328との間の接続327、鼻328と第1の目330との間の接続329、第1の目330と第1の耳332との間の接続331、鼻328と第2の目334との間の接続333、及び/又は第2の目334と第2の耳336との間の接続335を識別してよい。幾つかの例では、例示的なオブジェクト識別部204は、検出した解剖学的接続に対応する画像座標ベクトルを識別する。幾つかの例では、検出された解剖学的接続の画像座標ベクトルは、例示的なメモリ210に格納される。
図3に示される例示的なデジタルスケルトン300は18個の解剖学的点及び17個の解剖学的接続を含み、例示的なオブジェクト識別部204は、図3に示されたものに追加して、組み合わせて又はその代わりに、任意の適切な数の解剖学的点及び/又は解剖学的接続を識別し及び/又は推定してよい。例えば、例示的なオブジェクト識別部204は、図3に示された隣接する解剖学的点(例えば、手首、胴、及び/又は口)の間に配置された1つ以上の解剖学的点の位置を識別し及び/又は推定してよい。幾つかの例では、例示的なオブジェクト識別部204は、人被写体上の任意の個別解剖学的点に特にリンクされないが、2つ以上の他の解剖学的点を参照して決定される中間点を識別する。例えば、中央骨盤点は、人の第1及び第2の腰306、322を識別する2つの点の間の半分に位置する中間点を識別することにより決定されてよい。別の例として、第1の肩310から第2の腰322へ延びる第1の線が第2の肩316から第1の腰306へ延びる第2の線と交差するところで、人被写体の胴の中心に対応する中間点が識別されてよい。幾つかの例では、例示的なオブジェクト識別部204は、図3に示された解剖学的点(例えば、指、又は額)の外側の任意の1つ以上の解剖学的点の先端の位置を識別し及び/又は推定してよい。
幾つかの例では、例示的なオブジェクト識別部204は、(解剖学的点が整列されるように、人被写体が特定の姿勢で立っているとき)解剖学的点が線上に配置されるときを検出するのに適する任意の数の及び/又は組合せの解剖学的点を識別し及び/又は推定してよい。例えば、例示的なオブジェクト識別部204は、人被写体がT形姿勢(例えば、図1Bに示したように、体の左及び右へ向けて手を伸ばしている)であるときを検出するために、第1の手314、第1の肩310、第2の肩316、第2の手320、第1の手314と第1の肩310との間の接続、第1の肩310と第2の肩316との間の接続、第2の肩316と第2の点320との間の接続、を識別し及び/又は推定してよい。幾つかの例では、例示的なオブジェクト識別部204は、人被写体がある姿勢(例えば、T形姿勢)にあるとき解剖学的点により形成される線の複比を計算するのに適する人被写体の任意の数の及び/又は組合せの解剖学的点及び/又は解剖学的接続を識別し及び/又は推定する。幾つかの例では、例示的なオブジェクト識別部204は、3点透視(perspective-three-point (P3P))問題を解くために使用され得る3個の点を定めるために、三角形に配置された、人被写体の任意の数の及び/又は組合せの解剖学的点及び/又は解剖学的接続を識別し及び/又は推定する。幾つかの例では、P3P問題を定義する三角形の中の3個の点のうちの少なくとも2個は、上述の直線に配置された解剖学的点の中から識別される。幾つかの例では、例示的なオブジェクト識別部204は、4点透視(perspective-four-point (P4P))問題を解くために使用され得る4個の点を定めるために特定の姿勢(例えば、T形姿勢)にあるときの、人被写体の任意の数の及び/又は組合せの解剖学的点及び/又は解剖学的接続を識別し及び/又は推定する。幾つかの例では、P4P問題における4個の点のうちの少なくとも3個は、上述のように複比を計算するために使用される4個の解剖学的点により定められる直線に沿って識別される。幾つかのこのような例では、線に沿った3個の点は、直線に配置されているとき、姿勢検出部206により検出される4個の解剖学的点のうちの異なる点に対応する。他の例では、3個の点のうちの少なくとも幾つかは、4個の点と異なるが直線上に位置する他の点に対応してよい。幾つかの例では、P4P問題における第4の点は、上述の直線に実質的に垂直に延び且つ直線に沿って位置付けられたP4P問題における他の3個の点のうちの1つを通過する線上に位置するよう選択される。結果として、P4P問題における第4の点は、座標系の原点を定めるために使用できる直角を有する形状(例えば、T形状、L形状)を定める。
図4A~4Cは、人被写体の肩、肘、及び手が直線内にあるT姿勢である人被写体400の3つの異なる画角(viewing angle)に関連する3個の異なる画像400a、400b、400cからの例示的な画像である。この例では、この直線の終わりにある解剖学的点(例えば、人被写体400の右手に対応する第1解剖学的点402、及び人被写体400の左手に対応する第2解剖学的点404)、及び人被写体400の胸に対応する第3解剖学的点406は、P4P問題について定められるべきT形状の中の4個の点のうちの3個として選択される。幾つかの例では、第3点406の位置は、人被写体の2つの肩310、316に対応するデジタルスケルトン300内の解剖学的点の間の中点を決定することにより識別される。図示の例では、人被写体400の骨盤に対応する第4解剖学的点408は、P4P問題の基礎として使用されるT形状の中の第4の点として定義される。幾つかの例では、第4点408の位置は、人被写体の2つの腰306、322に対応するデジタルスケルトン300内の解剖学的点の間の中点を決定することにより識別される。結果として、第3点406及び第4点408は、垂直に揃えられ、人被写体の腕により定められる直線と実質的に垂直な直線を定める。このように直角にある、P4P問題の点を選択することは、基準座標系を定義する。他の例では、第4点408は、P4P問題を解くことなく依然として可能であるので、他の3個の点402、404、406のいずれとも垂直に揃えられない他の場所で選択されてよい。P4P問題の解は、対応するカメラの変換パラメータを定める。つまり、4個の点402、404、406、408により定められるT形状の形状は、3個の画像400a、400b、400cの各々において異なるように見えるが、T形状は、実際には、人被写体400の解剖学的比率により現実世界で固定された形状を有する。更に、幾つかの例では、カメラは実質的に同時に(例えば、同時に又は互いに1秒未満の範囲内で)画像をキャプチャするよう同期化されるので、T形状は、(異なるカメラによりキャプチャされた)人被写体の全部の画像に渡り現実世界で固定された形状を有する。従って、T形状の形状の中で現れる差は、3個の画像400a、400b、400cの各々をキャプチャしたカメラの異なる目線に起因する。例示的なT形状が示され説明されるが、人被写体が特定の姿勢であると決定されるとき、(人体解剖学に基づき)互いに対して固定距離及び相対位置を有する任意の適切な配置の任意の点が、対応するカメラの変換パラメータを定めるために解くことができるP4P問題を定義するために使用されてよい。より一般的には、P4P問題で使用される4個の点のうちの少なくとも1つがP4P問題の他の3個の点と揃っていない限り(例えば、点が三角形に配置される)、問題の解が決定できる。
図2に示される例示的なマルチカメラ較正制御部110の例示的なオブジェクト識別部204は、画像データを分析して人被写体を検出し、人被写体の解剖学的点及び/又は解剖学的接続の位置を識別し及び/又は推定し、及び/又はデジタルスケルトン(例えば、図3に示されるデジタルポイントクラウドスケルトン300)を生成するために機械学習モデルを実装する、例示的な学習制御部212を含む。図2に示した例では、例示的な機械学習制御部212は、入力トレーニングデータ(例えば、トレーニング画像)に基づきモデルをトレーニングする例示的なモデルトレーナ214と、モデル(例えば、トレーニング済みモデル)を実行する例示的なモデル実行部216と、を含む。幾つかの例では、例示的なモデルトレーナ214は、例えばトレーニングデータに基づきパターン及び/又は関連付けに従い動作するようモデルをトレーニングするトレーニングアルゴリズムを実装する。幾つかの例では、トレーニングが完了すると、モデルは、実行可能構成として、例示的なモデル実行部216に展開される。幾つかの例では、例示的なモデル実行部216は、トレーニング済み機械学習モデルを使用して、入力(例えば、人被写体の画像)を処理し、対応する解剖学的点及び/又は解剖学的接続の画像座標及び/又は座標ベクトルを示す出力を提供する。幾つかの例では、トレーニングモデル及び/又は実行モデルに関連するアルゴリズムを含むトレーニングモデル及び/又は実行モデルは、例示的なメモリ210に格納される。
幾つかの例では、図2に示される例示的なマルチカメラ較正制御部110の例示的なオブジェクト識別部204は、カメラからの画像内の人被写体上の解剖学的点及び/又は解剖学的接続の位置を識別し及び/又は推定する機械学習モデル(例えば、線形回帰、ロジスティック回帰、深層ニューラルネットワーク(deep neural network (DNN))、畳み込みニューラルネットワーク(convolutional neural network (CNN))、及び/又はマルチステージCNN)を実装する。幾つかの例では、例示的な機械学習制御部212は、身体部分の局所的観察とそれらの間の空間的依存性との組合せに対する推定を生成することにより解剖学的点及び/又は接続を識別するために、人姿勢推定技術を実行する。幾つかの例では、例示的な機械学習制御部212は、人被写体の解剖学的点及び/又は接続を識別するために、現在知られている又は将来開発される任意の適切な2D及び/又は3D姿勢推定分析技術を実装する。
幾つかの例では、図2の例示的な機械学習制御部212は、画像内の解剖学的点を検出するための信頼性マップを生成することにより、2D姿勢推定を実施する。幾つかの例では、例示的な機械学習制御部212は、信頼性マップの最大値を選択し、及び/又は非最大抑圧(non-maximum suppression (NMS))を適用して、検出された解剖学的点の候補身体部分を識別する。幾つかの例では、例示的な機械学習制御部212は、PAF(part affinity field)(例えば、画像ドメインに渡り身体部分の位置及び方向を符号化する2Dベクトルフィールドのセット)を生成して、検出された解剖学的点を他の解剖学的点に関連付ける。幾つかの例では、例示的な機械学習制御部212は、信頼性マップに基づき生成された身体部分候補を関連付けるために、二部マッチング(bipartite matchings)のセットを実行する。幾つかの例では、例示的な機械学習制御部212は、例示的な機械学習制御部212により識別された予測及び/又は関連付けを組み立て、完全な身体姿勢(例えば、図2に示されるもののようなデジタルスケルトン)を生成する。幾つかの例では、デジタルスケルトンの一部のみが、生成され及び/又は識別される。幾つかの例では、例示的な機械学習制御部212は、例示的な機械学習制御部212により識別された検出された解剖学的点及び/又は解剖学的接続の画像座標及び/又は座標ベクトルを出力する。幾つかの例では、例示的な機械学習制御部212は、画像座標及び/又は座標ベクトルを、姿勢検出のために例示的な検出器206に、及び/又は記憶のために例示的なメモリ210に、出力する。
図2に示された例示的なマルチカメラ較正制御部110は、人被写体108が例示的なオブジェクト識別部204により識別された及び/又は推定された解剖学的点のうちの少なくとも4個が線に配置される(例えば、4個の点全部が同一線上にある)特定の姿勢で立っているときを検出する例示的な姿勢検出部206を含む。より詳細には、姿勢検出部206は、画像内の人被写体の4個の解剖学的点の複比(cross-ratio)を計算することにより、人被写体が(4個の解剖学的点が線上に配置される)特定の姿勢で立っているときを検出する。このような点の複比が射影不変であるのは、4個の同一線上の幾何学的特性である。つまり、4個の点が線上にあり、互いに対して固定距離を維持するとき、線に沿うこれらの点の複比は、4個の点に対する原点の位置に関わらず、任意の射影について固定値のままである。解剖学的点のうちの異なる点の間の寸法が固定されている限り(例えば、手首と肘との間の前腕が固定寸法を有し、肘と肩との間の上腕が固定寸法を有し、肩同士の間の距離が固定寸法である)、このような解剖学的点が線上に保持されるとき(例えば、人がT姿勢で立っているとき)、解剖学的点は、直線に沿う固定空間を定め、従って、投射不変配置にある。結果として、人被写体の周りの任意の視点から計算された4個の解剖学的点の複比は、同じであるべきである。これは、図5Aに図式的に示される。
図5Aは、図2の例示的なマルチカメラ較正制御部110により生成されたデジタルスケルトンオーバレイを有する、画像をキャプチャするカメラの画像平面と概して平行な角度にあるT姿勢で立っている人被写体501の例示的な画像500aである。図示の例では、例示的なマルチカメラ較正制御部110は、例示的な人501の第1の手首502aに対応する画像座標ベクトルP1を有する第1解剖学的点、例示的な人501の第1の肩504aに対応する画像座標ベクトルP2を有する第2解剖学的点、例示的な人501の第2の肩506aに対応する画像座標ベクトルP3を有する第3解剖学的点、及び例示的な人501の第2の手首508aに対応する画像座標ベクトルP4を有する第4解剖学的点、を識別する。図示の例に示されるように、4個の点502a、504a、506a、508aは線を形成する。従って、(第1射影に関連する)第1の点510aの視点からの4個の点の複比は、(第2射影に関連する)第2の点520aの視点からの4個の点の複比と同じである。更に、4個の点の複比は、人被写体を囲む空間内の別の他の点と同じになる。これらの異なる視点又は射影の点は、例えば、図5Aに示される画像500aをキャプチャしたカメラに関連する点を含む、人被写体の周囲にあるカメラの異なる位置に対応してよい。
従って、幾つかの例では、例示的な姿勢検出部206は、各カメラによりキャプチャされた画像内に現れる4個の点502a、504a、506a、508aの複比を計算し、及び画像について計算された複比が一致するかどうかを決定することにより、人被写体がT姿勢に対応する特定の位置にいるかどうかを決定する。複比の値が一致しない場合(例えば、同じではない)、射影不変特性は満たされず、4個の点502a、504a、506a、508aが直線上にないことを示す。従って、例示的な姿勢検出部206は、人が意図された姿勢(例えば、図示の例ではT姿勢)ではないと決定する。例えば、図5Bは、同じ人被写体501の別の例示的な画像500bである。しかしながら、図5Bの画像500b内に現れる時点において、人被写体501は、約90度回転され、人被写体のT姿勢がカメラの画像平面と概して垂直である角度にある。図5Bの例示的な画像では、4個の解剖学的点P1(第1の手首502b)、P2(第1の肩504b)、P3(第2の肩506b)、P4(第2の手首508b)は、直線上にない。従って、例示的な姿勢検出部206は、人被写体501が意図された姿勢(例えば、左及び右へ腕を伸ばしているT姿勢)ではないと決定する。しかしながら、異なる画像の間の複比の値が一致する場合、例示的な姿勢検出部206は、人が、4個の点502a、504a、506a、508aが直線の射影不変並置にあることに対応する意図された姿勢であると決定する。
幾つかの例では、例示的な姿勢検出部206は、異なるカメラに関連する異なる画像について計算された複比の値が間の差にも関わらず、差が閾値を満たす(例えば、それより小さい)とき、人が意図された姿勢であると決定し、4個の点502a、504a、506a、508aが正確に直線上にないが偏差が無視できるという状況に対応する。つまり、幾つかの例では、4個の点502a、504a、506a、508aがそれぞれ直線の許容閾値の範囲内にあるとき、それらは、直線内にあると考えられる。
互いに異なる画像の複比の値を比較するのではなく、幾つかの例では、姿勢検出部206は、特定の画像の複比の値を例示的なメモリ210に格納された固定値と比較する。幾つかの例では、固定値は、4個の点502a、504a、506a、508aの間の解剖学的寸法に基づき定義される。つまり、幾つかの例では、4個の点502a、504a、506a、508aの複比の値は、人被写体501の現実世界の測定に基づき計算され、固定値として定義されてよい。その後、例示的な姿勢検出部206は、1つ以上のカメラによりキャプチャされた画像内に現れる4個の点502a、504a、506a、508aに基づき計算された複比の値を比較してよい。画像に基づく複比の値の間の差が閾値よりも小さい場合、例示的な姿勢検出部206は、人被写体が意図された姿勢であると決定する。
幾つかの例では、固定値は、4個の点502a、504a、506a、508aの間の解剖学的寸法に基づき定義される基準複比である。幾つかの例では、図2の例示的なマルチカメラ較正制御部110は、制御被写体の基準複比を計算し、例示的なローカルメモリ210に基準複比を格納する。幾つかの例では、例示的な姿勢検出部206は、例示的なメモリ210から基準複比をフェッチし、基準複比を、対応するカメラによりキャプチャされた画像内の被写体について計算された複比と比較する。幾つかの例では、例示的な姿勢検出部206は、基準複比と人被写体について計算された複比との間の比較に基づき、特定の姿勢(例えば、T姿勢)を検出する。より詳細には、例示的な姿勢検出部206は、計算された複比が基準複比と一致するとき、人被写体が特定の姿勢であると決定してよい。幾つかの例では、例示的な姿勢検出部206は、基準複比と対応するカメラに関連する画像について計算された複比との間の差にも関わらず、差が閾値を満たす限り(例えば、それより小さい)、人が意図された姿勢であると決定して、人被写体(例えば、図5Aの人被写体501)が基準複比を計算するために使用された制御被写体の解剖学的測定と異なる解剖学的寸法を有する状況に対応する。
線に沿う4個の1次元点A(x)、B(x)、C(x)、及びD(x)の例示的な複比は、次式に従い計算できる:
Figure 2022100238000002
幾つかの例では、例示的な姿勢検出部206は、人被写体の解剖学的点に対応する4個の3次元画像座標P1(x,y,z)、P2(x,y,z)、P3(x,y,z)、及びP4(x,y,z)を受信し、解剖学的点P1、P2、P3、及びP4に対応する画像座標ベクトルの複比を次式に従い計算する:
Figure 2022100238000003
幾つかの例では、解剖学的点P1、P2、P3、及びP4の座標ベクトルは、人被写体の第1の手首(例えば、図5に示される例示的な人501の第1の手首502a)、例示的な人被写体の第1の肩(例えば、人被写体500aの第1の肩504a)、人被写体の第2の肩(例えば、人被写体50aの第2の肩506a)、及び人被写体の第2の手首(例えば、人被写体500aの第2の手首508a)にそれぞれ対応する。幾つかの例では、解剖学的点P1、P2、P3、及びP4に対応する座標ベクトルを受信することに応答して、例示的な姿勢検出部206は、4個の解剖学的点の座標ベクトルに基づき、以下の3×4ベクトル行列を生成する:
Figure 2022100238000004
幾つかの例では、例示的な姿勢検出部206は、複比計算を簡略化する目的で、例示的な3×4行列Pに基づき、以下の4×4ベクトル行列を生成する:
Figure 2022100238000005
幾つかの例では、例示的な姿勢検出部206は、4×4行列Pの第4行の中の各要素Wiに1の値を割り当てて、以下に示す4×4行列を生成する:
Figure 2022100238000006
幾つかの例では、4×4行列Pを生成することに応答して、例示的な姿勢検出部206は、上述の式(2)に基づき、P1、P2、P3、及びP4に対応する座標ベクトルの複比を計算する。幾つかの例では、対応するカメラによりキャプチャされた画像の計算された複比が基準複比と(何らかの閾値の範囲内で)一致すると決定することに応答して、例示的な姿勢検出部206は、第1信号(例えば、姿勢イベント信号)を生成し、第1信号を、図2に示される例示的なマルチカメラ較正制御部110の例示的な変換計算部208へ送信する。
幾つかの例では、対応するカメラによりキャプチャされた画像の計算された複比が基準複比と一致しないと決定することに応答して、例示的な姿勢検出部206は、第2信号(例えば、非姿勢イベント信号)を生成する。幾つかの例では、例示的な姿勢検出部は、例示的な変換計算部208及び/又は例示的なメモリ210へ第1信号又は第2信号を送信する。
図2に示される例示的なマルチカメラ較正制御部110は、1つ以上の対応するカメラによりキャプチャされた画像内に現れる人被写体に対する1つ以上の対応するカメラの変換パラメータ(例えば、並進パラメータ及び回転パラメータ)を計算する例示的な変換計算部208を含む。つまり、人被写体は、人被写体に対する各カメラの変換を決定するために、(特定の姿勢(例えば、T姿勢)であることが確認されるとき)較正パターンとして機能する。カメラと人被写体との間の変換が計算されると、例示的な変換計算部208は、カメラのうちの任意の2つについて変換パラメータを計算する。
図6は、図2の例示的なマルチカメラ較正制御部110により計算された変換を示す例示的なマルチカメラ閲覧システム600の例示的な図である。幾つかの例では、例示的な変換計算部208は、三角形が表されるよう配置された人被写体の解剖学的点において、対応するカメラの変換パラメータを定義するために、P3P問題の解が計算され得る基準として使用されるべき三角形を形成する、人被写体608の解剖学的点及び/又は解剖学的接続に対応する少なくとも3つの画像座標及び/又は座標ベクトルを識別する。幾つかの例では、例示的な変換計算部208は、人被写体608の解剖学的点及び/又は解剖学的接続に対応する少なくとも4個の画像座標及び/又は座標ベクトルを識別する。幾つかの例では、4個の点は、三角形を定める3個の点、及び最初の3個の点に対して知られている空間的関係を有する任意の適切な位置にあってよい1つの他の点、を含む。幾つかの例では、第4の点は、他の3個の点に対してずれている。従って、4個の点は、集合的に四角形を定める。他の例では、第4の点は、他の点のうちの2つの間の線に沿って位置付けられる。従って、4個の点は、直線(例えば、姿勢検出部206により検出される直線)に配置される3個の点と、直線からずれている1つの点と、を含む。言い方を変えると、幾つかの例では、4個の点は三角形を定め、1個の点が他の3個の点により定められた3個の頂点のうちの2個の間の三角形の辺に沿って位置付けられる。幾つかのこのような例では、(三角形の頂点を定めない)第4の点は、第1の直線と該第1の直線に垂直であり且つ(三角形の第3の頂点を定める)オフセット設定点を通過する第2の直線との交点に対応する位置にある(三角形の2個の頂点を定める)第1の点と第2の点との間の第1の直線に沿って位置付けられる。言い換えると、幾つかの例では、4個の点はT形状又はL形状を形成する。幾つかの例では、例示的な変換計算部208は、姿勢検出部206から、人被写体が射影不変配置に位置付けられる(例えば、直線内に配置される)4個の解剖学的点に関連付けられた特定の姿勢であることを示す信号(例えば、姿勢イベント信号)が受信されるまで、P4P問題における4個の点の座標を識別しない。幾つかの例では、例示的な変換計算部208は、P4P問題を定めるために使用される点のうちの3個として例示的な姿勢検出部206により検出される射影不変配置(例えば、直線)にある解剖学的点のうちの3個を使用する。幾つかの例では、例示的な変換計算部は、例示的な姿勢検出部206により検出された射影不変配置(例えば、直線)内の解剖学的点のうちの2個を、T姿勢の中の点のうちの2個、2個の点の間に位置する第3点(例えば、図4Aに示すような人被写体400の解剖学的点408)と、他の3個の点二関連する直線上になく(例えば、人体の実質的に固定された比率に基づき)他の3個の点に対して知られている空間的関係を有する人被写体の身体上にある任意の他の解剖学的点に対応する第4点と、として使用する。例えば、幾つかの例では、例示的な変換計算部208は、図4Aに示される人被写体400の腹部又は骨盤により位置付けられる解剖学的点408を、T形状を定める三角形の中の第4点として識別する。変換計算部208が、三角形及び/又はT形状の4個の点402、404、406、408に対応する4個の座標セットを識別すると、例示的な変換計算部208は、4個の座標セットに基づきP4P問題の解を見付けることにより、人被写体に関する対応するカメラの変換パラメータ(例えば、並進パラメータ及び回転パラメータ)を計算する。例示的な変換計算部は、このような問題を解くために現在知られている又はのりに開発される任意の適切なソルバ及び/又は任意の適切な分析技術を用いてP4P問題を解いてよい。
例示的な変換により識別される3又は4個の点により定められる三角形及び/又はT形状は、人間の高さ/胴体に対する人間の腕の長さとの間の人体解剖学の特定の比率(又は異なる解剖学的点が選択される場合には、人体の他の比率)に基づく固定形状なので、P3P問題及び/又はP4P問題の解を決定することが可能である。幾つかの例では、所与のP4P問題に対する1つの解があってよい。幾つかの例では、所与のP3P問題に対する複数の解があってよい。従って、幾つかの例では、異なるP3P問題を定義するための複数の異なる三角形の点が識別され、単一の解へと収束するために分析されてよい。幾つかの例では、対応するP3P問題を解くために使用される異なる三角形の各々は、姿勢検出部206により検出される直線内に配置される解剖学的点に関連する同じ2個の点を使用するが、第3の点は変化する。例えば、第1三角形の中の第3の点は、人被写体の腹部又は骨盤に対応してよいが、第2三角形の中の第3の点は、人被写体の膝に対応し、第3三角形の中の第3の点は、人被写体の鼻に対応する。
幾つかの例では、計算された変換は、1つ以上の4×4行列である。幾つかの例では、例示的な変換計算部208は、P3P及び/又はP4P問題の解に基づき、各々のそれぞれのカメラ602、604、606に対応する運動学的フレーム(kinematic frame)(例えば、Darbouxフレーム)を計算する。幾つかの例では、計算された変換パラメータは、人被写体608に対する各カメラの位置及び方向を定める。より詳細には、幾つかの例では、変換パラメータは、人被写体608に対するX、Y、Z方向の各カメラ602、604、606の位置を定める変換パラメータを含む。更に、計算された変換パラメータは、人被写体608に対するX、Y、Z軸の周りの各カメラ602、604、606の回転角を定める回転パラメータを含む。幾つかの例では、例示的な変換計算部208は、計算された並進パラメータ及び/又は計算された回転パラメータを、例示的なメモリ210に及び/又は外部装置(例えば、ユーザディスプレイ)への送信のために例示的なデータインタフェース202に提供する。
例示的な変換計算部が、各カメラ602、604、606と人被写体608との間の変換パラメータを決定すると、カメラ602、604、606のうちの異なるペアの間の任意の変換を計算することが可能である。従って、幾つかの例では、(人被写体608に対する)第1カメラ602の第1変換610(図6)及び(人被写体608に対する)第2カメラ604の第2変換612を計算することに応答して、図2に示される例示的な変換計算部208は、第1カメラ602と第2カメラ604との間の第3変換614を計算する。幾つかの例では、例示的な第3変換614は、第1カメラ602の第2カメラ604に対する並進、及び/又は第1カメラ602の第2カメラ604に対する回転、を定めることを含む。幾つかの例では、例示的な計算された並進パラメータは、第1カメラ602の位置(例えば、第2カメラ604に対する距離)に対応する。幾つかの例では、例示的な計算された回転パラメータは、第2カメラ604に対する第1カメラ602の方向(例えば、回転角)に対応する。幾つかの例では、例示的な変換計算部208は、第2カメラ604に対する第1カメラ602の変換パラメータ(例えば、並進及び回転)を、記憶のために例示的なメモリ210に及び/又は1つ以上の外部装置(例えば、携帯電話機、ユーザディスプレイ、及び/又は画像処理機器)へ送信するために例示的なデータインタフェース202に、提供する。
幾つかの例では、図2の例示的なマルチカメラ較正システム110は、カメラ602、604、606が位置から外れる度に、カメラ602、604、606を再較正する。幾つかの例では、例示的なマルチカメラ較正システム110は、カメラ602、604、606の移動を自動的に検出し、移動の検出に応答して再較正を開始する。幾つかの例では、マルチカメラ較正システム110は、カメラ602、604、606のうちの1つが移動されたことを検出することに応答して、カメラ602、604、606を自動的に再較正する。幾つかの例では、例示的なマルチカメラ較正システム110は、周期的に起動し、再較正を実行する。幾つかの例では、例示的なマルチカメラ較正システム110は、カメラのうちのいずれかが移動されたか否かに関わらず、進行中に(例えば、実質的にリアルタイムに)システム内のカメラの較正パラメータ(例えば、変換)を計算する。
図1A及び/又は1Bのマルチカメラ較正制御部110を実装する例示的な方法が図2に示されたが、図2に示された要素、処理、及び/又は装置のうちの1つ以上は、結合され、分割され、再配置され、省略され、削除され及び/又は任意の他の方法で実装されてよい。更に、例示的なデータインタフェース202、例示的なオブジェクト識別部204、例示的な姿勢検出部206、例示的な変換計算部208、例示的なメモリ210、例示的な機械学習制御部212、例示的なモデルトレーナ214、例示的なモデル実行部216、及びより一般的には、図1A及び/又は1Bの例示的なマルチカメラ較正制御部110は、ハードウェア、ソフトウェア、ファームウェア、及び/又は、ハードウェア、ソフトウェア、及び/又はファームウェアの任意の組合せにより実装されてよい。従って、例えば、例示的なデータインタフェース202、例示的なオブジェクト識別部204、例示的な姿勢検出部206、例示的な変換計算部208、例示的なメモリ210、例示的な機械学習制御部212、例示的なモデルトレーナ214、例示的なモデル実行部216、及び/又はより一般的には、図1A及び/又は1Bの例示的なマルチカメラ較正制御部110は、1つ以上のアナログ又はデジタル回路、論理回路、プログラマブルプロセッサ、プログラマブル制御部、グラフィック処理プロセッサ(GPU)、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、プログラマブル論理素子(PLD)、及び/又はフィールドプログラマブル論理素子(FPLD)により実装され得る。純粋にソフトウェア及び/又はファームウェアの実装をカバーするために、例示的なデータインタフェース202、例示的なオブジェクト識別部204、例示的な姿勢検出部206、例示的な変換計算部208、例示的なメモリ210、例示的な機械学習制御部212、例示的なモデルトレーナ214、例示的なモデル実行部216は、それにより明示的に、ソフトウェア及び/又はファームウェアを含む、非一時的コンピュータ可読記憶装置、又はメモリ、デジタルバーサタイルディスク(DVD)、コンパクトディスク(CD)、ブルーレイディスク、等のような記憶ディスクを含むよう定められる。また更に、図1A/1Bの例示的なマルチカメラ較正制御部110は、1つ以上の要素、処理、及び/又は装置を、図2に示されたものに加えて又はその代わりに含んでよく、及び/又は図示された要素、処理、及び装置のうちの1つより多くの任意の又は全部を含んでよい。ここで使用されるとき、語句「通信する(in communication)」及びその変形は、直接通信及び/又は1つ以上の中間コンポーネントを通じる間接通信を包含し、直接物理(例えば有線)通信及び/又は一定の通信を必要としないが、むしろ更に、周期的間隔、スケジューリングされた間隔、非周期的間隔、及び/又は単発的の選択的通信を含む。
図1A、1B、及び/又は2のマルチカメラ較正制御部110を実装するための例示的なハードウェアロジック、機械可読命令、ハードウェア実装された状態機械、及び/又はそれらの任意の組合せは、図7~8に示される。機械可読命令は、図9と関連して後述する例示的なプロセッサプラットフォーム900内に示されるプロセッサ912のようなコンピュータプロセッサ及び/又はプロセッサ回路による実行のための1つ以上の実行プログラム又は実行プログラムの一部であってよい。プログラムは、CD-ROM、フロッピーディスク、ハードドライブ、DVD、ブルーレイディスク、又はプロセッサ912に関連付けられたメモリのような非一時的コンピュータ可読記憶媒体に格納されたソフトウェア内に具現化されてよいが、プログラム全体及び/又はその部分は、代替として、プロセッサ912以外の装置により実行され、及び/又はファームウェア又は専用ハードウェアで具現化されてよい。更に、例示的なプログラムは図7~8に示されるフローチャートを参照して説明されるが、マルチカメラ較正制御部110を実装する多くの他の方法が代替として使用されてよい。例えば、ブロックの実行順序は変更されてよく、記載されたブロックのうちの幾つかは、変更され、削除され、又は結合されてよい。追加又は代替として、任意の又は全部のブロックは、ソフトウェア又はファームウェアを実行することなく対応する動作を実行するよう構成された1つ以上のハードウェア回路(例えば、個別及び/又は集積アナログ及び/又はデジタル回路、FPGA、ASIC、比較器、演算増幅器(op-amp)、論理回路、等)により実装されてよい。プロセッサ回路は、異なるネットワーク位置に分散され、及び/又は1つ以上の装置にローカルであってよい(例えば、単一装置内のマルチコアプロセッサ、サーバラックに渡り分散された複数のプロセッサ、等)。
本願明細書に記載される機械可読命令は、圧縮形式、暗号化形式、フラグメント形式、コンパイル形式、実行可能形式、パッケージ形式、等のうちの1つ以上で格納されてよい。本願明細書に記載される機械可読命令は、機械実行可能命令を生成し、製造し、及び/又は生産するために利用され得るデータ又はデータ構造(例えば、命令の部分、コード、コードの表現、等)として格納されてよい。例えば、機械可読命令は、フラグメント化され、ネットワーク又はネットワークの集合(例えば、クラウド内、エッジ装置内、等)の同じ位置又は異なる位置に置かれた1つ以上の記憶装置及び/又はコンピューティング装置(例えば、サーバ)に格納されてよい。機械可読命令は、コンピューティング装置及び/又は他の機械によりそれらを直接読み取り可能、解釈可能、及び/又は実行可能にするために、インストール、変更、適応、更新、結合、補強、構成、複合、伸長、パッケージ解除、分散、再割り当て、コンパイル、等のうちの1つ以上を要求してよい。例えば、機械可読命令は、個別に圧縮され、暗号化され、及び別個のコンピューティング装置に格納された複数の部分に格納されてよく、部分は、復号され、伸長され、結合されると、一緒に本願明細書に記載されたようなプログラムを形成し得る1つ以上の機能を実施する実行可能命令のセットを形成する。
別の例では、機械可読命令は、特定のコンピューティング装置又は他の装置で命令を実行するためにライブラリ(例えば、DLL(dynamic link library))、SDK(software development kit)、API(application programming interface)等の追加を必要とするが、プロセッサ回路により読み取られる状態で格納されてよい。別の例では、機械可読命令は、機械可読命令及び/又は対応するプログラムが全体又は部分的に実行できるようになる前に、構成される必要があってよい(例えば、格納された設定、入力されたデータ、記録されたネットワークアドレス、等)。従って、機械可読命令は、本願明細書で使用されるとき、格納されるとき又は静止中若しくは輸送中の機械可読命令の特定のフォーマット又は状態に関わらず、機械可読命令及び/又はプログラムを含み得る。
本願明細書に記載される機械可読命令は、任意の過去、現在、又は将来の命令言語、スクリプト言語、プログラミング言語、等により表現できる。例えば、機械可読命令は、以下の言語:C、C++、Java、C#、Perl、Python、JavaScript、HyperText Markup Language(HTML),、Structured Query Language(SQL)、のうちのいずれかを用いて表現されてよい。
上述のように、図7~8の例示的な処理は、ハードディスクドライブ、フラッシュメモリ、読み出し専用メモリ、コンパクトディスク、デジタルバーサタイルディスク、キャッシュ、ランダムアクセスメモリ、及び/又は任意の期間の間(例えば、拡張時間期間の間、永久的に、短い瞬間、一時的バッファリングの間、及び/又は情報のキャッシュの間)情報が格納される任意の他の記憶装置又は記憶ディスクのような非一時的コンピュータ及び/又は機械可読媒体に格納された実行可能命令(例えば、コンピュータ及び/又は機械可読命令)を用いて実装されてよい。ここで使用されるとき、用語「非一時的コンピュータ可読媒体」は、任意の種類のコンピュータ可読記憶装置及び/又は記憶ディスクを含み、伝搬する信号を除外し、及び伝送媒体を除外するものと、明示的に定められる。
「含む」及び「有する」(including、comprising)(及びそれらの全ての形式及び時制)は、ここで、広義の用語として使用される。従って、請求項がプリアンブルとして又は任意の種類の請求項の記載の中に「含む」又は「有する」の任意の形式(例えば、comprises、includes、comprising、including、having、等)を利用するときはいつでも、対応する請求項又は記載の範囲から逸脱することなく、追加の要素、用語、等が存在し得ることが理解されるべきである。ここで使用されるとき、語句「少なくとも」が例えば請求項のプリアンブルで変化の用語として使用されるとき、それは、用語「有する」及び「含む」と同様に広義である。用語「及び/又は」は、例えばA、B、及び/又はCのような形式で使用されるとき、A、B、Cのうちの任意の組み合わせ又は部分集合、例えば(1)Aのみ、(2)Bのみ、(3)Cのみ、(4)AとB、(5)AとC、(6)BとC、(7)AとB及びC、を表す。構造、コンポーネント、アイテム、オブジェクト、及び/又は事物を記述する文脈において本願明細書で使用されるとき、語句「A及びBのうちの少なくとも1つ」は、(1)少なくとも1つのA、(2)少なくとも1つのB、(3)少なくとも1つのA及び少なくとも1つのB、のうちのいずれかを含む実装を表すことを意図する。同様に、構造、コンポーネント、アイテム、オブジェクト、及び/又は事物を記述する文脈において本願明細書で使用されるとき、語句「A又はBのうちの少なくとも1つ」は、(1)少なくとも1つのA、(2)少なくとも1つのB、(3)少なくとも1つのA及び少なくとも1つのB、のうちのいずれかを含む実装を表すことを意図する。処理、命令、アクション、アクティビティ、及び/又はステップの実行を記述する文脈において本願明細書で使用されるとき、語句「A及びBのうちの少なくとも1つ」は、(1)少なくとも1つのA、(2)少なくとも1つのB、(3)少なくとも1つのA及び少なくとも1つのB、のうちのいずれかを含む実装を表すことを意図する。同様に、命令、アクション、アクティビティ、及び/又はステップの実行を記述する文脈において本願明細書で使用されるとき、語句「A又はBのうちの少なくとも1つ」は、(1)少なくとも1つのA、(2)少なくとも1つのB、(3)少なくとも1つのA及び少なくとも1つのB、のうちのいずれかを含む実装を表すことを意図する。
本願明細書で使用されるとき、単数表現(例えば、“a”、“an”、“first(第1)”、“second(第2)”)は、複数を排除しない。用語(「a」又は「an」)エンティティは、本願明細書で使用されるとき、1つ以上のエンティティを表す。用語「a」(又は「an」)、「1つ以上」、及び「少なくとも1つ」は、本願明細書において同義的に使用できる。更に、個別にリストされたが、複数の手段、要素、又は方法のアクションは、例えば単一のユニット又はプロセッサにより実施されてよい。更に、個々の特徴は異なる例又は請求項に含まれることがあるが、これらは、結合可能であってよく、異なる例又は請求項への包含は、特徴の組合せが実現可能及び/又は有利ではないことを意味しない。
図7は、マルチカメラシステムを較正するための、図1A、1B、/又は2の例示的なマルチカメラ較正制御部110を実装するために実行され得る例示的な機械可読命令を表すフローチャートである。ブロック702で、例示的なオブジェクト識別部204は、第1カメラ(例えば、カメラ102、104、106、112、114、116、602、604、606のうちのいずれか1つ)によりキャプチャされた第1画像内の人被写体108の解剖学的点のうちの第1位置を定める第1座標セットを識別する。例えば、例示的なオブジェクト識別部204は、人被写体108の画像内の第1の手、第1の肩、第2の肩、及び第2の手に対応する解剖学的点を識別してよい。
ブロック704で、例示的なオブジェクト識別部204は、第2カメラ(例えば、カメラ102、104、106、112、114、116、602、604、606のうちの別の1つ)によりキャプチャされた第2画像内の人被写体108の解剖学的点のうちの第2位置を定める第2座標セットを識別する。幾つかの例では、第1画像内で識別された人被写体108の解剖学的点は、第2画像内で識別された解剖学的点と同じである。しかしながら、2つのカメラは異なる視点から人被写体を見ているので、第1及び第2座標は異なる。
ブロック706で、例示的な姿勢検出部206は、第1座標セット又は第2座標セットのうちの少なくとも1つに基づき、人被写体108が特定の姿勢であるときを検出する。幾つかの例では、特定の姿勢は、人被写体の解剖学的点のうちの特定のものが直線内に保持されるとき(例えば、人被写体がT姿勢で立っているときの手及び肩)に対応する。幾つかの例では、姿勢検出部206は、直線であることが意図される解剖学的点に対応する座標の複比を計算し、結果として生じた値を期待値と比較することにより、人被写体が、解剖学的点が直線内にあることに関連付けられた特定の姿勢であることを検出する。
ブロック708で、例示的な変換計算部208は、人被写体が特定の姿勢であることの検出に応答して、第1座標セットのうちの第1サブセット及び第2座標セットのうちの第2サブセットに基づき、第1カメラと第2カメラとの間の相対変換を計算する。より詳細には、幾つかの例では、座標の第1及び第2サブセットは、人体の解剖学的比率に基づく固定形状の三角形を形成する、人被写体の解剖学的点に対応する。幾つかの例では、三角形の頂点を定める2個の点は、ブロック706で特定の姿勢に関連付けられた直線内にあるとして姿勢検出部206により識別された解剖学的点のうちの2個に対応する。この後、図7の例示的なプログラムが終了する。
図8は、マルチカメラシステムを較正するための、図1A、1B、/又は2の例示的なマルチカメラ較正制御部110を実装するために実行され得る例示的な機械可読命令を表す別のフローチャートである。
ブロック802で、例示的なマルチカメラ較正制御部110は、制御被写体が4個の点が直線内にある特定の姿勢(例えば、T姿勢)であるとき、制御被写体の4個の解剖学的点に基づき、制御被写体の基準複比を計算する。
ブロック804で、例示的なマルチカメラ較正制御部110の例示的なオブジェクト識別部204は、カメラによりキャプチャされた画像内の人被写体の解剖学的点の位置を定める座標セットを識別する。幾つかの例では、例示的なオブジェクト識別部204は、1つ以上の機械学習モデルを実装するセット又は座標を識別する。
ブロック806で、例示的な姿勢検出部206は、人被写体が特定の姿勢であるとき直線内にあるべき人被写体の4個の解剖学的点を識別する。例として、特定の姿勢は、人被写体の腕が左及び右へ向けて外側に延びるT姿勢であってよく、4個の解剖学的点は、人被写体の各々の手(又は手首)、及び人被写体の各々の肩に対応する。他の例では、4個の点は、人被写体上の異なる解剖学的点に対応してよい。例えば、肩の点は、肘の点により置き換えられてよい。更に、T姿勢は本願明細書を通じて検出されるべき特定の姿勢の特定の例として言及されたが、線内に配置され得る4個の解剖学的点を含む他の姿勢が追加で又は代替として使用されてよい。例えば、特定の姿勢は、人被写体が片腕のみを側方に伸ばしていることに対応してよく、4個の解剖学的点は、伸ばしている腕の手首、肘、及び肩、並びに人被写体の他方の肩に対応する。
ブロック808で、例示的な姿勢検出部206は、4個の解剖学的点に関連付けられた座標の複比を計算する。
ブロック810で、例示的な姿勢検出部206は、計算した複比を基準複比と比較する。ブロック812で、例示的な姿勢検出部206は、複比が一致するかどうかを決定する。幾つかの例では、複比は、複比の間の差が閾値を満たすとき(それより小さい)、一致する。複比が一致しない場合、人被写体は、カメラ較正のために意図される特定の姿勢ではない可能性がある。従って、制御はブロック802に戻り、後の時点でキャプチャされた画像について処理を繰り返す。複比が一致する場合、姿勢検出部206は、人被写体が意図された特定の姿勢であることを確認する。そうして、制御はブロック814に進む。
ブロック814で、例示的な変換計算部208は、人被写体の4個の解剖学的点を識別し、そのうちの3個の点は三角形の頂点を定める。つまり、ブロック806で識別された4個の解剖学的点は直線内にあると識別されるが、ブロック814で識別された4個の解剖学的点は、具体的に線内にはないと識別される。幾つかの例では、三角形の中の3個の点のうちの2個は、ブロック804で識別された4個の解剖学的点のうちの2個に対応する。より詳細には、幾つかの例では、ブロック814で識別された4個の点のセット及びブロック806で識別された4個の点のセットの両方に共通である2個の解剖学的点は、ブロック806で識別された4個の点のうちの直線上の外側の2個の点に対応する。ブロック814で識別された4個の点のうちの3個は三角形の頂点を定めるが、4個の点は任意の適切な位置にあってよい。幾つかの例では、4個の点は、ブロック806で識別された4個の解剖学的点に関連する直線に沿って位置付けられる。幾つかの例では、4個の点は、4個の点がT形状又はL形状を定めるように、直線に対してずれた解剖学的点に揃えられて位置付けられる。ブロック816で、例示的な変換計算部208は、4個の解剖学的点に基づき、人被写体に対するカメラの変換パラメータ(例えば、並進及び回転パラメータ)を計算する。より詳細には、例示的な変換計算部208は、(ブロック812で一致する複比により検出された特定の姿勢に対応する)知られている固定位置にある4個の解剖学的点を、P4P問題への入力として使用する。P4P問題の解は、変換パラメータを定める。
ブロック818で、例示的な姿勢検出部206は、分析すべき別のカメラが存在するかどうかを決定する。存在する場合、制御はブロック804に戻り、他のカメラについて処理を繰り返す。分析すべき他のカメラが存在しない場合、制御はブロック820に進む。
ブロック820で、例示的な変換計算部208は、カメラの異なるペアの間の相対変換パラメータを計算する。その後、ブロック822で、例示的な変換計算部208は、カメラを再較正するかどうかを決定する。幾つかの例では、再較正は、カメラが移動された場合、及び/又はカメラが移動される可能性がある場合に、実施されてよい。再較正が生じるべきである場合、制御はブロック804に戻り、処理全体を繰り返す。その他の場合、図8の例示的なプログラムが終了する。
図9は、図1A、1B、/又は2のマルチカメラ較正制御部110を実装するために、図7~8の命令を実行するよう構成された例示的なプロセッサプラットフォーム900のブロック図である。プロセッサプラットフォーム900は、例えば、サーバ、パーソナルコンピュータ、ワークステーション、自己学習機械(例えば、ニューラルネットワーク)、モバイル装置(例えば、携帯電話機、スマートフォン、iPad(登録商標)のようなタブレット)、パーソナルデジタルアシスタント(PDA)、インターネット機器、ゲーム端末、パーソナルビデオレコーダ、ヘッドセット、又は他のウェアラブル装置、又は任意の他の種類のコンピューティング装置であり得る。
図示の例のプロセッサプラットフォーム900は、プロセッサ912を含む。図示の例のプロセッサ912は、ハードウェアである。例えば、プロセッサ912は、1つ以上の集積回路、論理回路、マイクロプロセッサ、GPU、DSP、又は任意の所望のファミリ又は製造者からの制御部により実装できる。ハードウェアプロセッサは、半導体に基づく(シリコンに基づく)装置であってよい。この例では、プロセッサは、例示的なオブジェクト識別部204、例示的な姿勢検出部206、及び例示的な変換計算部208を実装する。
図示の例のプロセッサ912は、ローカルメモリ913(例えば、キャッシュ)を含む。図示の例のプロセッサ912は、揮発性メモリ914及び不揮発性メモリ91を含むメインメモリと、バス918を介して通信する。揮発性メモリ914は、同期ダイナミックランダムアクセスメモリ(Synchronous Dynamic Random Access Memory(SDRAM))、ダイナミックランダムアクセスメモリ(Dynamic Random Access Memory(DRAM))、RAMBUS(登録商標)、ダイナミックランダムアクセスメモリ(RDRAM(登録商標))、及び/又は任意の他の種類のランダムアクセスメモリ素子により実装されてよい。不揮発性メモリ916は、フラッシュメモリ及び/又は任意の他の所望の種類のメモリ素子により実装されてよい。メインメモリ914、916へのアクセスは、メモリ制御部により制御される。
図示の例のプロセッサプラットフォーム900は、インタフェース回路920も含む。インタフェース回路920は、Ethernetインタフェース、ユニバーサルシリアルバス(USB)、Bluetooth(登録商標)インタフェース、近距離通信(near field communication(NFC))インタフェース、及び/又はPCI Expressインタフェースのような、任意の種類のインタフェース規格により実装されてよい。
図示の例では、1つ以上の入力装置922は、インタフェース回路920に接続される。入力装置922は、ユーザがデータ及び/又はコマンドをプロセッサ912に入力できるようにする。入力装置は、例えば、オーディオセンサ、マイクロフォン、カメラ(静止又はビデオ)、キーボード、ボタン、マウス、タッチスクリーン、トラックパッド、トラックボール、イソポイント、及び/又は音声認識システムにより実装できる。
1つ以上の出力装置924は、図示の例のインタフェース回路920にも接続される。出力装置924は、例えば、ディスプレイ装置(例えば、発光ダイオード(LED)、有機発光ダイオード(OLED)、液晶ディスプレイ(LCD)、陰極線管ディスプレイ(CRT)、IPS(in-place switching)ディスプレイ、タッチスクリーン、等)、触覚出力装置、プリンタ、及び/又はスピーカにより実装できる。図示の例のインタフェース回路920は、従って、標準的に、グラフィックドライバカード、グラフィックドライバチップ、及び/又はグラフィックドライバプロセッサを含む。
図示の例のインタフェース回路920は、ネットワーク926を介して外部装置(例えば、任意の種類のコンピューティング装置)とのデータ交換を実現するために、送信機、受信機、トランシーバ、モデム、ホームゲートウェイ、無線アクセスポイント、及び/又はネットワークインタフェースのような通信装置も含む。通信は、例えば、Ethernet接続、デジタル加入者線(DSL)接続、電話線接続、同軸ケーブルシステム、衛星システム、高低線無線システム、セルラ電話システム、等により可能である。
図示の例のプロセッサプラットフォーム900は、ソフトウェア及び/又はデータを格納する1つ以上の大容量記憶装置928も含む。このような大容量記憶装置928の例は、フロッピーディスクドライブ、ハードドライブディスク、コンパクトディスクドライブ、ブルーレイディスクドライブ、RAID(redundant array of independent disks)システム、及びデジタルバーサタイルディスク(DVD)ドライブを含む。
図7~8の機械実行可能命令932は、大容量記憶装置928に、揮発性メモリ914に、不揮発性メモリ916に、及び/又はCD又はDVDのような取り外し可能な非一時的コンピュータ可読記憶媒体に、格納されてよい。
ブロック図は、図7~8の例示的なコンピュータ可読命令932のようなソフトウェアを図10に締めさえる第三者へ配信するための、例示的なソフトウェア配信プラットフォーム1005を示す。例示的なソフトウェア配信プラットフォーム1005は、ソフトウェアを格納し他のコンピューティング装置へ送信することが可能な、任意のコンピュータサーバ、データ設備、クラウドサービス、等により実装されてよい。第三者は、ソフトウェア配信プラットフォームを小勇する及び/又は運用するエンティティの顧客であってよい。例えば、ソフトウェア配信プラットフォームを所有し及び/又は運用するエンティティは、図10の例示的なコンピュータ可読命令932のようなソフトウェアの開発者、販売者、及び/又はライセンサーであってよい。第三者は、使用及び/又は再販及び/又はサブライセンスのためにソフトウェアを購入する及び/又はライセンスする、顧客、ユーザ、小売業者、OEM、等であってよい。図示の例では、ソフトウェア配信プラットフォーム1005は、1つ以上のサーバと、1つ以上の記憶装置と、を含む。記憶装置は、上述のように図7~8の例示的なコンピュータ可読命令932に対応してよいコンピュータ可読命令932を格納する。例示的なソフトウェア配信プラットフォーム1005の1つ以上のサーバは、インターネット及び/又は上述の例示的なネットワーク926のうちのいずれかに対応してよいネットワーク1010と通信する。幾つかの例では、1つ以上のサーバは、要求に応答して、商業取引の部分として、ソフトウェアを要求側パーティへ送信する。ソフトウェアの配信、販売、及び/又はライセンスに対する支払いは、ソフトウェア配信プラットフォームの1つ以上のサーバにより、及び/又は第三者支払いエンティティを介して、取り扱われてよい。サーバは、購入者及び/又はライセンサーが、ソフトウェア配信プラットフォーム1005からコンピュータ可読命令932をダウンロードすることを可能にする。例えば、図7~8の例示的なコンピュータ可読命令932に対応してよいソフトウェアは、図1A、1B、及び/又は2の例示的なマルチカメラ較正制御部110を実装するために、コンピュータ可読命令932を実行する例示的なプロセッサプラットフォーム900にダウンロードされてよい。幾つかの例では、ソフトウェア配信プラットフォーム1005の1つ以上のサーバは、周期的に、ソフトウェア(例えば、図7~8の例示的なコンピュータ可読命令932)に対する更新を提供し、送信し、及び/又は強制して、改良、パッチ、更新、等が配信されエンドユーザ装置においてソフトウェアに適用されることを保証する。
以上から、人被写体の姿勢に基づきマルチカメラシステムの較正を可能にする例示的な方法、機器、及び製品が開示されたことが理解される。開示の方法、機器、及び製品は、少なくとも、カメラの外部パラメータを決定するためにカメラの固有パラメータを知る必要を除去することにより、コンピューティング装置を使用する効率を向上する。開示の方法、機器、及び製品は、従って、コンピュータの機能において1つ以上の改良のためである。
更なる例及びその組合せは、以下を含む。
例1は、機器であって、
第1カメラによりキャプチャされた第1画像内の人の解剖学的点の第1位置を定める第1座標セットを識別し、第2カメラによりキャプチャされた第2画像内の前記人の前記解剖学的点の第2位置を定める第2座標セットを識別するオブジェクト識別部と、
前記第1座標セット又は前記第2座標セットのうちの少なくとも1つに基づき、前記人が特定の姿勢であるときを検出する姿勢検出部と、
前記人が前記特定の姿勢であることの検出に応答して、前記第1座標セットのうちの第1サブセット及び前記第2座標セットのうちの第2サブセットに基づき、前記第1カメラと前記第2カメラとの間の相対変換を計算する変換計算部と、
を有する機器を含む。
例2は、前記特定の姿勢は、前記人の前記解剖学的点の位置のうちの位置の射影不変配置を含む、例1に記載の機器を含む。
例3は、前記射影不変配置は、前記解剖学的点のうちの、直線の許容閾値の範囲内にある4個の異なる解剖学的点に対応する、例2に記載の機器を含む。
例4は、前記姿勢検出部は、
前記第1座標セットのうちの対応するものに基づき、前記解剖学的点のうちの前記異なる4個の解剖学的点の第1複比を計算し、
前記第2座標セットのうちの対応するものに基づき、前記解剖学的点のうちの前記異なる4個の解剖学的点の第2複比を計算し、
前記第1複比と前記第2複比との間の差が差閾値より小さいとき、前記解剖学的点のうちの前記異なる4個の解剖学的点が前記人の前記特定の姿勢の前記射影不変配置にあると決定する、例3に記載の機器を含む。
例5は、前記姿勢検出部は、
前記第1座標セットのうちの対応するものに基づき、前記解剖学的点のうちの前記異なる4個の解剖学的点の第1複比を計算し、
前記第1複比と基準複比との間の差が差閾値より小さいとき、前記解剖学的点のうちの前記異なる4個の解剖学的点が前記人の前記特定の姿勢の前記射影不変配置にあると決定する、例3に記載の機器。
例6は、前記変換計算部は、
前記人に対する前記第1カメラの第1並進移動及び第1回転を定める第1変換パラメータを計算し、
前記人に対する前記第2カメラの第2並進移動及び第2回転を定める第2変換パラメータを計算し、前記相対変換は、前記第1変換パラメータ及び前記第2変換パラメータに基づき計算される、例3~5に記載の機器を含む。
例7は、前記変換計算部は、前記解剖学的点のうちの、第1点、第2点、及び第3点を含む3個の異なる点により定められる三角形に基づき、前記第1変換パラメータを計算し、前記第1点及び前記第2点は、前記解剖学的点のうちの、前記直線の許容閾値の範囲内にある前記4個の異なる解剖学的点のうちの2個に値対応し、前記第3点は前記直線から離れている、例6に記載の機器を含む。
例8は、前記変換計算部は、前記第1、第2、及び第3点から離れた第4点に基づき、前記第1変換パラメータを計算する、例7に記載の機器を含む。
例9は、前記第1、第2、第3、及び第4点は、T形状又はL形状のうちの少なくとも1つに配置される、例8に記載の機器を含む。
例10は、前記解剖学的点のうちの前記4個の異なる解剖学的点は、第1点、第2点、第3点、及び第4点を含み、前記第1点は前記人の第1の手を近似し、前記第2点は前記人の第1の肩を近似する、例2に記載の機器を含む。
例11は、前記第3点は前記人の第2の手を近似し、前記第4点は前記人の第2の肩を近似する、例10に記載の機器を含む。
例12は、前記特定の姿勢は、前記人の第1の腕または第2の腕のうちの少なくとも1つが前記人の側面に向かって外側へ延びることを含む、例1に記載の機器を含む。
例13は、前記第1及び第2画像が実質的に同時にキャプチャされるように、前記第1カメラが前記第2カメラと同期される、例1に記載の機器を含む。
例14は、前記第1座標セットは3次元座標である、例1に記載の機器を含む。
例15は、コンピュータ可読命令を含む非一時的コンピュータ可読媒体であって、前記コンピュータ可読命令は、実行されると、少なくとも1つのプロセッサに、
第1カメラによりキャプチャされた第1画像内の人の解剖学的点の第1位置を定める第1座標セットを識別させ、第2カメラによりキャプチャされた第2画像内の前記人の前記解剖学的点の第2位置を定める第2座標セットを識別させ、
前記第1座標セット又は前記第2座標セットのうちの少なくとも1つに基づき、前記人が特定の姿勢であるときを検出させ、
前記人が前記特定の姿勢であることの検出に応答して、前記第1座標セットのうちの第1サブセット及び前記第2座標セットのうちの第2サブセットに基づき、前記第1カメラと前記第2カメラとの間の相対変換を計算させる、非一時的コンピュータ可読媒体を含む。
例16は、前記特定の姿勢は、前記人の前記解剖学的点の位置のうちの位置の射影不変配置を含む、例15に記載の非一時的コンピュータ可読媒体を含む。
例17は、前記射影不変配置は、前記解剖学的点のうちの、直線の許容閾値の範囲内にある4個の異なる解剖学的点に対応する、例16に記載の非一時的コンピュータ可読媒体を含む。
例18は、前記コンピュータ可読命令が、少なくとも1つのプロセッサに、
前記第1座標セットのうちの対応するものに基づき、前記解剖学的点のうちの前記異なる4個の解剖学的点の第1複比を計算させ、
前記第2座標セットのうちの対応するものに基づき、前記解剖学的点のうちの前記異なる4個の解剖学的点の第2複比を計算させ、
前記第1複比と前記第2複比との間の差が差閾値より小さいとき、前記解剖学的点のうちの前記異なる4個の解剖学的点が前記人の前記特定の姿勢の前記射影不変配置にあると決定させる、例17に記載の非一時的コンピュータ可読媒体を含む。
例19は、前記コンピュータ可読命令は、前記少なくとも1つのプロセッサに、
前記第1座標セットのうちの対応するものに基づき、前記解剖学的点のうちの前記異なる4個の解剖学的点の第1複比を計算させ、
前記第1複比と基準複比との間の差が差閾値より小さいとき、前記解剖学的点のうちの前記異なる4個の解剖学的点が前記人の前記特定の姿勢の前記射影不変配置にあると決定させる、例17に記載のコンピュータ可読媒体を含む。
例20は、前記コンピュータ可読命令は、前記少なくとも1つのプロセッサに、少なくとも、
前記人に対する前記第1カメラの第1並進移動及び第1回転を定める第1変換パラメータを計算させ、
前記人に対する前記第2カメラの第2並進移動及び第2回転を定める第2変換パラメータを計算させ、前記相対変換は、前記第1変換パラメータ及び前記第2変換パラメータに基づき計算される、例17に記載のコンピュータ可読媒体を含む。
例21は、前記コンピュータ可読命令は、前記少なくとも1つのプロセッサに、
前記解剖学的点のうちの、第1点、第2点、及び第3点を含む3個の異なる点により定められる三角形に基づき、前記第1変換パラメータを計算させ、前記第1点及び前記第2点は、前記解剖学的点のうちの、前記直線の許容閾値の範囲内にある前記4個の異なる解剖学的点のうちの2個に値対応し、前記第3点は前記直線から離れている、例20に記載のコンピュータ可読媒体を含む。
例22は、前記変換計算部は、前記第1、第2、及び第3点から離れた第4点に基づき、前記第1変換パラメータを計算する、例21に記載の機器を含む。
例23は、前記第1、第2、第3、及び第4点は、T形状又はL形状のうちの少なくとも1つに配置される、例22に記載の機器を含む。
例24は、前記解剖学的点のうちの前記4個の異なる解剖学的点は、第1点、第2点、第3点、及び第4点を含み、前記第1点は前記人の第1の手を近似し、前記第2点は前記人の第1の肩を近似する、例16に記載の非一時的コンピュータ可読媒体を含む。
例25は、前記第3点は前記人の第2の手を近似し、前記第4点は前記人の第2の肩を近似する、例24に記載の非一時的コンピュータ可読媒体を含む。
例26は、前記特定の姿勢は、前記人の第1の腕または第2の腕のうちの少なくとも1つが前記人の側面に向かって外側へ延びることを含む、例15に記載の非一時的コンピュータ可読媒体を含む。
例27は、前記第1及び第2画像が実質的に同時にキャプチャされるように、前記第1カメラが前記第2カメラと同期される、例15に記載の非一時的コンピュータ可読媒体を含む。
例28は、前記第1座標セットは3次元座標である、例15に記載の非一時的コンピュータ可読媒体を含む。
例29は、機器であって、
第1カメラによりキャプチャされた第1画像内の人の解剖学的点の第1位置を定める第1座標セットを識別し、第2カメラによりキャプチャされた第2画像内の前記人の前記解剖学的点の第2位置を定める第2座標セットを識別する手段と、
前記第1座標セット又は前記第2座標セットのうちの少なくとも1つに基づき、前記人が特定の姿勢であるときを検出する手段と、
前記人が前記特定の姿勢であることの検出に応答して、前記第1座標セットのうちの第1サブセット及び前記第2座標セットのうちの第2サブセットに基づき、前記第1カメラと前記第2カメラとの間の相対変換を計算する手段と、
を有する機器を含む。
例30は、前記特定の姿勢は、前記人の前記解剖学的点の位置のうちの位置の射影不変配置を含む、例29に記載の機器を含む。
例31は、前記射影不変配置は、前記解剖学的点のうちの、直線の許容閾値の範囲内にある4個の異なる解剖学的点に対応する、例30に記載の機器を含む。
例32は、前記検出する手段は、
前記第1座標セットのうちの対応するものに基づき、前記解剖学的点のうちの前記異なる4個の解剖学的点の第1複比を計算し、
前記第2座標セットのうちの対応するものに基づき、前記解剖学的点のうちの前記異なる4個の解剖学的点の第2複比を計算し、
前記第1複比と前記第2複比との間の差が差閾値より小さいとき、前記解剖学的点のうちの前記異なる4個の解剖学的点が前記人の前記特定の姿勢の前記射影不変配置にあると決定する、例31に記載の機器を含む。
例33は、前記第1座標セットのうちの対応するものに基づき、前記解剖学的点のうちの前記異なる4個の解剖学的点の第1複比を計算する手段と、
前記第1複比と基準複比との間の差が差閾値より小さいとき、前記解剖学的点のうちの前記異なる4個の解剖学的点が前記人の前記特定の姿勢の前記射影不変配置にあると決定する手段と、を更に含む例31に記載の機器を含む。
例34は、前記計算する手段は、
前記人に対する前記第1カメラの第1並進移動及び第1回転を定める第1変換パラメータを計算し、
前記人に対する前記第2カメラの第2並進移動及び第2回転を定める第2変換パラメータを計算し、前記相対変換は、前記第1変換パラメータ及び前記第2変換パラメータに基づき計算される、例31に記載の機器を含む。
例35は、前記計算する手段は、前記解剖学的点のうちの、第1点、第2点、及び第3点を含む3個の異なる点により定められる三角形に基づき、前記第1変換パラメータを計算し、前記第1点及び前記第2点は、前記解剖学的点のうちの、前記直線の許容閾値の範囲内にある前記4個の異なる解剖学的点のうちの2個に値対応し、前記第3点は前記直線から離れている、例34に記載の機器を含む。
例36は、前記変換計算部は、前記第1、第2、及び第3点から離れた第4点に基づき、前記第1変換パラメータを計算する、例35に記載の機器を含む。
例37は、前記第1、第2、第3、及び第4点は、T形状又はL形状のうちの少なくとも1つに配置される、例36に記載の機器を含む。
例38は、前記解剖学的点のうちの前記4個の異なる解剖学的点は、第1点、第30点、第3点、及び第4点を含み、前記第1点は前記人の第1の手を近似し、前記第2点は前記人の第1の肩を近似する、例2に記載の機器を含む。
例39は、前記第3点は前記人の第2の手を近似し、前記第4点は前記人の第2の肩を近似する、例38に記載の機器を含む。
例40は、前記特定の姿勢は、前記人の第29の腕または第2の腕のうちの少なくとも1つが前記人の側面に向かって外側へ延びることを含む、例1に記載の機器を含む。
例41は、前記第29及び第2画像が実質的に同時にキャプチャされるように、前記第1カメラが前記第2カメラと同期される、例1に記載の機器を含む。
例42は、前記第29座標セットは3次元座標である、例1に記載の機器を含む。
例43は、方法であって、
第1カメラによりキャプチャされた第1画像内の人の解剖学的点の第1位置を定める第1座標セットを識別し、第2カメラによりキャプチャされた第2画像内の前記人の前記解剖学的点の第2位置を定める第2座標セットを識別するステップと、
プロセッサにより命令を実行することにより、前記第1座標セット又は前記第2座標セットのうちの少なくとも1つに基づき、前記人が特定の姿勢であるときを検出するステップと、
前記人が前記特定の姿勢であることの検出に応答して、前記第1座標セットのうちの第1サブセット及び前記第2座標セットのうちの第2サブセットに基づき、前記第1カメラと前記第2カメラとの間の相対変換を計算するステップと、
を有する方法を含む。
例44は、前記特定の姿勢は、前記人の前記解剖学的点の位置のうちの位置の射影不変配置を含む、例43に記載の方法を含む。
例45は、前記射影不変配置は、前記解剖学的点のうちの、直線の許容閾値の範囲内にある4個の異なる解剖学的点に対応する、例44に記載の方法を含む。
例46は、
前記第1座標セットのうちの対応するものに基づき、前記解剖学的点のうちの前記異なる4個の解剖学的点の第1複比を計算するステップと、
前記第2座標セットのうちの対応するものに基づき、前記解剖学的点のうちの前記異なる4個の解剖学的点の第2複比を計算するステップと、
前記第1複比と前記第2複比との間の差が差閾値より小さいとき、前記解剖学的点のうちの前記異なる4個の解剖学的点が前記人の前記特定の姿勢の前記射影不変配置にあると決定するステップと、を更に含む例45に記載の方法を含む。
例47は、最初に、前記第1座標セットのうちの対応するものに基づき、前記解剖学的点のうちの前記異なる4個の解剖学的点の第1複比を計算するステップと、
前記第1複比と基準複比との間の差が差閾値より小さいとき、前記解剖学的点のうちの前記異なる4個の解剖学的点が前記人の前記特定の姿勢の前記射影不変配置にあると決定するステップと、
を更に含む例45に記載の方法を含む。
例48は、
前記人に対する前記第1カメラの第1並進移動及び第1回転を定める第1変換パラメータを計算するステップと、
前記人に対する前記第2カメラの第2並進移動及び第2回転を定める第2変換パラメータを計算するステップであって、前記相対変換は、前記第1変換パラメータ及び前記第2変換パラメータに基づき計算される、ステップと、
を更に含む例45に記載の方法を含む。
例49は、
前記解剖学的点のうちの、第1点、第2点、及び第3点を含む3個の異なる点により定められる三角形に基づき、前記第1変換パラメータを計算するステップであって、前記第1点及び前記第2点は、前記解剖学的点のうちの、前記直線の許容閾値の範囲内にある前記4個の異なる解剖学的点のうちの2個に値対応し、前記第3点は前記直線から離れている、ステップ、を更に含む例48に記載の方法を含む。
例50は、前記変換計算部は、前記第1、第2、及び第3点から離れた第4点に基づき、前記第1変換パラメータを計算する、例49に記載の方法を含む。
例51は、前記第1、第2、第3、及び第4点は、T形状又はL形状のうちの少なくとも1つに配置される、例50に記載の方法を含む。
例52は、前記解剖学的点のうちの前記4個の異なる解剖学的点は、第1点、第2点、第3点、及び第4点を含み、前記第1点は前記人の第1の手を近似し、前記第2点は前記人の第1の肩を近似する、例44に記載の方法を含む。
例53は、前記第3点は前記人の第2の手を近似し、前記第4点は前記人の第2の肩を近似する、例52に記載の方法を含む。
例54は、前記特定の姿勢は、前記人の第1の腕または第2の腕のうちの少なくとも1つが前記人の側面に向かって外側へ延びることを含む、例43に記載の方法を含む。
例55は、前記第1及び第2画像が実質的に同時にキャプチャされるように、前記第1カメラが前記第2カメラと同期される、例43に記載の方法を含む。
例56は、前記第1座標セットは3次元座標である、例43に記載の方法を含む。
特定の例示的な方法、機器、及び製品がここに開示されたが、本特許のカバー範囲はそれに限定されない。反対に、本特許は、本特許の特許請求の範囲内に公正に包含される全ての方法、機器、及び製品をカバーする。
以下の請求の範囲は、この参照によりここで詳細な説明に組み込まれ、各請求項は本開示の別個の実施形態としてそれ自体独立である。
110 マルチカメラ較正制御部
204 オブジェクト識別器
212 機械学習制御部
214 モデルトレーナ
216 モデル実行部
206 姿勢検出部
208 変換計算部
202 データインタフェース
210 メモリ

Claims (25)

  1. 機器であって、
    第1カメラによりキャプチャされた第1画像内の人の解剖学的点の第1位置を定める第1座標セットを識別し、第2カメラによりキャプチャされた第2画像内の前記人の前記解剖学的点の第2位置を定める第2座標セットを識別するオブジェクト識別部と、
    前記第1座標セット又は前記第2座標セットのうちの少なくとも1つに基づき、前記人が特定の姿勢であるときを検出する姿勢検出部と、
    前記人が前記特定の姿勢であることの検出に応答して、前記第1座標セットのうちの第1サブセット及び前記第2座標セットのうちの第2サブセットに基づき、前記第1カメラと前記第2カメラとの間の相対変換を計算する変換計算部と、
    を有する機器。
  2. 前記特定の姿勢は、前記人の前記解剖学的点の位置のうちの位置の射影不変配置を含む、請求項1に記載の機器。
  3. 前記射影不変配置は、前記解剖学的点のうちの、直線の許容閾値の範囲内にある4個の異なる解剖学的点に対応する、請求項2に記載の機器。
  4. 前記姿勢検出部は、
    前記第1座標セットのうちの対応するものに基づき、前記解剖学的点のうちの前記異なる4個の解剖学的点の第1複比を計算し、
    前記第2座標セットのうちの対応するものに基づき、前記解剖学的点のうちの前記異なる4個の解剖学的点の第2複比を計算し、
    前記第1複比と前記第2複比との間の差が差閾値より小さいとき、前記解剖学的点のうちの前記異なる4個の解剖学的点が前記人の前記特定の姿勢の前記射影不変配置にあると決定する、請求項3に記載の機器。
  5. 前記姿勢検出部は、
    前記第1座標セットのうちの対応するものに基づき、前記解剖学的点のうちの前記異なる4個の解剖学的点の第1複比を計算し、
    前記第1複比と基準複比との間の差が差閾値より小さいとき、前記解剖学的点のうちの前記異なる4個の解剖学的点が前記人の前記特定の姿勢の前記射影不変配置にあると決定する、請求項3に記載の機器。
  6. 前記変換計算部は、
    前記人に対する前記第1カメラの第1並進移動及び第1回転を定める第1変換パラメータを計算し、
    前記人に対する前記第2カメラの第2並進移動及び第2回転を定める第2変換パラメータを計算し、前記相対変換は、前記第1変換パラメータ及び前記第2変換パラメータに基づき計算される、請求項3~5のいずれか一項に記載の機器。
  7. 前記変換計算部は、前記解剖学的点のうちの、第1点、第2点、及び第3点を含む3個の異なる点により定められる三角形に基づき、前記第1変換パラメータを計算し、前記第1点及び前記第2点は、前記解剖学的点のうちの、前記直線の許容閾値の範囲内にある前記4個の異なる解剖学的点のうちの2個に値対応し、前記第3点は前記直線から離れている、請求項6に記載の機器。
  8. 前記変換計算部は、前記第1、第2、及び第3点から離れた第4点に基づき、前記第1変換パラメータを計算する、請求項7に記載の機器。
  9. 前記第1、第2、第3、及び第4点は、T形状又はL形状のうちの少なくとも1つに配置される、請求項8に記載の機器。
  10. 前記解剖学的点のうちの4個の異なる解剖学的点は、第1点、第2点、第3点、及び第4点を含み、前記第1点は前記人の第1の手を近似し、前記第2点は前記人の第1の肩を近似する、請求項2~9のいずれか一項に記載の機器。
  11. 前記第3点は前記人の第2の手を近似し、前記第4点は前記人の第2の肩を近似する、請求項10に記載の機器。
  12. 前記特定の姿勢は、前記人の第1の腕または第2の腕のうちの少なくとも1つが前記人の側面に向かって外側へ延びることを含む、請求項1~11のいずれか一項に記載の機器。
  13. 前記第1及び第2画像が実質的に同時にキャプチャされるように、前記第1カメラが前記第2カメラと同期される、請求項1~12のいずれか一項に記載の機器。
  14. 前記第1座標セットは3次元座標である、請求項1~13のいずれか一項に記載の機器。
  15. コンピュータ可読命令を有するコンピュータ可読媒体であって、前記コンピュータ可読命令は少なくとも1つのプロセッサに、少なくとも、
    第1カメラによりキャプチャされた第1画像内の人の解剖学的点の第1位置を定める第1座標セットを識別させ、第2カメラによりキャプチャされた第2画像内の前記人の前記解剖学的点の第2位置を定める第2座標セットを識別させ、
    前記第1座標セット又は前記第2座標セットのうちの少なくとも1つに基づき、前記人が特定の姿勢であるときを検出させ、
    前記人が前記特定の姿勢であることの検出に応答して、前記第1座標セットのうちの第1サブセット及び前記第2座標セットのうちの第2サブセットに基づき、前記第1カメラと前記第2カメラとの間の相対変換を計算する変換させる、
    コンピュータ可読媒体。
  16. 前記特定の姿勢は、前記人の前記解剖学的点の位置のうちの位置の射影不変配置を含む、請求項15に記載のコンピュータ可読媒体。
  17. 前記射影不変配置は、前記解剖学的点のうちの、直線の許容閾値の範囲内にある4個の異なる解剖学的点に対応する、請求項16に記載のコンピュータ可読媒体。
  18. 前記コンピュータ可読命令は、前記少なくとも1つのプロセッサに、
    前記第1座標セットのうちの対応するものに基づき、前記解剖学的点のうちの前記異なる4個の解剖学的点の第1複比を計算させ、
    前記第1複比と基準複比との間の差が差閾値より小さいとき、前記解剖学的点のうちの前記異なる4個の解剖学的点が前記人の前記特定の姿勢の前記射影不変配置にあると決定させる、請求項17に記載のコンピュータ可読媒体。
  19. 前記コンピュータ可読命令は、前記少なくとも1つのプロセッサに、少なくとも、
    前記人に対する前記第1カメラの第1並進移動及び第1回転を定める第1変換パラメータを計算させ、
    前記人に対する前記第2カメラの第2並進移動及び第2回転を定める第2変換パラメータを計算させ、前記相対変換は、前記第1変換パラメータ及び前記第2変換パラメータに基づき計算される、請求項17又は18に記載のコンピュータ可読媒体。
  20. 前記コンピュータ可読命令は、前記少なくとも1つのプロセッサに、
    前記解剖学的点のうちの、第1点、第2点、及び第3点を含む3個の異なる点により定められる三角形に基づき、前記第1変換パラメータを計算させ、前記第1点及び前記第2点は、前記解剖学的点のうちの、前記直線の許容閾値の範囲内にある前記4個の異なる解剖学的点のうちの2個に値対応し、前記第3点は前記直線から離れている、請求項19に記載のコンピュータ可読媒体。
  21. 前記コンピュータ可読命令は、前記少なくとも1つのプロセッサに、
    前記第1、第2、及び第3点から離れた第4点に基づき、前記第1変換パラメータを計算させる、請求項20に記載のコンピュータ可読媒体。
  22. 方法であって、
    第1カメラによりキャプチャされた第1画像内の人の解剖学的点の第1位置を定める第1座標セットを識別し、第2カメラによりキャプチャされた第2画像内の前記人の前記解剖学的点の第2位置を定める第2座標セットを識別するステップと、
    プロセッサにより命令を実行することにより、前記第1座標セット又は前記第2座標セットのうちの少なくとも1つに基づき、前記人が特定の姿勢であるときを検出するステップと、
    前記人が前記特定の姿勢であることの検出に応答して、前記第1座標セットのうちの第1サブセット及び前記第2座標セットのうちの第2サブセットに基づき、前記第1カメラと前記第2カメラとの間の相対変換を計算するステップと、
    を有する方法。
  23. 前記特定の姿勢は、前記人の前記解剖学的点の位置のうちの位置の射影不変配置を含む、請求項22に記載の方法。
  24. 前記射影不変配置は、前記解剖学的点のうちの、直線の許容閾値の範囲内にある4個の異なる解剖学的点に対応する、請求項23に記載の方法。
  25. 最初に、前記第1座標セットのうちの対応するものに基づき、前記解剖学的点のうちの前記異なる4個の解剖学的点の第1複比を計算するステップと、
    前記第1複比と基準複比との間の差が差閾値より小さいとき、前記解剖学的点のうちの前記異なる4個の解剖学的点が前記人の前記特定の姿勢の前記射影不変配置にあると決定するステップと、
    を更に含む請求項24に記載の方法。
JP2021186387A 2020-12-23 2021-11-16 人の姿勢に基づきマルチカメラシステムを較正する方法及び機器 Pending JP2022100238A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/132,950 US20210118180A1 (en) 2020-12-23 2020-12-23 Methods and apparatus to calibrate a multiple camera system based on a human pose
US17/132,950 2020-12-23

Publications (1)

Publication Number Publication Date
JP2022100238A true JP2022100238A (ja) 2022-07-05

Family

ID=75491228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021186387A Pending JP2022100238A (ja) 2020-12-23 2021-11-16 人の姿勢に基づきマルチカメラシステムを較正する方法及び機器

Country Status (4)

Country Link
US (1) US20210118180A1 (ja)
EP (1) EP4020395A1 (ja)
JP (1) JP2022100238A (ja)
CN (1) CN114663516A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11475595B2 (en) * 2020-03-19 2022-10-18 Sony Corporation Extrinsic calibration of multi-camera system
US11405544B2 (en) * 2020-10-09 2022-08-02 Sony Group Corporation Programmable rig control for three-dimensional (3D) reconstruction

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100493159B1 (ko) * 2002-10-01 2005-06-02 삼성전자주식회사 이동체의 효율적 자기 위치 인식을 위한 랜드마크 및 이를이용한 자기 위치 인식 장치 및 방법
US9686539B1 (en) * 2016-06-12 2017-06-20 Apple Inc. Camera pair calibration using non-standard calibration objects
IL274614B2 (en) * 2017-11-13 2024-05-01 Carmel Haifa Univ Economic Corporation Ltd Motion tracking using multiple 3D cameras
SG10201809572RA (en) * 2018-10-29 2020-05-28 Nec Asia Pacific Pte Ltd Methods and apparatus to cluster and collect head-toe lines for automatic camera calibration
US11263780B2 (en) * 2019-01-14 2022-03-01 Sony Group Corporation Apparatus, method, and program with verification of detected position information using additional physical characteristic points
US10957074B2 (en) * 2019-01-29 2021-03-23 Microsoft Technology Licensing, Llc Calibrating cameras using human skeleton
JP7095628B2 (ja) * 2019-03-07 2022-07-05 日本電信電話株式会社 座標系変換パラメータ推定装置、方法及びプログラム
CN112085797A (zh) * 2019-06-12 2020-12-15 通用电气精准医疗有限责任公司 3d相机-医疗成像设备坐标系校准系统和方法及其应用
US11544872B2 (en) * 2019-10-07 2023-01-03 Sony Group Corporation Camera calibration method using human joint points
US11514590B2 (en) * 2020-08-13 2022-11-29 Toca Football, Inc. System and method for object tracking

Also Published As

Publication number Publication date
EP4020395A1 (en) 2022-06-29
US20210118180A1 (en) 2021-04-22
CN114663516A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
JP6979475B2 (ja) ヘッドマウントディスプレイ追跡
Kim et al. Touch and hand gesture-based interactions for directly manipulating 3D virtual objects in mobile augmented reality
TWI505709B (zh) 擴增實境場景中決定個體化深度資訊的系統和方法
Daponte et al. State of the art and future developments of the Augmented Reality for measurement applications
US9355452B2 (en) Camera and sensor augmented reality techniques
US11263457B2 (en) Virtual item display simulations
JP5920352B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2022100238A (ja) 人の姿勢に基づきマルチカメラシステムを較正する方法及び機器
US20150138086A1 (en) Calibrating control device for use with spatial operating system
WO2016041088A1 (en) System and method for tracking wearable peripherals in augmented reality and virtual reality applications
Jun et al. Automatized modeling of a human engineering simulation using Kinect
JP6386768B2 (ja) 人間工学的な人体模型の姿勢を作成し、かつナチュラルユーザインターフェースを用いてコンピュータ支援設計環境を制御すること
US20210118182A1 (en) Methods and apparatus to perform multiple-camera calibration
KR101960929B1 (ko) 기초 응급 구조 훈련 시뮬레이션 시스템
WO2021258386A1 (en) Apparatus and methods for three-dimensional pose estimation
KR20210087075A (ko) 패스 스루 시각화
US20230274460A1 (en) Ar data simulation with gaitprint imitation
EP4280629A2 (en) Wirelessly rechargeable hearing device and charger for same
Lee et al. Synchronization error compensation of multi-view RGB-D 3D modeling system
Lesniak et al. Real-Time Occlusion Between Real and Digital Objects in Augmented Reality
US11663738B2 (en) AR data simulation with gaitprint imitation
Fountain et al. Detecting rigid links between sensors for automatic sensor space alignment in virtual environments
US20230401796A1 (en) Fast ar device pairing using depth predictions
EP4047458A1 (en) Three-dimensional graphics generation system
JP2023167320A (ja) 学習モデル生成装置、関節点検出装置、学習モデル生成方法、関節点検出方法、及びプログラム