JP2020182201A - ポーズ変化通知方法及び関連する対話型画像処理システム - Google Patents

Abstract

【課題】対話型画像処理システムにおいて、特に、臨界点において画像を収集するためにユーザーに対する通知を生成することが可能なポーズ変化通知方法及び関連する対話型画像処理システムを提供する。【解決手段】空間走査プロセスを実行する対話型画像処理システムに対するポーズ変化通知プロセス２は、対話型画像処理システムのカメラから現在の画像と以前の画像とを受信するステップ、現在の画像と以前の画像とに従って、対話型画像処理システムのカメラのポーズ変化を計算するステップ及びカメラのポーズ変化が少なくとも１つの閾値を満たした場合に、対話型画像処理システムのユーザーに対する通知を生成するステップを含む。【選択図】図２

Description

１．発明の技術分野
本開示は、ポーズ変化通知方法及び関連する対話型画像処理システムに関し、特に、臨界点において画像を収集するためにユーザーに対する通知を生成することが可能なポーズ変化通知方法及び関連する対話型画像処理システムに関する。

２．従来技術の説明
ポーズ推定は、画像センサーのポーズを、それ自体によりキャプチャーされた画像に基づいて推定するために使用されることが可能である。画像センサーの視野角及び位置が変化し、キャプチャーした画像の内容が変化する場合、異なるポーズとともに２つの画像の内容を分析することにより、画像センサーのポーズ変化を推定することができる。

空間走査は、３次元（３Ｄ）環境を仮想現実環境に投影する技術であり、ポーズ推定は、空間走査を実行するための補助ツールであり得る。画像センサーを備えた３Ｄヘルメットにより、ユーザーが仮想現実環境を構築することを許容するために、画像センサーは、ユーザーが実際の３Ｄ環境を移動する際に画像をキャプチャーし続ける。しかしながら、ユーザーが過剰に速く動いたり或いは規則的な速度でなかったりすると、画質品質は悪くなる可能性があり、その結果、ポーズ推定の精度の低下、及び空間走査の低品質化を招く。例えば、推定されるポーズは、ぼけた画像からの対応がないために不正確であり、仮想現実環境は、微細な細部なしにぼけた画像によって構築される。

従って、構築される仮想現実環境に微細な細部を提供するためにポーズ推定の精度を如何にして向上させるかが、業界の話題となっている。

従って、本開示の目的は、臨界点において画像を収集するためにユーザーに対する通知を生成することが可能なポーズ変化通知方法及び関連する対話型画像処理システムを提供することである。

本開示は、空間走査プロセスを実行する対話型画像処理システムに対するポーズ変化通知方法を開示する。本方法は、現在の画像及び以前の画像を対話型画像処理システムのカメラから受信するステップ；現在の画像及び以前の画像に従って対話型画像処理システムのカメラのポーズ変化を計算するステップ；及びカメラのポーズ変化が少なくとも1つの閾値を満たした場合に、対話型画像処理システムのユーザーに対する通知を生成するステップを含む。

本開示は更に空間走査プロセスを実行する対話型画像処理システムも開示する。対話型画像処理システムは、現在の画像と以前の画像とを生成するように構成されるカメラ；カメラに結合され、前記現在の画像と前記以前の画像とに従って制御信号を生成するように構成される処理デバイス；前記処理デバイスに結合され、前記制御信号に従って前記対話型画像処理システムのユーザーに対する通知を生成するように構成される通知デバイス；及び前記処理デバイスに結合され、プログラム・コードを記憶するように構成されるメモリ・デバイスであって、前記プログラム・コードは、ポーズ変化通知処理を実行するように前記処理装置に指示する、メモリ・デバイスを含む。前記ポーズ変化通知プロセスは、前記現在の画像と前記以前の画像とを前記カメラから受信するステップ；前記現在の画像と前記以前の画像とに従って前記カメラのポーズ変化を計算するステップ；及び前記カメラのポーズ変化が少なくとも１つの閾値を満たした場合に、前記ユーザーに対する通知を生成するステップを含む。

本開示の対話型画像処理システムは、ポーズ推定及びポーズ変化通知に基づいてユーザーに対する通知を生成することができ、対話型画像処理システムは、臨界点において画像を収集することができる。その結果、本開示の対話型画像処理システムは、ユーザーの体感を改善するように、シャープで繊細な細部を有する仮想現実環境を構築することができる。

本発明のこれら及び他の目的は、種々の図及び図面に示される好ましい実施形態についての以下の詳細な説明を読んだ後、当業者にとって疑いもなく明らかになるであろう。

図１は、本開示の実施形態による対話型画像処理システムの機能ブロック図である。

図２は、本開示の実施形態によるポーズ変化通知プロセスのフローチャートである。

図３は、本開示の実施形態によるポーズ計算サブ・プロセスのフローチャートである。

図４は、本開示の実施形態による対話型画像処理システムの機能ブロック図である。

図１は、本開示の実施形態による対話型画像処理システム１の機能ブロック図である。対話型画像処理システム１は、カメラ１０、処理デバイス１２、メモリ・デバイス１４、及び通知デバイス１６を含む。

対話型画像処理システム１は、仮想現実（ＶＲ）、拡張現実（ＡＲ）、混合現実（ＭＲ）又は拡張現実（ＥＲ）で利用されるヘルメットであってもよいが、これらに限定されない。対話型画像処理システム１は、３次元（３Ｄ）環境を仮想現実環境に投影するために空間走査を実行してもよい。

カメラ１０は、処理装置１２に結合され、処理装置１２への複数の画像を生成するように構成される。一実施形態では、カメラ１０は、ＲＧＢ（赤−緑−青）画像又は奥行き画像を生成するために、実際の環境からの画像をキャプチャーする。ＲＧＢ画像の場合は、仮想現実環境における絶対長の単位はない一方；奥行き画像の場合は、画像の深度に基づく仮想現実環境における絶対長の単位がある。

処理デバイス１２は、カメラ１０、メモリ・デバイス１４及び通知デバイス１６に結合され、複数の画像に従って、通知デバイス１６に制御信号を生成するように構成される。

通知デバイス１６は、処理デバイス１２に結合され、制御信号に従ってユーザーに対する通知を生成するように構成される。一実施形態では、通知デバイス１６は、カメラ１０がシャープな画像をキャプチャーできるようにユーザーにフリーズ（Ｆｒｅｅｚｅ）を指示するディスプレイ、スピーカ、又は発光ダイオード（ＬＥＤ）であり、これにより、インタラクティブ画像処理システム１が、ユーザーの体感を向上させるために、シャープで繊細な詳細を有する仮想現実環境を構築することを支援する。例えば、通知デバイス１６は、「静止！」（Ｆｒｅｅｚｅ！）のメッセージを表示する表示デバイスであってもよいが、これに限定されない。

具体的には、３６０度の全視界の仮想空間が構築されるように想定され、処理デバイス１２は２４枚の画像を要求し、この場合において各画像の視野角は隣接する画像から１５度離れている。ユーザーが０、１５、３０、．．．、３３０、および３４５度を含む回転角度にカメラ１０を動かす場合、通知デバイス１６は、カメラ１０がその回転角度で鮮明な画像を捕捉できるように、ユーザーがフリーズしなければならないことを示す通知をユーザーに与える。なお、回転角度は、実際の条件に応じて変化し得る。代替的に、通知デバイス１６は、ユーザーが以前の回転角度を見逃した場合に、ユーザーが彼又は彼女の３Ｄヘルメット（すなわち、カメラ１０）を以前の回転角度に戻す旨を示す通知をユーザーに与え、例えば通知デバイス１６は「後戻り！」（Ｔｕｒｎ ｂａｃｋ！）のメッセージを表示してもよい。

一実施形態では、ユーザーは、カメラ１０を左、右、上、下、前及び後の方向に向けて動かすことができ、通知デバイス１６は、カメラ１０が或る並進距離で鮮明な画像を捕捉できるように、ユーザーがフリーズしなければならないことを示す通知をユーザーに与え、並進距離は、２つの画像の内容が同じシーンの３分の１だけ変わる場所である。なお、並進距離は、実際の条件に応じて変化し得ることに留意されたい。代替的に、通知デバイス１６は、ユーザーが以前の場所を見落とした場合に、ユーザーが以前の場所に戻らなければならないことを示す通知をユーザーに与え、例えば通知デバイス１６は「後退！」（Ｍｏｖｅ ｂａｃｋ！）のメッセージを表示してもよい。

一実施形態では、シーンが変化する場合（例えば、物体がシーンの中で動かされる場合）に、通知デバイス１６は、カメラ１０が周期的にシャープな画像を捕捉できるように、ユーザーがフリーズしなければならないことを示す通知をユーザーに与える。画像キャプチャーのための周期又は経過時間は、実際の条件に従って変化し得ることに留意されたい。

メモリ・デバイス１４は、処理デバイス１２及びカメラ１０に結合され、図２に示されるように、ポーズ変化通知プロセス２を実行するように処理デバイス１２に指示するプログラム・コードを格納するように構成されており、ポーズ変化通知プロセス２は、以下のステップを含む。

ステップ２０：現在の画像と以前の画像とをカメラから受信する。

ステップ２１：現在の画像と以前の画像とに従ってカメラのポーズ変化を計算する。

ステップ２２：ポーズ変化の回転のうちの少なくとも１つが第１閾値を満たし、ポーズ変化の並進が第２閾値を満たし、ポーズ変化の経過時間が第３閾値を満たす場合に、ユーザーに対する通知を生成する。

ステップ２０において、処理デバイス１２は、現在の画像と以前の画像とをカメラから受信する。

ステップ２１において、処理デバイス１２は、以前の画像に対応する以前のポーズを計算し、現在の画像に対応する現在のポーズを計算し、そして現在のポーズから以前のポーズを減算してポーズ変化を計算する。

ステップ２２において、処理デバイス１２は、ポーズ変化が少なくとも１つの閾値を満たした場合に、画像キャプチャーの通知を生成する。具体的には、ポーズ変化は、回転角度、並進距離、及び経過時間を含む複数のパラメータに関連付けられてもよく、処理デバイス１２は、回転角度、並進距離、経過時間のうちの少なくとも１つが一定量だけ変化した場合に通知を生成することができる。なお、処理デバイス１２はまた、回転角度、並進距離、経過時間のいずれか１つのみが一定量だけ変化した場合に、通知を生成することも可能である。

例えば、ポーズ変化の回転が、所定の角度を示す第１閾値を満たす場合（例えば、カメラ１０の回転角が１５度変化した場合）に、処理デバイス１２は、ユーザーに通知（例えば、「フリーズ！」のメッセージ）を生成する。一実施形態では、ポーズ変化の並進が、以前の画像の内容と現在の画像の内容とが同じシーンの或る量だけ変化することを引き起こす第２の閾値を満たす場合（例えば、カメラ１０の変換距離は、以前の画像の内容と現在の画像の内容とが同じシーンの３分の１だけ変化することを引き起こし）、処理デバイス１２は、ユーザーに対する通知を生成する。一実施形態では、ポーズ変化の経過時間が、所定の時間を示す第３閾値を満たす場合（例えば、カメラ１０の経過時間が５秒経過した場合）、処理デバイス１２はユーザーに対する通知を生成する。

このため、ポーズ変化通知プロセス２によって、処理デバイス１２は、回転角度、並進距離、及び経過時間に関する臨界点における画像を収集することができ、それにより、対話型画像処理システム１は、ユーザーの体感を向上させるように、シャープで繊細な細部を有する仮想現実環境を構築することができる。

なお、ステップ２１において、処理デバイス１２は、以前の画像に対応する以前のポーズと現在の画像に対応する現在のポーズとをそれぞれ算出するために、ポーズ計算サブ・プロセス３をさらに実行する。図３に示されるように、ポーズ計算サブ・プロセス３は、以下のステップを含む。

ステップ３１：画像の特徴を抽出する。

ステップ３２：特徴から対応（ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ）を見出す。

ステップ３３：対応に基づいてポーズを推定する。

ステップ３１において、処理デバイス１２は、画像の赤、緑、および青の画素に応じて画像から特徴を抽出し、この場合において、特徴は、特定のパターン（例えば、四角、三角、円、直角、等々）が処理デバイス１２によって検出される画像の領域に対応する。

ステップ３２において、処理デバイス１２は、特徴から対応を見出す。具体的には、処理デバイス１２は、特徴に応じて対応する点を決定し、２次元（２Ｄ）画像における対応する点は、仮想現実環境を構築するために使用される。

ステップ３３において、処理デバイス１２は、対応に基づいてカメラ１０のポーズを推定する。カメラ１０のポーズは、三次元空間座標（Ｘ、Ｙ、Ｚ）で記述される並進と、三次元軸及び座標の間の三次元角度（θＸ、θＹ、θＺ）で記述される回転とを含む６自由度（６ Ｄｏｆ）で規定される。

一実施形態では、メモリ装置１４は、ポーズ推定のためのフィーチャーの３次元座標を記憶し、処理デバイス１２は、フィーチャーの格納済みの３次元座標に基づいて、ポーズをさらに洗練する。このステップにより、処理デバイス１２は、ポーズ推定から推定誤差を低減することができる。

図４は、本開示の一実施形態による対話型画像処理システム４の機能ブロック図である。対話型画像処理システム４は、カメラ１０と、処理デバイス４２と、メモリ・デバイス４４と、通知デバイス１６と、慣性測定部４８とを含む。

対話型画像処理システム１及び４は類似しており、同一の要素は同一シンボルで示される。慣性測定部４８は、処理デバイス４２に結合され、処理デバイス４２に対するユーザーが着用した３Ｄヘルメット（又はカメラ１０）の３次元角度（θＸ、θＹ、θＺ）によって記述される回転を生成するように構成される。さらに、処理デバイス４２は、慣性測定部４８によって生成された回転を考慮して、ポーズ推定及びポーズ変化通知を実行し、ポーズ推定及びポーズ変化通知の精度向上を支援する。

要約すると、本開示の対話型画像処理システムは、ポーズ推定及びポーズ変化通知に基づいてユーザーに対する通知を生成することができ、対話型画像処理システムは、臨界点において画像を収集することができる。その結果、本開示の対話型画像処理システムは、ユーザーの体感を改善するために、シャープで繊細な細部を有する仮想現実環境を構築することができる。

当業者は、本発明の教示を保持しながらデバイス及び方法の多くの変形及び代替が為されてよいことを容易に理解するであろう。従って、上記の開示は添付の特許請求の範囲によってのみ限定されるように解釈されるべきである。

（付記１）
空間走査プロセスを実行する対話型画像処理システムに対するポーズ変化通知方法であって：
前記対話型画像処理システムのカメラから現在の画像と以前の画像とを受信するステップ；
前記現在の画像と前記以前の画像とに従って、前記対話型画像処理システムの前記カメラのポーズ変化を計算するステップ；及び
前記対話型画像処理システムの前記カメラの前記ポーズ変化が少なくとも１つの閾値を満たした場合に、前記対話型画像処理システムのユーザーに対する通知を生成するステップ；
を含むポーズ変化通知方法。
（付記２）
前記少なくとも１つの閾値は、前記ポーズ変化の回転に関連する第１閾値、前記ポーズ変化の並進に関連する第２閾値、及び前記ポーズ変化の経過時間に関連する第３閾値を含む、付記１に記載のポーズ変化通知方法。
（付記３）
前記通知が生成されるのは：前記ポーズ変化の回転が、所定の角度を示す前記第１閾値を満たす場合と、前記ポーズ変化の並進が、前記以前の画像の内容と前記現在の画像の内容とが同一シーンの３分の１だけ変化することを引き起こす前記第２閾値を満たす場合と、前記ポーズ変化の経過時間が、所定の時間を示す前記第３閾値を満たす場合とである、付記２に記載のポーズ変化通知方法。
（付記４）
前記現在の画像と前記以前の画像とに従って、前記対話型画像処理システムの前記カメラのポーズ変化を計算するステップが：
前記以前の画像に対応する以前のポーズを計算するステップ；
前記現在の画像に対応する現在のポーズを計算するステップ；及び
前記ポーズ変化を計算するために、前記現在のポーズから前記以前のポーズを減算するステップ；
を含む、付記１に記載のポーズ変化通知方法。
（付記５）
前記以前の画像に対応する以前のポーズを計算するステップ、又は前記現在の画像に対応する現在のポーズの計算するステップが：
前記以前の画像又は前記現在の画像の特徴を抽出するステップ；
前記以前の画像又は前記現在の画像の特徴から対応を見出すステップ；及び
前記以前の画像又は前記現在の画像の前記対応に基づいて、前記以前の画像に対応する以前のポーズ又は前記現在の画像に対応する現在のポーズを推定するステップ；
を含む、付記１に記載のポーズ変化通知方法。
（付記６）
前記以前の画像に対応する以前のポーズを計算するステップ、又は前記現在の画像に対応する現在のポーズの計算するステップが：
前記以前の画像又は前記現在の画像の前記特徴の座標を保存するステップ；及び
前記以前の画像又は前記現在の画像の前記特徴の前記座標に基づいて、前記以前の画像に対応する以前のポーズ又は前記現在の画像に対応する現在のポーズを洗練するステップ；
を更に有する、付記５に記載のポーズ変化通知方法。
（付記７）
空間走査プロセスを実行する対話型画像処理システムであって：
現在の画像と以前の画像とを生成するように構成されるカメラ；
前記カメラに結合され、前記現在の画像と前記以前の画像とに従って制御信号を生成するように構成される処理デバイス；
前記処理デバイスに結合され、前記制御信号に従ってユーザーに対する通知を生成するように構成される通知デバイス；及び
前記処理デバイスに結合され、プログラム・コードを記憶するように構成されるメモリ・デバイス；
を含み、前記プログラム・コードは、前記空間走査プロセスにおける下記ステップを前記処理デバイスに実行させ、前記下記ステップは：
現在の画像と以前の画像とを前記カメラから受信するステップ；
前記現在の画像と前記以前の画像とに従って、前記カメラのポーズ変化を計算するステップ；
前記カメラの前記ポーズ変化を少なくとも１つの閾値と比較するステップ；及び
前記カメラの前記ポーズ変化が前記少なくとも１つの閾値を満たした場合に、前記通知デバイスに対する前記制御信号を生成するステップ；
を含む、対話型画像処理システム。
（付記８）
前記少なくとも１つの閾値は、前記ポーズ変化の回転に関連する第１閾値、前記ポーズ変化の並進に関連する第２閾値、及び前記ポーズ変化の経過時間に関連する第３閾値を含む、付記７に記載の対話型画像処理システム。
（付記９）
前記通知が生成されるのは：前記ポーズ変化の回転が、所定の角度を示す前記第１閾値を満たす場合と、前記ポーズ変化の並進が、前記以前の画像の内容と前記現在の画像の内容とが同一シーンの３分の１だけ変化することを引き起こす前記第２閾値を満たす場合と、前記ポーズ変化の経過時間が、所定の時間を示す前記第３閾値を満たす場合とである、付記８に記載の対話型画像処理システム。
（付記１０）
前記現在の画像と前記以前の画像とに従って、前記カメラのポーズ変化を計算するステップが：
前記以前の画像に対応する以前のポーズを計算するステップ；
前記現在の画像に対応する現在のポーズを計算するステップ；及び
前記ポーズ変化を計算するために、前記現在のポーズから前記以前のポーズを減算するステップ；
を含む、付記７に記載の対話型画像処理システム。
（付記１１）
前記以前の画像に対応する以前のポーズを計算するステップ、又は前記現在の画像に対応する現在のポーズの計算するステップが：
前記以前の画像又は前記現在の画像の特徴を抽出するステップ；
前記以前の画像又は前記現在の画像の特徴から対応を見出すステップ；及び
前記以前の画像又は前記現在の画像の前記対応に基づいて、前記以前の画像に対応する以前のポーズ又は前記現在の画像に対応する現在のポーズを推定するステップ；
を含む、付記７に記載の対話型画像処理システム。
（付記１２）
前記以前の画像に対応する以前のポーズを計算するステップ、又は前記現在の画像に対応する現在のポーズの計算するステップが：
前記以前の画像又は前記現在の画像の前記特徴の座標を保存するステップ；及び
前記以前の画像又は前記現在の画像の前記特徴の前記座標に基づいて、前記以前の画像に対応する以前のポーズ又は前記現在の画像に対応する現在のポーズを洗練するステップ；
を更に有する、付記１１に記載の対話型画像処理システム。

Claims (10)

1. 空間走査プロセスを実行する対話型画像処理システムに対するポーズ変化通知方法であって：
   前記対話型画像処理システムのカメラから現在の画像と以前の画像とを受信するステップ；
   前記現在の画像と前記以前の画像とに従って、前記対話型画像処理システムの前記カメラのポーズ変化を計算するステップ；及び
   前記対話型画像処理システムの前記カメラの前記ポーズ変化が少なくとも１つの閾値を満たした場合に、前記対話型画像処理システムのユーザーに対する通知を生成するステップ；
   を含むポーズ変化通知方法。
2. 前記少なくとも１つの閾値は、前記ポーズ変化の回転に関連する第１閾値、前記ポーズ変化の並進に関連する第２閾値、及び前記ポーズ変化の経過時間に関連する第３閾値を含む、請求項１に記載のポーズ変化通知方法。
3. 前記通知が生成されるのは：前記ポーズ変化の回転が、所定の角度を示す前記第１閾値を満たす場合と、前記ポーズ変化の並進が、前記以前の画像の内容と前記現在の画像の内容とが同一シーンの３分の１だけ変化することを引き起こす前記第２閾値を満たす場合と、前記ポーズ変化の経過時間が、所定の時間を示す前記第３閾値を満たす場合とである、請求項２に記載のポーズ変化通知方法。
4. 前記現在の画像と前記以前の画像とに従って、前記対話型画像処理システムの前記カメラのポーズ変化を計算するステップが：
   前記以前の画像に対応する以前のポーズを計算するステップ；
   前記現在の画像に対応する現在のポーズを計算するステップ；及び
   前記ポーズ変化を計算するために、前記現在のポーズから前記以前のポーズを減算するステップ；
   を含む、請求項１に記載のポーズ変化通知方法。
5. 前記以前の画像に対応する以前のポーズを計算するステップ、又は前記現在の画像に対応する現在のポーズの計算するステップが：
   前記以前の画像又は前記現在の画像の特徴を抽出するステップ；
   前記以前の画像又は前記現在の画像の特徴から対応を見出すステップ；及び
   前記以前の画像又は前記現在の画像の前記対応に基づいて、前記以前の画像に対応する以前のポーズ又は前記現在の画像に対応する現在のポーズを推定するステップ；
   を含む、請求項１に記載のポーズ変化通知方法。
6. 空間走査プロセスを実行する対話型画像処理システムであって：
   現在の画像と以前の画像とを生成するように構成されるカメラ；
   前記カメラに結合され、前記現在の画像と前記以前の画像とに従って制御信号を生成するように構成される処理デバイス；
   前記処理デバイスに結合され、前記制御信号に従ってユーザーに対する通知を生成するように構成される通知デバイス；及び
   前記処理デバイスに結合され、プログラム・コードを記憶するように構成されるメモリ・デバイス；
   を含み、前記プログラム・コードは、前記空間走査プロセスにおける下記ステップを前記処理デバイスに実行させ、前記下記ステップは：
   現在の画像と以前の画像とを前記カメラから受信するステップ；
   前記現在の画像と前記以前の画像とに従って、前記カメラのポーズ変化を計算するステップ；
   前記カメラの前記ポーズ変化を少なくとも１つの閾値と比較するステップ；及び
   前記カメラの前記ポーズ変化が前記少なくとも１つの閾値を満たした場合に、前記通知デバイスに対する前記制御信号を生成するステップ；
   を含む、対話型画像処理システム。
7. 前記少なくとも１つの閾値は、前記ポーズ変化の回転に関連する第１閾値、前記ポーズ変化の並進に関連する第２閾値、及び前記ポーズ変化の経過時間に関連する第３閾値を含む、請求項６に記載の対話型画像処理システム。
8. 前記通知が生成されるのは：前記ポーズ変化の回転が、所定の角度を示す前記第１閾値を満たす場合と、前記ポーズ変化の並進が、前記以前の画像の内容と前記現在の画像の内容とが同一シーンの３分の１だけ変化することを引き起こす前記第２閾値を満たす場合と、前記ポーズ変化の経過時間が、所定の時間を示す前記第３閾値を満たす場合とである、請求項７に記載の対話型画像処理システム。
9. 前記現在の画像と前記以前の画像とに従って、前記カメラのポーズ変化を計算するステップが：
   前記以前の画像に対応する以前のポーズを計算するステップ；
   前記現在の画像に対応する現在のポーズを計算するステップ；及び
   前記ポーズ変化を計算するために、前記現在のポーズから前記以前のポーズを減算するステップ；
   を含む、請求項６に記載の対話型画像処理システム。
10. 前記以前の画像に対応する以前のポーズを計算するステップ、又は前記現在の画像に対応する現在のポーズの計算するステップが：
    前記以前の画像又は前記現在の画像の特徴を抽出するステップ；
    前記以前の画像又は前記現在の画像の特徴から対応を見出すステップ；及び
    前記以前の画像又は前記現在の画像の前記対応に基づいて、前記以前の画像に対応する以前のポーズ又は前記現在の画像に対応する現在のポーズを推定するステップ；
    を含む、請求項６に記載の対話型画像処理システム。

Images