JP2001078179A - データの同期化方法、その装置、複合現実感提示装置およびプログラム記憶媒体 - Google Patents

データの同期化方法、その装置、複合現実感提示装置およびプログラム記憶媒体

Info

Publication number
JP2001078179A
JP2001078179A JP24677199A JP24677199A JP2001078179A JP 2001078179 A JP2001078179 A JP 2001078179A JP 24677199 A JP24677199 A JP 24677199A JP 24677199 A JP24677199 A JP 24677199A JP 2001078179 A JP2001078179 A JP 2001078179A
Authority
JP
Japan
Prior art keywords
data
time
acquisition time
camera
added
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP24677199A
Other languages
English (en)
Inventor
Masakazu Fujiki
真和 藤木
Kiyohide Sato
清秀 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mixed Reality Systems Laboratory Inc
Original Assignee
Mixed Reality Systems Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mixed Reality Systems Laboratory Inc filed Critical Mixed Reality Systems Laboratory Inc
Priority to JP24677199A priority Critical patent/JP2001078179A/ja
Publication of JP2001078179A publication Critical patent/JP2001078179A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Digital Computer Display Output (AREA)
  • Studio Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】 カメラによる画像データの取得時点と、その
画像データの利用時点(参照時点)とのズレによる矛盾
の発生を防止する方法を提案する。 【解決手段】 撮像時刻が付加されたカメラ画像データ
を、所定のデータ参照タイミングにおいて、参照し、こ
の第1のカメラ画像データに付加されている第1の撮像
時刻が、データ参照時刻よりも十分に過去であれば、過
去でないところの第2の撮像時刻を有する第2のカメラ
画像データの発生を待ち、第1のカメラ画像データと第
2のカメラ画像データとに基づいて、第1の撮像時刻に
おけるデータ値を生成して出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、データの参照方法
に関し、特に、時系列で発生するデータの発生(更新)
時刻と、そのデータが参照される時刻とが同期していな
いときの、データ参照の改良に関する。
【0002】
【従来の技術】複合現実空間をリアルタイムで提供する
アプリケーション環境では、通常、カメラにより現実空
間の画像を取得しつつ、そのカメラの位置・姿勢情報を
含むカメラパラメータが画像を生成するときに使用され
る。
【0003】例えば、第1図のようなビデオシースルー
による複合現実感提示システムでは、カメラパラメータ
に基づき現実空間と仮想空間とが位置合わせされ、カメ
ラからの現実空間の画像は、画像処理装置により、仮想
空間のための仮想画像と合成され、HMD(head mounted d
isplay)等の表示装置に出力される。光学シースルー方
式でも、現実空間を仮想空間と位置合わせなどするため
に、カメラパラメータが同じように参照されると言う事
情は、上記のビデオシースルー方式と変わるところはな
い。
【0004】このように、複合現実環境では、ビデオシ
ースルーであろうと、光学シースルーであろうと、ビデ
オカメラによるカメラパラメータデータの取得と、その
カメラパラメータデータの参照(画像処理への使用)と
が並列して行われる。
【0005】
【発明が解決しようとする問題点】第2図は、カメラパ
ラメータデータの取得タイミング(即ち、更新タイミン
グ)に対する、その更新データの画像処理装置による参
照タイミングとの相違を示すタイミングチャートであ
る。
【0006】図中、データの更新タイミングを
【0007】t1, t2, t3, t4,…, t11,…
【0008】で表し、データの参照タイミングを T1, T2, T3, T4,…, T5,…
【0009】で表わすとする。従来のデータ参照方式に
よるデータ参照が T1, T2, T3, T4,…, T5,…
【0010】のタイミングで成されているとすると、各
々のタイミングで参照されるデータは、夫々、 t1, t4, t6, t8,…, t11,…
【0011】となる。ここで、参照時刻と更新時刻との
時差をΔで表すと、T4を除く参照タイミングT1, T2,
T3,…, T5に対する時差Δ1235が所定の閾値未
満であったとし、参照時刻T4に対する時差Δ4が閾値を
超えていたとする。ここで、閾値は、当該複合現実環境
提供のアプリケーション・プログラムに許容された時差
の許容限界であり、その閾値を超えたデータを参照する
と、位置合わせなどに不一致が発生するというものであ
る。即ち、従来では、不可避に発生する、カメラパラメ
ータデータの取得タイミングと、画像処理装置によるカ
メラパラメータデータの参照タイミングとの同期ズレに
対して、許容限界を超えたズレが発生して、現実空間と
仮想空間とに不一致が発生しても甘受せざるを得なかっ
た。
【0012】本発明の目的は、データの取得時刻とデー
タの参照時刻とでズレの発生のないデータ参照方法を提
案するものである。
【0013】
【課題を解決するための手段】上記課題を達成するため
の、データの取得と取得データの参照とが非同期で行わ
れているシステムにおけるデータの同期化方法であっ
て、
【0014】第1の取得時刻が付加された第1の参照デ
ータを、第1のデータ参照タイミングにおいて、参照
し、
【0015】この第1の参照データに付加されている第
1の取得時刻が、前記第1のデータ参照時刻よりも所定
値以上過去であれば、前記所定値以上過去でないところ
の第2の取得時刻を有する第2の参照データの発生を待
ち、前記第1の参照データと第2の参照データとに基づ
いて、第1の参照時刻におけるデータ値を生成して出力
することを特徴とする。
【0016】出力データ値の元となる第2の参照データ
は、所定値以上過去でないところの第2の取得時刻を有
する第2の参照データをもとにして生成されるので、デ
ータ内容に時間的矛盾が発生しないことになる。
【0017】本発明の好適な一態様である請求項2に拠
れば、このデータが使用される前記システムは複合現実
感提示システムである。特に、請求項3のように、複合
現実感提示システムで用いられるビデオシースルー型デ
ィスプレイに出力されることが好ましい。
【0018】本発明の好適な一態様である請求項4に拠
れば、前記生成工程は、第1のデータ参照時刻と第1及
び第2の取得時刻とに従ったデータの内分比を演算す
る。または、請求項5のように、第1のデータ参照時刻
と第1及び第2の取得時刻とに従ったデータの外分比を
演算する。
【0019】本発明の好適な一態様である請求項6に拠
れば、第1の参照データに付加されている第1の取得時
刻が、前記第1のデータ参照時刻よりも所定値以上過去
でなければ、前記第1の参照データを出力データとす
る。
【0020】本発明の好適な一態様である請求項7に拠
れば、前記データはカメラから取得されたカメラパラメ
ータデータである。
【0021】本発明の好適な一態様である請求項8に拠
れば、前記取得時刻はカメラにより付加される。
【0022】
【発明の実施の形態】以下本発明のデータ参照方式を用
いた複合現実感提示システムを説明する。
【0023】第3図は、実施形態に係る複合現実提供シ
ステムのブロック図である。従来のシステムと異なる点
は、画像処理装置内部で、カメラによるカメラパラメー
タ・データの取得タイミングが、画像処理装置における
データ参照タイミングを問題が発生するほどにずれると
きは、追加参照タイミングを生成して、この追加タイミ
ングにおけるカメラパラメータデータを線形補間して、
その補間データを仮想空間画像の描画に用いるものであ
る。ここで、更新タイミングは、この実施形態では、カ
メラによって生成された時刻データが画像処理装置側に
送られて、画像処理装置は送られてきた時刻データを更
新タイミングデータとして用いるものである。
【0024】同図で、参照時刻Tnに対して最近のカメラ
パラメータデータの更新時刻がtnであったとする。そし
て、更新時刻tnが、参照時刻Tnとの差が十分大きくなる
ほどに、古いものであったとすると、更新時刻tnに対応
するカメラパラメータデータvnは位置ズレを発生させる
おそれがあるので、その後の更新時刻tkを有するカメラ
パラメータデータvkの発生を待ち、このデータvkと時刻
tnにおけるデータvnとの線形補間データVnをカメラパラ
メータの出力データとするものである。このときの出力
データVnは、
【0025】[数1] で与えられる。
【0026】第5図は、第3図の画像処理装置1000
の内部のブロック図であり、この画像処理装置1000
は第3図に示した動作と実質的に同じ動作を行う。
【0027】即ち、この画像処理装置1000は、バッ
ファ1001を有し、ここで、ビデオカメラから受け取
った更新時刻tn並びにカメラパラメータデータvnを格納
する。画像処理装置は更にタイミングジェネレータ(以
下、TGと略す)1005からの信号に基づいて、参照時
刻Tn1003を発生する。比較器1002は、バッファ
1001に格納された更新時刻tnとTG1005からの
参照時刻Tnとを比較する。尚、TG1005は、現実空
間の画像が取得された時刻に、参照時刻をセットするこ
とにより、カメラパラメータの時刻と現実空間の画像と
の同期化を図る。
【0028】比較器1002により比較した結果、
【0029】[数2] Tn - tn > δ
【0030】であれば、更新時刻tnのカメラパラメータ
データvnは信頼性がないことになり、
【0031】[数3] Tn - tn ≦ δ
【0032】であれば、更新時刻tnのカメラパラメータ
データvnは信頼性があることになる。従って、Tn - tn
≦ δであれば、参照時刻Tnに参照されるデータはvn
なる。一方、Tn - tn > δであれば、参照時刻Tn以降に
取得されたカメラパラメータデータvkを待つ。このよう
なカメラパラメータデータは、
【0033】[数4] tk ― Tn > 0
【0034】であるようなカメラパラメータデータであ
る。そこで、このような更新時刻tkを有するカメラパラ
メータデータvkを用いて、実質的には、[数1]式を用
いて出力データVnを得るものである。第5図のハードロ
ジックは、第6図,第7図の制御手順によって実現され
る。即ち、ステップS208で時間差が大きいと判断さ
れたならば、第7図のステップS222〜ステップS2
26で、tk ― Tn > 0となるような更新データを待つ。
ステップS228の計算は[数1]式の計算である。
【0035】第4図の手法は、参照時刻Tnにおけるカメ
ラパラメータの参照データVnを、
【0036】tn < Tn < tk であるようなデータvnとvkとを用いて、カメラパラメー
タ出力データVnを求めていた。上記内分法は、簡単に、
第8図のような外分法に変更することができる。第8図
の例では、
【0037】tn < tk < Tn である。
【0038】以上のようにして、本実施形態に拠れば、
カメラパラメータデータの取得側とそのカメラパラメー
タデータの参照側とで、速度差及びまたは位相差があっ
ても、更にそれらの差が位置ズレなどを引き起こすほど
に大きなものであっても、現実空間の画像を取得した時
刻のカメラパラメータを補間して出力するので、その補
間データを基に生成した仮想画像と現実画像とを合成し
ても、位置ズレなどの問題が発生しない。
【0039】尚、上記実施形態では、時間差が大きいと
きだけ補正を行っていたが、時間差の大小に関わらず、
[数1]を用いた補正項を演算するようにしてもよい。
【0040】また、本発明は、複数の機器から構成され
るシステムに適用しても、一つの機器からなる装置に適
用しても良い。また、本発明はシステムあるいは装置に
プログラムを供給することによって実施される場合にも
適用されることは言うまでもない。この場合、本発明に
係るプログラムを格納した記憶媒体が、本発明を構成す
ることになる。そして、該記憶媒体からそのプログラム
をシステムあるいは装置に読み出すことによって、その
システムあるいは装置が、予め定められた方法で動作す
る。
【0041】
【発明の効果】以上詳述したように、本発明によれば、
データに付された時刻とデータの内容とにおいて、ズレ
のないものが出力されるので、例えば複合現実空間では
位置ズレの発生が無くなる。
【図面の簡単な説明】
【図1】 従来例に係る複合現実感提示システムにおけ
るカメラ画像の処理プロセスを説明する図。
【図2】 図1の従来例において、時間ズレが発生する
理由を説明する図。
【図3】 好適な実施形態に係る画像処理装置の構成を
説明する図。
【図4】 図3の実施形態に採用されている内分法によ
るデータ補間方法の原理を説明する図。
【図5】 実施形態の画像処理装置の機能ブロック図。
【図6】 実施形態の制御手順を説明するフローチャー
ト。
【図7】 実施形態の制御手順を説明するフローチャー
ト。
【図8】 変形例に係る補間方法(外分法)によるデー
タ補間の原理を説明する図。
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B069 BB10 5C023 AA11 AA37 BA11 CA03 EA03 5C054 AA05 CA04 CC03 ED07 ED14 EH00 EJ00 FA00 HA00 5C082 AA00 AA21 AA27 BA20 BA42 CA55 CA85 CB01 DA87 MM10

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】 データの取得と取得データの参照とが非
    同期で行われているシステムにおけるデータの同期化方
    法であって、 第1の取得時刻が付加された第1の参照データを、第1
    のデータ参照タイミングにおいて、参照し、 この第1の参照データに付加されている第1の取得時刻
    が、前記第1のデータ参照時刻よりも所定値以上過去で
    あれば、前記所定値以上過去でないところの第2の取得
    時刻を有する第2の参照データの発生を待ち、前記第1
    の参照データと第2の参照データとに基づいて、第1の
    参照時刻におけるデータ値を生成して出力することを特
    徴とするデータの同期化方法。
  2. 【請求項2】 前記システムは複合現実感提示システム
    であることを特徴とする請求項1に記載のデータ同期化
    方法。
  3. 【請求項3】 前記複合現実感提示システムはビデオシ
    ースルー型ディスプレイを含み、前記出力データはこの
    ディスプレイに出力される仮想画像の同期化に用いられ
    ることを特徴とする請求項2に記載のデータの同期化方
    法。
  4. 【請求項4】 前記生成工程は、第1のデータ参照時刻
    と第2の取得時刻とに従ったデータの内分比を演算する
    ことを特徴とする請求項1乃至3のいずれかに記載のデ
    ータの同期化方法。
  5. 【請求項5】 前記生成工程は、第1のデータ参照時刻
    と第2の取得時刻とに従ったデータの外分比を演算する
    ことを特徴とする請求項1乃至4のいずれかに記載のデ
    ータの同期化方法。
  6. 【請求項6】 第1の参照データに付加されている第1
    の取得時刻が、前記第1のデータ参照時刻よりも所定値
    以上過去でなければ、前記第1の参照データを出力デー
    タとすることを特徴とする請求項1乃至5いずれかに記
    載のデータの同期化方法。
  7. 【請求項7】 前記データはカメラから取得されたカメ
    ラパラメータデータであることを特徴とする請求項1乃
    至6のいずれかに記載のデータの同期化方法。
  8. 【請求項8】 前記取得時刻は、カメラにより付加され
    ることを特徴とする請求項1乃至7のいずれかに記載の
    データの同期化方法。
  9. 【請求項9】 請求項1乃至8のいずれかに記載の同期
    化方法を実現するコンピュータプログラムを記憶するプ
    ログラム記憶媒体。
  10. 【請求項10】 データの取得と取得データの参照とが
    非同期で行われているシステムにおけるデータの同期化
    装置であって、 第1の取得時刻が付加された第1の参照データを、第1
    のデータ参照タイミングにおいて、参照する手段と、 この第1の参照データに付加されている第1の取得時刻
    が、前記第1のデータ参照時刻よりも所定値以上過去で
    あれば、前記所定値以上過去でないところの第2の取得
    時刻を有する第2の参照データの発生を待ち、前記第1
    の参照データと第2の参照データとに基づいて、第1の
    参照時刻におけるデータ値を生成して出力する手段を具
    備することを特徴とするデータの同期化装置。
  11. 【請求項11】 前記システムは複合現実感提示システ
    ムであることを特徴とする請求項10に記載のデータ同
    期化装置。
  12. 【請求項12】 前記出力データはビデオシースルー型
    ディスプレイに表示される画像の同期化に用いられるこ
    とを特徴とする請求項10乃至11のいずれかに記載の
    データの同期化装置。
  13. 【請求項13】 前記生成工程は、第1のデータ参照時
    刻と第2の取得時刻とに従ったデータの内分比を演算す
    ることを特徴とする請求項10乃至12のいずれかに記
    載のデータの同期化装置。
  14. 【請求項14】 前記生成工程は、第1のデータ参照時
    刻と第2の取得時刻とに従ったデータの外分比を演算す
    ることを特徴とする請求項10乃至13のいずれかに記
    載のデータの同期化装置。
  15. 【請求項15】 第1の参照データに付加されている第
    1の取得時刻が、前記第1のデータ参照時刻よりも所定
    値以上過去でなければ、前記第1の参照データを出力デ
    ータとすることを特徴とする請求項10乃至14のいず
    れかに記載のデータの同期化装置。
  16. 【請求項16】 前記データはカメラから取得されたカ
    メラパラメータデータであることを特徴とする請求項1
    0乃至16のいずれかに記載のデータの同期化装置。
  17. 【請求項17】 前記取得時刻は、カメラにより付加さ
    れることを特徴とする請求項10乃至16のいずれかに
    記載のデータの同期化装置。
  18. 【請求項18】 請求項10乃至18のいずれかに記載
    の同期化装置を組み込まれた複合現実感画像提示装置。
JP24677199A 1999-08-31 1999-08-31 データの同期化方法、その装置、複合現実感提示装置およびプログラム記憶媒体 Pending JP2001078179A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24677199A JP2001078179A (ja) 1999-08-31 1999-08-31 データの同期化方法、その装置、複合現実感提示装置およびプログラム記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24677199A JP2001078179A (ja) 1999-08-31 1999-08-31 データの同期化方法、その装置、複合現実感提示装置およびプログラム記憶媒体

Publications (1)

Publication Number Publication Date
JP2001078179A true JP2001078179A (ja) 2001-03-23

Family

ID=17153433

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24677199A Pending JP2001078179A (ja) 1999-08-31 1999-08-31 データの同期化方法、その装置、複合現実感提示装置およびプログラム記憶媒体

Country Status (1)

Country Link
JP (1) JP2001078179A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008299669A (ja) * 2007-05-31 2008-12-11 Canon Inc 頭部装着型表示装置、及びその制御方法
US7868904B2 (en) 2005-04-01 2011-01-11 Canon Kabushiki Kaisha Image processing method and image processing apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7868904B2 (en) 2005-04-01 2011-01-11 Canon Kabushiki Kaisha Image processing method and image processing apparatus
JP2008299669A (ja) * 2007-05-31 2008-12-11 Canon Inc 頭部装着型表示装置、及びその制御方法

Similar Documents

Publication Publication Date Title
US6141001A (en) Method of synchronizing the presentation of static and dynamic components of an interactive multimedia document
CN110430365A (zh) 防抖方法、装置、计算机设备和存储介质
JPH0583588A (ja) 画像処理装置
US6340993B1 (en) Automatic clock phase adjusting device and picture display employing the same
CN101815177A (zh) 同步显示装置、同步显示方法及叠加拼接显示系统
US20050228902A1 (en) Method and system for synchronizing platform clocks in a distributed wireless platform
JP2001078179A (ja) データの同期化方法、その装置、複合現実感提示装置およびプログラム記憶媒体
CN112017242B (zh) 显示方法及装置、设备、存储介质
US7386782B2 (en) Method for synchronizing a multimedia file
US20020052955A1 (en) Data processing system and method, computer program, and recording medium
CN109889860A (zh) 一种直播视频文件拆条方法、装置及系统
CN112005209A (zh) 用于以原子方式呈现覆盖多个显示器的单个缓冲器的机制
US7047433B2 (en) Method and circuit for synchronizing a higher frequency clock and a lower frequency clock
JPS61172484A (ja) ビデオフイ−ルドデコ−ダ
JP2004302361A (ja) データ合成装置およびデータ合成方法
CN111782159B (zh) 一种图片分屏同步浏览系统及方法
WO2021070168A2 (en) Ganaka-4: ganaka applied to mobiles
JP2000236455A (ja) 信号処理回路および信号処理システム
JP2005275242A (ja) 映像キャプチャ回路及び映像キャプチャ方法
CN117336419A (zh) 拍摄方法、装置、电子设备及可读存储介质
US10777169B2 (en) Systems and methods to synchronize display panels
KR102254823B1 (ko) 네트워크 기반의 동기 보조 클록을 가지는 멀티 디스플레이 시스템
CN115903294A (zh) 显示模组、视频播放方法、装置、电子设备及介质
JP2745603B2 (ja) ワークステーションの表示制御装置
CN116192319A (zh) 触控与显示驱动器集成tddi帧同步更新方法、装置及设备