JP2013530463A - 追加の視点及び増大された解像度を有する道路情報カメラのためのシミュレートされた映像 - Google Patents

Abstract

低解像度、一方向のカメラから入力された映像に基づく、高解像度、マルチビューのシミュレートされた映像が提供される。道路情報カメラ、防犯カメラ、監視カメラ、及び同様のカメラから受信された映像が、予めキャプチャーされた画像のデータベースからのパッチ、及び／又は時間的にシフトされた映像と融合されて、同一のカメラに対する多視点だけでなく、より高品質な映像が生成される。
【選択図】図３

Description

[0001] データネットワークの整備と利用が拡大するにつれて、いろいろな目的の映像の供給が、多くの人々にとって日常的体験のありふれた一面となっている。映像の供給の応用の１つは、道路情報カメラを含む。多くの都市や他の場所において、道路情報カメラからの映像は、インターネット又は他のネットワーク手段を通じて見ることができるように個人に利用可能となっている。通勤する人々は、家や職場を出る前に道路情報カメラをチェックすることにより道路状況を監視することが可能であり、また、それに応じてルートを検討することが可能である。車両搭載型コンピューターシステムがより一般的なものになるにつれて、ドライバーでさえ（状況が安全である場合には）、カメラを通じて前方の交通をチェックすることが可能であり、必要であればルートを変更することが可能である。

[0002] 典型的な道路情報カメラは、一方向を向いて道路に沿って配置されている。加えて、ほとんどの道路情報カメラは、低解像度のカメラであり、実際上の理由のために、当該カメラから遠く離れた背景や車の詳細を見えるようにすることが不可能である。このように、道路情報カメラの映像の供給を見ることによって人が得ることが可能な情報は限られている。例えば、遠くに離れている車は不鮮明であるので、人は、カメラに向かって来る車か、カメラから遠ざかって行く車を認識することができるだけであり、同じ車線の場合はその両方を認識することが不可能である。

[0003] この概要は、以下の詳細な説明において更に説明される概念から選び出したものを、単純化した形で紹介すべく提供されるものである。この概要は、特許請求の範囲に記載された対象の主要な特徴、又は本質的な特徴を専ら特定することを意図しておらず、また、特許請求の範囲に記載された対象の範囲を決定付けるための助けとしても意図していない。

[0004] 本実施態様は、低フレームレート、低解像度、一方向の道路情報カメラから入力された映像を用いて、シミュレートされた高フレームレート、高解像度、マルチビューの道路情報ビデオ画像を提供することに向けられている。いくつかの実施態様によれば、受信された映像は、予めキャプチャーされた画像のデータベースからのパッチ、及び／又は時間的にシフトされた映像と融合されて、同一のカメラに対する多視点だけでなく、より高品質な映像を生成することができる。他の実施態様によれば、映像解像度の増大と多視点の生成は、例えば、防犯カメラ、監視カメラ、及びこれらと同様のカメラ等の他のタイプのカメラに適用されることができる。

[0005] これらの及び他の特徴と利点は、以下の詳細な説明を読み、関連する図面を検討することによって明らかとなるだろう。前述した概括的な説明も後述する詳細な説明も共に、説明的なものであって、特許請求の範囲に記載された観点を制限するものではない、ということは理解されなければならない。

図１は、実施態様による映像解像度の増大と多視点の生成が利用されることができる、道路情報カメラを有する道路を示す概念図である。 図２は、実施態様による道路情報カメラの増大された解像度と多視点を有する別の道路を示す。 図３は、シミュレートされた多視点の道路情報映像を生成するためのシステムのブロック図を示す。 図４は、シミュレートされた多視点の道路情報映像を生成するためのシステムのブロック図を示す。 図５は、実施態様によるシステムが実現されることができるネットワーク環境である。 図６は、実施態様が実現されることができる例示的なコンピューティング動作環境のブロック図である。 図７は、低解像度、一方向の道路情報カメラからの入力に基づいて、増大された解像度及び多視点の映像を提供する処理のための論理フロー図を示す。

[0013] 上で簡潔に述べられたように、低解像度、一方向の道路情報カメラからの映像の供給に基づいて、シミュレートされた高解像度、マルチビューの道路情報ビデオ画像が生成されることができる。受信された映像は、予めキャプチャーされた画像のデータベースからのパッチ、及び／又は時間的にシフトされた映像と融合されて、同一のカメラに対する多視点だけでなく、より高品質な映像を生成することができる。以下の詳細な説明において、その一部分を形成する添付の図面が参照され、その図面において、具体的な実施態様又は例が説明のために示される。これらの側面は組み合わせられることができ、他の側面が利用されることができ、また、本開示の趣旨又は範囲から逸脱することなく構成が変更されることができる。したがって、以下の詳細な説明は、限定的な意味に解釈されてはならず、また、本発明の範囲は、添付された特許請求の範囲及びその均等物によって定義される。

[0014] 本実施態様は、パーソナルコンピューターのオペレーティングシステム上で動作するアプリケーションプログラムと連携して実行される、プログラムモジュールの一般的な文脈において説明されるが、当業者は、本側面が他のプログラムモジュールと組み合わせて実現されることもできるということを認識するだろう。

[0015] 一般に、プログラムモジュールは、ルーチン、プログラム、コンポーネント、データ構造、及び、特定のタスクを実行し又は特定の抽象データ型を実現する他のタイプの構造を含む。その上、ハンドヘルド型デバイス、マルチプロセッサーシステム、マイクロプロセッサーベース又はプログラム可能な家電製品、ミニコンピューター、メインフレームコンピューター、及び同様のコンピューティングデバイスを含む、他のコンピューターシステム構成によって実施態様が実施されることができるということを、当業者は認識するだろう。本実施態様はまた、通信ネットワークを通じてリンクされた遠隔処理デバイスによってタスクが実行される、分散コンピューティング環境において実施されることもできる。分散コンピューティング環境において、プログラムモジュールは、ローカル及び遠隔のメモリ記憶装置の両方に配置されることができる。

[0016] 本実施態様は、コンピューター実装プロセス（方法）やコンピューティングシステムとして、又は、コンピュータープログラム製品若しくはコンピューター読み取り可能媒体等の製品として、実現されることができる。コンピュータープログラム製品は、コンピューターシステムによって読み取り可能であり、コンピューター又はコンピューティングシステムに例示的プロセスを実行させるための命令を備えたコンピュータープログラムをエンコードしている、コンピューター記憶媒体でありうる。このコンピューター読み取り可能記憶媒体は、例えば、揮発性コンピューターメモリ、不揮発性メモリ、ハードドライブ、フラッシュドライブ、フロッピーディスク（登録商標）、又はコンパクトディスク、及び同様の媒体のうちの１つ又は複数によって実現されることが可能である。

[0017] 本明細書の全体を通して、「プラットフォーム」という用語は、映像のキャプチャー、加工、及び伝送の動作を制御するためのソフトウェア及びハードウェアコンポーネントを組み合わせたものでありうる。プラットフォームの例は、限定ではないが、複数のサーバーにわたって実行されるホストサービス、単一のサーバー上で実行されるアプリケーション、及び同様のシステムを含む。「サーバー」という用語は、一般に、１つ又は複数のソフトウェアプログラムを、典型的にはネットワーク環境において実行するコンピューティングデバイスを意味している。しかしながら、サーバーはまた、ネットワーク上のサーバーとみなされる１つ又は複数のコンピューティングデバイス上で実行される、仮想サーバー（ソフトウェアプログラム）として実現されることもできる。

[0018] 「低解像度」及び「高い又は増大された解像度」という用語は、従来のカメラシステムのキャプチャーされた映像の品質と、本明細書の実施態様に従って生成されるシミュレートされた映像とを区別するために用いられる。具体的な例として、映像の解像度は、およそ４８０×６４０ピクセルと４８００×６４００ピクセルの間の範囲に及ぶことができ、また、従来の道路情報カメラは、この範囲の低い側に近い解像度の能力を有することができ、一方、本実施態様によるシミュレートされた映像は、解像度をこの範囲のより高い側へ向けて増大させることができる。しかしながら、開示された主題の趣旨及び範囲から逸脱することなく、他の解像度が用いられることができる。

[0019] 図１は、実施態様による映像解像度の増大と多視点の生成が利用されることができる、道路情報カメラを有する道路を示す概念図１００を含む。概念図１００に示されるように、道路１０２上の固定位置にある道路情報カメラ１１０は、カメラに近付いてくる自動車１０６及び１１２の映像をキャプチャーする一方向を向いたカメラである。カメラから走り去って行く自動車１０８は、もはやこのカメラの視界の中にはない。実際、カメラを通り過ぎた如何なる自動車も、全く見ることはできない。その上、一般的な道路情報カメラは、（典型的には、カメラを映像処理システムに接続しているネットワークを介して伝送される映像データ量を削減するために）典型的には低解像度のカメラである。したがって、自動車１１２の詳細はカメラに近いのでキャプチャーされることができるが、自動車１０６はキャプチャーされた映像において不鮮明に見えることだろう。

[0020] 例えば交差点１０４のような一定の場所には、多数のカメラが設置されるかもしれない。しかしながら、道路の直線区間上にあるカメラの数とカバー範囲は、通常限定されている。多数のカメラがある交差点においてさえ、カメラは全てのアングルをカバーしておらず、また、カメラの解像度のせいで、距離と共に画像品質の低下を依然として免れることはできない。

[0021] 本実施態様によるシステムは、道路情報供給の中における自動車の高解像度のビューを人工的に生成するように、及び／又は、これらの自動車を様々な視点から眺めるように構成される。前者は、カメラ供給の様々な時点におけるピクセルを用いて画像の類推を行うことによって達成されることができ、後者は、予めキャプチャーされた画像のデータベースによって達成されることができる。このデータベースには、自動車の前部、後部、及び／又は他のビューを含む画像が収集されることができる。これらの画像は、多数の道路情報カメラにわたって自動車を追跡すること、製造業者のデータベースから画像を入手すること、及び同様の方法によって、取得されることができる。入力されるカメラ供給は、１つの画像ではなく、同一の自動車を道路に沿った多数の事例で（例えば、遠方、中間、及び近傍といったような予め定められた距離範囲で）観測するように十分に高い頻度でキャプチャーされた、一続きの画像である。その上、ビューの体験はリアルタイムである必要はない。ビューを見る人は、バッファリングされ、又は（例えば数秒の）遅延を与えられた映像を観察しているのであってもよい。この遅延は、映像を視覚化（例えば、「未来の」フレームからピクセルを借用する）のために処理するのに利用されることができる。

[0022] 道路情報カメラからの入力を異なる視点位置から表示するために、いろいろな自動車の様々なアングルから捉えた画像が用いられて、様々な視点に対するシミュレートされた自動車の画像を生成することができる。そのデータは、当該道路を様々な視点位置から見るように、正投影地図上の重ね合わせによって、又はヒューマンスケールバブルから、表示されることができる。この道路情報映像を幾何学的配置の上に投影する際、ビューを見る人がカメラからより離れて見ていると、（図形１００において自動車１０６の不鮮明な画像によって表現されるように）自動車の映像品質の低下が認識されうる。しかしながら、カメラから遠くに表示される全ての自動車は、（カメラから走り去って行く自動車については）カメラにより近くに存在していた時にはより詳細に表され、（カメラに近付いてくる自動車については）数秒後にカメラにより近くまで来た時により詳細に表される。

[0023] 図２は、実施態様による道路情報カメラの増大された解像度と多視点を有する別の道路を示す。不鮮明な（遠くの）自動車をキャプチャーされた解像度よりも高い解像度で描画するために、いくつかの実施態様によれば、より近くに存在していた時にキャプチャーされた、又はカメラに近付いてきた時にキャプチャーされる、同一の自動車のより高い解像度の画像が用いられることができる。換言すれば、近くの自動車画像からピクセルが「借用」され、過去又は未来何れかにおける遠くの自動車画像に転移されることができる。「未来」の眺めに関しては、近くの自動車のピクセルを借用して遠くの自動車のより高い解像度をシミュレートするために、映像は予め定められた期間の遅延を与えられることができる。

[0024] 図形２００において、近付いてくる自動車２２２、２２４、及び２２６の明瞭な画像によって、遠方の自動車の増大された解像度が表現されている。自動車２２６は既にカメラ２１０の近くにあり、画像のエンハンスを必要としないかもしれない。自動車２２４は、カメラから中程度の距離だけ離れており、時間シフトされた（未来の）フレームからのピクセルを用いることによって画像を少しだけエンハンスする必要があるかもしれない。自動車２２２は遠方に存在している。その画像は、自動車２２４の画像よりも大きくエンハンスされる必要があるかもしれない。カメラの近くに存在する時点の自動車の１つ又は複数のフレームから、ピクセルが選択されることができ、次いで、当該選択されたピクセルは、遠方の自動車のより高い解像度の画像を生成するように、実際の画像と融合されることができる。

[0025] 上で議論されたように、従来の道路情報カメラについての別の制限は、それらが一箇所及び一方向に固定されていることである。このことは、１つのカメラを通じて別の方向又は別の視点から交通を眺めることを困難なものにする。他の実施態様によるシステムは、交通の対称性を利用して、反対方向における交通のビューをシミュレートする。換言すれば、ある地点で見られる交通は、必然的に、反対側の視点において反対方向に流れていく。そのようなビューの描画に関する挑戦は、当該反対側の視点において見えるようになる、自動車の隠れた一部分（例えば自動車２２８の後部）を含む。

[0026] カメラの方向以外の方向における自動車のシミュレートされた画像を描画するために、自動車のモデルが用いられて、シミュレートされた画像を映像の代わりに描画することができる。このアプローチは、視野の外側での自動車の描画や多方向のビューといった利点を有している一方で、描画された映像は、確実に人工的に見えることになる。シミュレートされた道路情報映像のフォトリアリスティックな画像ベースの描画を生成するために、収集された画像データベースからの現実の画像に基づく、自動車の他のアングルが用いられることができる。例えば、接近する自動車の種類と色が判定され、同一の自動車の他のビュー（例えば後部）が、収集された画像データベースから取得されることができる。次いで、この取得された画像は、当該接近する自動車のスピードを参考として用いて、反対方向におけるシミュレートされた映像ストリームを１つに融合するのに用いられることができる。

[0027] 図形２００において、カメラの方向以外の方向におけるシミュレートされた映像の生成は、道路情報カメラ２１０の仮想的な回転２３０によって表現されている。実際、多数のシミュレートされた映像を生成するように、様々なアングル（例えば、前部、側部、後部）からの自動車のビューが用いられることができ、ユーザーは、交通の流れを捉えているカメラを、様々なアングルで「仮想的に」回転することを可能とされることができる。カメラ２１０は、有線又は無線（例えば、無線周波数「ＲＦ」、光、又は類似の）通信手段を通じて処理システムに接続された任意の映像キャプチャーデバイスでありうる。

[0028] 図３は、増大された解像度を有するシミュレートされた道路情報映像を生成するためのシステムのブロック図３００を示す。上で議論されたように、道路情報カメラの映像の供給からシミュレートされた道路情報映像を生成する１つの側面は、いろいろな距離に存在する自動車が同じような品質で見えるように映像の解像度を増大させることに関する。実施態様によるシステムにおいて、オリジナルの道路情報映像３３２が、車両映像パッチのストリーム３３４を生成するために用いられることができる。フレームバッファー内の画像の時刻ｔにおける自動車が遠くに存在していると仮定すると、フレームｔ＋ｎにおける自動車が時刻ｔにおける当該自動車とマッチングされることができる。ブロック３３６においてこのマッチングを実行するために、規格化相互相関を用いた移動ウィンドウ又は同様のアプローチが利用されることができる。

[0029] 次いで上記パッチは、滑らかな道路情報映像３４０を生成するように１つに融合されることができ（３３８）、当該道路情報映像３４０において、時刻ｔにおける遠くの不鮮明な自動車は、時刻ｔ＋ｎにおける近くの自動車のパッチと置換される。次いで、その映像が、クライアントマシン上の描画アプリケーションによって、又はウェブサービスによって描画されることができる。

[0030] 他の実施態様によれば、遠くの自動車にかかわるノイズが低減されることができ、コントラストが強調及び／又は鮮明化されることができる。例えば、霧の深い日に遠くの自動車は不鮮明にかすんで写ることがある。そのような不鮮明さとかすみは共に、大気中で光がビューの方向へ散乱すること、及び、自動車の色が霧の中へ溶け込むことに起因して生じる。当該自動車の近傍画像を用いて、これら遠くの自動車のビューは、不鮮明さとかすみを低減することによってエンハンスされることができる。その上、生成された映像は、入力映像と同じ時間解像度（例えばフレームレート）である必要はない。「中間的な」フレームが、同様のマッチング処理を用いて生成されることもできる。

[0031] 図４は、シミュレートされた多視点の道路情報映像を生成するためのシステムのブロック図を示す。道路情報カメラの映像の供給からシミュレートされた映像を生成する別の側面は、一方向を向いたカメラから多視点を生成することに関する。多視点を生成するためのシステムは、図３において説明されたシステムと同様に、オリジナルの道路情報映像４４２から始めて、車両映像パッチのストリーム４４４が生成される。このオリジナルの道路情報映像４４２においては、車両の前部（近付いてくる交通の流れ）又は後部（カメラから遠ざかる車両）のみが見えているかもしれない。キャプチャーされた車両の欠落した画像（例えば、前部が見えている自動車の後部や側部等）は、マッチング処理４４６において、類似した映像パッチ４５２のデータベースから取得されることができる。

[0032] 類似した映像パッチ４５２のデータベースは、様々な製造元、モデル、色等の車両に関する予めキャプチャーされた及び／又は人工的に生成された画像を収容することができる。格納される画像は、道路情報カメラによりキャプチャーされた映像、製造業者のデータソース、ディーラーのデータソース、及び車両の画像データに関する任意の他のソースから取得されることができる。例えば、様々なアングルで自動車の画像をキャプチャーするように、予め定められた期間、様々な方向を向いた多数のカメラが１箇所に設置されることができ、それらの画像は、後に他のカメラと連携して用いられることができるようにインデックスを付されて格納されることができる。

[0033] マッチング処理４４６は、先ず、自動車のキャプチャーされたビュー（例えば前部）をデータベース内の画像とマッチングすることができ、次いで、対応する後部のビューの画像（又はその他）を見つけ出すことができる。融合処理４４８において、当該選択された画像のパッチが、例えば、道路及び／又は背景の画像、自動車の経路、自動車のスピード、並びに、時には音声（ドップラーシフトに従って背景音を変化させることでユーザーにより一層リアルな体験をもたらすことができる）といったような付加的な情報を用いて、１つの映像に融合されることができる。当該音声は、録音及び／又は生成された音声でありうる。この融合処理の結果得られるシミュレートされた映像４５０は、上で議論されたように描画されることができる。

[0034] 図３及び４において議論された映像パッチのストリーム生成、映像パッチのマッチング、並びに融合等の様々な処理は、別個のハードウェアモジュール、ソフトウェアモジュール、又はハードウェアとソフトウェアの組み合わせにより実行されることができる。更に、そのようなモジュールは、それらの処理の２つ以上を統合的な方法で実行することができる。

[0035] 図３及び４における例示的なシステムは、シミュレートされた映像を生成する要素、処理、及び方法によって説明されてきた。本実施態様は、これらの例示的な構成によるシステムに限定されるものではない。多視点及び増大された解像度を有するシミュレートされた道路情報映像を提供するプラットフォームは、より少ない又は追加のコンポーネントを利用し、他のタスクを実行する構成において、実現されることができる。更に、本実施態様は、道路情報カメラだけに限定されるものではない。シミュレートされた映像の生成は、様々なタイプの監視カメラシステム、防犯システム、及び本明細書において説明された原理を用いる同様のシステムにおいて実現されることができる。更にまた、本実施態様の映像の側面は、ユーザー体験を高めるために、音声、色等の他の効力と組み合わせられることができる。

[0036] 図５は、本実施態様が実現されることが可能である例示的なネットワーク環境である。増大された解像度及び多視点を有するシミュレートされた映像を生成するためのプラットフォームは、ホストサービスのような１つ又は複数のサーバー５１４上で実行されるソフトウェアによって実現されることができる。このプラットフォームは、ネットワーク５１０を通じて、スマートフォン５１３、ラップトップコンピューター５１２、又はデスクトップコンピューター５１１といった個々のコンピューティングデバイス（「クライアントデバイス」）上のクライアントアプリケーションと通信することができる。

[0037] クライアントデバイス５１１−５１３のうちの任意のデバイス上で実行されるクライアントアプリケーションは、複数のサーバー５１４又は個々のサーバー５１６上のブラウジングアプリケーションを通じてウェブアプリケーションと対話することができる。このウェブアプリケーションは、一方向カメラ５２０から低解像度映像を受信し、前述されたように高解像度、多視点の映像を生成することができる。あるいはまた、シミュレートされた映像の生成は、ウェブアプリケーションとは別の画像処理アプリケーションによって実行されることができ、ウェブアプリケーションは、当該シミュレートされた映像をユーザーのために彼らのクライアントデバイス上に描画することができる。車両の予めキャプチャーされた画像、又は時間シフトされた映像等の関連データは、データ記憶装置５１９に格納され、及び／又は、データ記憶装置５１９から直接に、若しくはデータベースサーバー５１８を介して取得されることができる。

[0038] ネットワーク５１０は、サーバー、クライアント、インターネットサービスプロバイダー、及び通信媒体の如何なるトポロジーも含むことができる。実施態様によるシステムは、静的又は動的なトポロジーを有することができる。ネットワーク５１０は、企業ネットワークのような安全なネットワーク、オープンな無線ネットワークのような安全でないネットワーク、又はインターネットを含むことができる。ネットワーク５１０はまた、公衆交換電話網（ＰＳＴＮ）又は携帯電話ネットワークといった他のネットワークを介した通信を統合することもできる。更に、ネットワーク５１０は、ブルートゥース（登録商標）又はそれに類似したもの等の短距離無線ネットワークを含むことができる。ネットワーク５１０は、本明細書において説明されたノード間の通信を提供する。限定ではなく例として、ネットワーク５１０は、音波、ＲＦ、赤外線、及び他の無線媒体といった、無線媒体を含むことができる。

[0039] 低解像度の一方向カメラの入力に基づき高解像度、マルチビューのシミュレートされた映像を提供するプラットフォームを実現するために、コンピューティングデバイス、アプリケーション、データソース、及びデータ配信システムの多くの他の構成が利用されることができる。更に、図５において議論されたネットワーク環境は、例証的な目的のためだけのものである。本実施態様は、例示的なアプリケーション、モジュール、又は処理に限定されるものではない。

[0040] 図６及びそれに関連する議論は、本実施態様が実現されることが可能な相応しいコンピューティング環境の簡潔で概括的な説明を提供することを意図したものである。図６を参照すると、コンピューティングデバイス６００のような、実施態様によるアプリケーションのための例示的なコンピューティング動作環境のブロック図が示されている。基本的な構成において、コンピューティングデバイス６００は、本実施態様に従って高解像度、多視点のシミュレートされた映像を生成する能力を有した映像処理アプリケーションを実行するサーバーであり、少なくとも１つの処理装置６０２及びシステムメモリ６０４を含むことができる。コンピューティングデバイス６００はまた、プログラムの実行を協力して行う複数の処理装置をも含むことができる。コンピューティングデバイスの厳密な構成及びタイプに依存して、システムメモリ６０４は、（ＲＡＭのような）揮発性、（ＲＯＭ、フラッシュメモリ等のような）不揮発性、又はこれら２つの何らかの組み合わせでありうる。システムメモリ６０４は、典型的に、ワシントン州レッドモンドのマイクロソフトコーポレーションからのウィンドウズ（登録商標）オペレーティングシステム等の、プラットフォームの動作を制御するのに適したオペレーティングシステム６０５を格納している。システムメモリ６０４はまた、プログラムモジュール６０６、映像アプリケーション６２２、及び融合モジュール６２４といった１つ又は複数のソフトウェアアプリケーションをも含むことができる。

[0041] 映像アプリケーション６２２は、低解像度、一方向のカメラから映像の供給を受信し、前述されたように高解像度、多視点の映像を生成することができる。融合モジュール６２４は、オリジナルの映像を予めキャプチャーされた車両画像のパッチ、及び／又は時間シフトされた映像ストリームと融合して、多視点を生成しシミュレート映像の解像度を増大させることができる。映像アプリケーション６２２と融合モジュール６２４は、ホストサービスの別々のアプリケーション又は統合されたコンポーネントでありうる。この基本的な構成は、図６において破線６０８内のコンポーネントによって示されている。

[0042] コンピューティングデバイス６００は、付加的な特徴又は機能を有することができる。例えば、コンピューティングデバイス６００は、（リムーバブル及び／又は非リムーバブルの）付加的なデータ記憶装置、例えば磁気ディスク、光ディスク、又はテープを含むこともできる。そのような付加的な記憶装置は、図６においてリムーバブル記憶装置６０９と非リムーバブル記憶装置６１０によって示されている。コンピューター読み取り可能記憶媒体は、コンピューター読み取り可能命令、データ構造、プログラムモジュール、又は他のデータ等の情報の記憶のための任意の方法又は技術により実現された、揮発性及び不揮発性、リムーバブル及び非リムーバブルの媒体を含むことができる。システムメモリ６０４、リムーバブル記憶装置６０９、及び非リムーバブル記憶装置６１０は、全てコンピューター読み取り可能記憶媒体の例である。コンピューター読み取り可能記憶媒体は、限定ではないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）若しくは他の光記憶装置、磁気テープ、磁気ディスク記憶装置若しくは他の磁気記憶デバイス、又は、所望の情報を格納するために用いられることが可能でありコンピューティングデバイス６００によってアクセスされることが可能である任意の他の媒体を含む。如何なるそのようなコンピューター読み取り可能記憶媒体も、コンピューティングデバイス６００の一部分でありうる。コンピューティングデバイス６００はまた、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイス、及び同様の入力デバイス等の入力デバイス６１２を有することもできる。ディスプレイ、スピーカー、プリンター、及び他のタイプの出力デバイス等の出力デバイス６１４もまた、含まれることができる。これらのデバイスは当該技術においてよく知られており、本明細書で長々と説明されることを要しない。

[0043] コンピューティングデバイス６００はまた、当該デバイスが、分散コンピューティング環境の有線又は無線ネットワーク、衛星リンク、携帯電話リンク、短距離ネットワーク、及び同様の機構を介する等して、他のデバイス６１８と通信することを可能にする通信接続６１６を包含することもできる。他のデバイス６１８は、通信アプリケーションを実行するコンピューターデバイス、他のサーバー、及び同様のデバイスを含むことができる。通信接続６１６は、通信媒体の一例である。通信媒体は、その中に、コンピューター読み取り可能命令、データ構造、プログラムモジュール、又は他のデータを含むことが可能である。限定ではなく例として、通信媒体は、有線ネットワーク又は直接有線接続等の有線媒体と、音波、ＲＦ、赤外線、及び他の無線媒体等の無線媒体とを含む。

[0044] 例示的な実施態様には、方法も含まれる。それらの方法は、本文書中で説明された機構を含む多数のやり方で実現されることが可能である。そうした１つのやり方は、本文書中で説明されたタイプのデバイスのマシン動作によるものである。

[0045] 別の選択可能なやり方は、当該方法の個々の動作のうちの１つ又は複数が、それら動作のいくつかを実施している１人又は複数の人間のオペレーターと連携して実行されることである。そうした人間のオペレーターは、互いに共起される必要はないが、そのそれぞれは、プログラムの一部分を実行するマシンと共に存在することができるのみである。

[0046] 図７は、本実施態様に従って低解像度、一方向の道路情報カメラからの入力に基づく増大された解像度及び多視点の映像を提供する処理７００のための論理フロー図を示す。処理７００は、サーバー上で実行されるウェブアプリケーションの一部分として実装されることができる。

[0047] 処理７００は、動作７１０から開始し、この動作７１０において、低解像度、一方向のビデオカメラからのオリジナルの映像が受信される。受信された映像は、前処理されてもよい。例えば、受信された映像のフォーマットが変更されることができる、映像がフィルターをかけられることができる、等である。動作７２０において、後でマッチング及び融合が実行されることが可能となるように、映像パッチのストリームが生成される。このパッチは、車両の動きに対応する予め定められた距離（例えば、遠方、中間、近傍）における連続した映像フレームでありうる。

[0048] 動作７３０において、当該パッチのストリームが、異なる方向のカメラからのパッチ、及び／又は（例えば車両がカメラに近付いた場合における）時間シフトされたフレームのパッチとマッチングされる。最初のマッチングは、付加的な視点（例えば、走り去って行く車両を見せているオリジナルのカメラ視点と反対側の方向）の生成を可能にし、一方、後者のマッチングは、映像ストリームの解像度を増大させる。異なる方向からのパッチは、様々なタイプの車両の様々なアングルからの予めキャプチャーされた画像（赤い乗用車の後部ビュー、緑のトラックの側部ビュー、自動車の固有のブランド等）を含むことができる。

[0049] 動作７４０において、オリジナルのストリームとマッチングされたパッチとが１つに融合されてシミュレートされた映像を生じさせることができ、当該シミュレートされた映像は、動作７５０においてユーザーに提示される（例えば、ユーザーのブラウジングアプリケーションを通じて描画される）ことができる。融合に先立って、画像のサイズが調整されることもできる。

[0050] 処理７００に含まれる動作は、例証的な目的のためのものである。増大された解像度、多視点のシミュレートされた映像を生成することは、本明細書において説明された原理を用いて異なる動作順序によるだけでなく、より少ない又は付加的なステップを有する類似の処理によっても、実現されることができる。

[0051] 上記の明細書、例、及びデータは、実施態様による構成物の製造及び使用に関する完全な説明を提供するものである。主題が構造的機能及び／又は方法論的動作に特有の言葉で説明されてきたが、添付された特許請求の範囲において定義される対象は必ずしも上述された特定の機能又は動作に限定されるものではない、ということは理解されなければならない。それどころか、当該上述された特定の機能及び動作は、特許請求の範囲及び実施態様を実現する例示の形として開示されたのである。

Claims (15)

1. 少なくとも部分的にコンピューティングデバイスにおいて実行される、カメラの供給からエンハンスされたシミュレート映像を生成するための方法であって、
   一方向を向いたカメラから入力されたオリジナルの映像を受信するステップと、
   車両映像パッチのストリームを生成するステップと、
   前記車両映像パッチ内の車両を対応する記憶された車両画像とマッチングするステップと、
   前記記憶された車両画像に対応する異なるアングルの画像を取得するステップと、
   前記取得された画像を別の方向へ移動する車両を表示するシミュレート映像へと融合するステップと、
   前記シミュレート映像を描画するステップと、
   を含む、方法。
2. 前記取得された画像は、前記車両の後部の画像であり、前記シミュレート映像は、カメラの方向と反対方向の交通の流れを表す、請求項１に記載の方法。
3. 前記シミュレート映像を、道路の画像、背景の画像、各車両の経路、各車両のスピード、録音された音声、及び生成された音声からなる一群のうちの少なくとも１つを利用してエンハンスするステップを更に含む、請求項１に記載の方法。
4. 予め定められた数のフレームをバッファリングするステップと、
   前記車両が前記カメラの近くに写っているフレームにおける車両画像をキャプチャーするステップと、
   前記キャプチャーされた画像のサイズを調整するステップと、
   前記調整された画像を前記車両と同一の車両が前記カメラから遠くに写っているフレーム上に重ね合わせるステップと、
   前記重ね合わせられたフレームを前記シミュレート映像に融合するステップと、
   を更に含む、請求項１に記載の方法。
5. 前記バッファリングは未来のフレームに対して実行される、請求項４に記載の方法。
6. バッファリングされたフレーム内の前記車両が、規格化相互相関を用いてマッチングされる、請求項５に記載の方法。
7. バッファリングされる前記フレームの数は、前記カメラからの車両の予め定められた距離範囲に基づいて決定される、請求項５に記載の方法。
8. カメラの供給からエンハンスされたシミュレート映像を生成するためのシステムであって、
   一方向を向いた少なくとも１つのカメラと、
   前記一方向を向いた少なくとも１つのカメラに接続され、映像処理アプリケーションを実行するサーバーと、を備え、
   前記映像処理アプリケーションは、
   前記一方向を向いたカメラから入力されたオリジナルの映像を受信し、
   車両映像パッチのストリームを生成し、
   予め定められた数の映像フレームをバッファリングし、
   前記車両が前記カメラの近くに写っているフレームにおける第１の車両集合の画像をキャプチャーし、
   前記画像を前記第１の車両集合が前記カメラから遠くに写っているフレーム上に重ね合わせ、
   前記車両映像パッチ内の第２の車両集合を対応する記憶された車両画像とマッチングし、
   前記記憶された車両画像に対応する異なるアングルの画像を取得し、
   前記重ね合わせられた画像を増大された解像度の第１のシミュレート映像に融合し、
   前記取得された画像を別の方向へ移動する前記第２の車両集合を表示する第２のシミュレート映像へと融合し、
   前記シミュレート映像を描画する
   ように構成されている、システム。
9. 前記第１及び第２の映像は同一の映像ストリームである、請求項８に記載のシステム。
10. 前記映像処理アプリケーションは、ユーザーに前記カメラの仮想的な回転をもたらすユーザー入力に基づいて、前記ユーザーが前記異なるアングルの画像を選択することによって見るアングルを選択することを可能にするように更に構成されている、請求項８に記載のシステム。
11. 前記記憶された車両画像は、予めキャプチャーされた画像及び人工的に生成された画像のうちの少なくとも１つを含む、請求項９に記載のシステム。
12. 前記第２の映像は、前記取得された画像を正投影地図上に融合することによって生成される、請求項９に記載のシステム。
13. カメラの供給からエンハンスされたシミュレート映像を生成するための命令が格納されたコンピューター読み取り可能記憶媒体であって、前記命令は、
    一方向を向いたカメラから入力されたオリジナルの映像を受信するステップと、
    車両映像パッチのストリームを生成するステップと、
    予め定められた数のフレームをバッファリングするステップと、
    前記カメラからより遠く離れた車両の画像がエンハンスされるように規格化相互相関を用いて前記バッファリングされたフレームをマッチングするステップと、
    前記マッチングされたフレームを前記シミュレート映像へと融合するステップと、
    を含む、コンピューター読み取り可能記憶媒体。
14. 前記命令は、
    前記車両映像パッチ内の車両を対応する記憶された車両画像とマッチングするステップと、
    前記記憶された車両画像に対応する異なるアングルの画像を取得するステップと、
    前記取得された画像を別の方向へ移動する車両を表示するシミュレート映像へと融合するステップと、
    を更に含む、請求項１３に記載のコンピューター読み取り可能記憶媒体。
15. 前記映像パッチのストリームを生成する前記ステップ、前記フレームをバッファリングする前記ステップ、及び前記フレームをマッチングする前記ステップは、それぞれ、ハードウェアモジュール、ソフトウェアモジュール、並びに、ハードウェア及びソフトウェアモジュールの組み合わせからなる一群のうちの少なくとも１つによって実行される、請求項１３に記載のコンピューター読み取り可能記憶媒体。

Images