JP2012164157A

JP2012164157A - 画像合成装置

Info

Publication number: JP2012164157A
Application number: JP2011024411A
Authority: JP
Inventors: Kazuhiro Suzuki; 和宏鈴木
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2011-02-07
Filing date: 2011-02-07
Publication date: 2012-08-30

Abstract

【課題】画像処理を施す際の処理コストの増大を防止しながら、現実の映像に含まれる特定対象物を画像の前景に表示することができる画像合成装置を提供する。
【解決手段】カメラ２によって取得した現実映像中におけるＡＲマーカをＡＲオブジェクトに変換して映像中に表示する。このとき、現実画像中におけるＡＲマーカが、緊急用や警告などを示す看板や標識である場合等には、ＡＲオブジェクトを透明表示するとともに、ＡＲオブジェクトに対応する現実画像をコピーして、現実画像の最前面に重畳表示する。
【選択図】図１

Description

本発明は、画像合成装置に関する。

近年のナビゲーション装置等においては、車両の周辺をカメラで撮像して得られた現実の映像などに対して、コンピュータグラフィックス（以下「ＣＧ」という）などの拡張現実（Augmented Reality、以下「ＡＲ」という）オブジェクトを重畳表示して種々の情報を乗員に提供する技術が開発されている。このように、現実の画像に対してＣＧ画像を重畳表示する技術として、従来、実写風景を背景としてＣＧ画像と実写の被写体を前景に合成して表示する情報処理装置が知られている（たとえば、特許文献１参照）。

この情報処理装置では、実写風景の中から被写体画像を認識し、認識した被写体画像以外の領域に対してＣＧ画像を合成している。こうして、実写風景における被写体以外の画像を背景として、ＣＧ画像および被写体が前景となる合成画像が生成されるというものである。かかる合成画像では、実写風景、ＣＧ画像、および被写体が自然な位置関係で表示される合成画像を得ることができるというものである。

特開２００３−２９６５７９号公報

ところで、ナビゲーション装置などで現実の映像にＡＲオブジェクトを重畳表示させる場合、現実の映像に道路標識などの重要な情報を表示する特定対象物が含まれることがある。このとき、現実の映像にＡＲオブジェクトを重畳表示させると、ＡＲオブジェクトによって特定対象物が隠れてしまう可能性がある。このとき、ＡＲオブジェクトの前景に特定対象物を表示することが考えられ、そのために、上記特許文献１に開示された技術を応用することが考えられる。

しかし、上記特許文献１に開示された情報処理装置においては、実写風景の中に含まれる被写体としての特定対象物を認識する必要があった。被写体を認識するためには、被写体の色等に基づいて被写体を実写風景から抽出するなどの処理を施す必要があり、その分処理コストが増大してしまうという問題があった。

そこで、本発明の課題は、画像処理を施す際の処理コストの増大を防止しながら、現実の映像に含まれる特定対象物を画像の前景に表示することができる画像合成装置を提供することにある。

上記課題を解決した本発明に係る画像合成装置は、現実の映像である現実映像を取得する現実映像取得手段と、現実映像から特定対象物を認識する特定対象物認識手段と、認識した特定対象物を現実映像から抽出し、仮想画像に変換する仮想画像変換手段と、変換した変換画像を現実映像上に重畳表示する重畳表示手段と、を備え、仮想画像が特定属性を有する特定仮想画像である場合には、重畳表示手段は、特定仮想画像に対応する現実映像をコピーした特定対象物現実画像を現実映像上に重畳表示することを特徴とする。

本発明に係る画像合成装置は、仮想画像が特定属性を有する特定仮想画像である場合には、重畳表示手段は、特定仮想画像に対応する現実映像をコピーした特定対象物現実画像を現実映像上に重畳表示する。このため、特定属性を有する仮想画像に対応する特定対象物現実画像を表示することができるので、特定対象物を前景に表示することができる。さらに、特定対象物現実画像は、現実画像をコピーしたものであるので、現実画像から特定対象物を抽出する必要はない。したがって、画像処理を施す際の処理コストの増大を防止しながら、現実の映像に含まれる特定対象物を画像の前景に表示することができる。

本発明に係る画像合成装置によれば、画像処理を施す際の処理コストの増大を防止しながら、現実の映像に含まれる特定対象物を画像の前景に表示することができる。

本発明の実施形態に係る画像合成装置のブロック構成図である。ＡＲオブジェクトと優先度との関係を示すマップである。（ａ）は、現実画像を示す図、（ｂ）は、ＡＲマーカとＡＲオブジェクトとの関係を示す図、（ｃ）は、現実画像にＡＲオブジェクトを重畳表示した画像を示す図である。ＡＲマーカが表示された標識を示す図である。（ａ）は、ＡＲマーカが表示された看板を示す図、（ｂ）は、ＡＲオブジェクトが重畳表示された看板を示す図である。本発明の実施形態に係る画像合成装置の処理手順を示すフローチャートである。（ａ）は、従来の技術によるＡＲオブジェクトを表示した現実画像を示す図、（ｂ）は、本実施形態に係るＡＲオブジェクトを表示した現実画像を示す図である。ユーザから見た現実画像とＡＲオブジェクトとの関係を模式的に示す図である。

以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図示の便宜上、図面の寸法比率は説明のものと必ずしも一致しない。

図１は、本発明の実施形態に係る画像合成装置のブロック構成図である。図１に示すように、本実施形態に係る画像合成装置は、車両に搭載される車載装置Ｍおよび情報通信センタに設けられるサーバＳを備えている。車載装置Ｍは、視界支援ＥＣＵ（Electrical Control Unit）１、現実映像取得手段であるカメラ２、ヘッドアップディスプレイ３、および車両側通信装置４を備えている。さらに、サーバＳは、センタ側通信装置５および演算処理装置６を備えている。

車載装置Ｍにおける視界支援ＥＣＵ１は、画像認識部１１、通信部１２、ＡＲ判断部１３、およびＡＲ合成部１４を備えている。さらに、サーバＳにおける演算処理装置６は、情報処理部２１、ＡＲオブジェクトデータ記憶部２２、および優先順位マトリクス記憶部２３を備えている。

車載装置Ｍにおけるカメラ２は、たとえば車両における車室内に設けられており、車両における前方の映像を撮像している。カメラ２で撮像される映像には、通常車両が走行する際に前方に現れる信号や道路標識、種々の案内や広告看板などに付与されるＡＲマーカが含まれている。カメラ２は、撮像した映像に関する映像信号を視界支援ＥＣＵ１における画像認識部１１およびＡＲ合成部１４に送信する。ＡＲマーカまたはＡＲマーカが付与された物体が本発明の特定対象物となる。

ヘッドアップディスプレイ３は、視界支援ＥＣＵ１におけるＡＲ合成部１４から送信されるＡＲ合成画像信号を受信することにより、車両の前方における映像を映写する。ここで、ヘッドアップディスプレイ３に映写される映像には、車両の前方の映像のほか、ＡＲ合成部１４で合成されたＡＲオブジェクトなども含まれる。ＡＲオブジェクトは、本発明の仮想画像に相当する。また、ヘッドアップディスプレイ３は、本発明の重畳表示手段を構成する。

車両側通信装置４は、視界支援ＥＣＵ１から送信される種々の情報を情報処理センタにおけるセンタ側通信装置５に送信する。また、センタ側通信装置５から送信される種々の情報を受信する。車両側通信装置４は、受信した種々の情報を視界支援ＥＣＵ１に送信する。

センタ側通信装置５は、演算処理装置６から送信される種々の情報を車両に搭載された車載装置Ｍにおける車両側通信装置４に送信する。また、車両側通信装置４から送信される種々の情報を受信する。センタ側通信装置５は、受信した種々の情報を演算処理装置６に送信する。

車載装置Ｍの視界支援ＥＣＵ１における画像認識部１１は、カメラ２から送信される映像情報に対して画像処理を施し、カメラ２で撮像した映像中から、道路標識や広告看板などに付与されたマーカを抽出する。画像認識部１１は、抽出したマーカに関するマーカ情報を通信部１２に出力する。また、画像認識部１１は、抽出したマーカの位置に関するマーカ位置情報をカメラ２から送信された映像信号とともにＡＲ合成部１４に出力する。視界支援ＥＣＵ１は、特定対象物認識手段を構成する。

通信部１２は、車両側通信装置４との間で送受信処理を行っている。通信部１２では、画像認識部１１から出力されたマーカ情報を車両側通信装置４に送信し、通信部１２からはＡＲオブジェクト情報が送信される。通信部１２は、車両側通信装置４から送信されたＡＲオブジェクト情報をＡＲ判断部１３に出力する。

ＡＲ判断部１３は、通信部１２から出力されたＡＲオブジェクト情報に基づいて、現実映像におけるマーカが取得された位置に表示するＡＲオブジェクトを確認する。ＡＲ判断部１３は、確認したＡＲオブジェクトに基づいて、ヘッドアップディスプレイ３に表示するＡＲオブジェクトの優先度を判断する。ＡＲ判断部１３は、ＡＲオブジェクトの優先度の判断結果をＡＲ優先度信号としてＡＲ合成部１４に出力する。

ＡＲ合成部１４は、画像認識部１１から出力されるマーカ位置情報およびＡＲ判断部１３から出力されたＡＲ優先度信号に基づいて、ＡＲマーカをヘッドアップディスプレイ３に表示するＡＲオブジェクトに変換し、カメラ２から送信された映像信号に合成する。このときに変換されたＡＲオブジェクトが本発明の変換画像となる。また、ＡＲ合成部１４を含む視界支援ＥＣＵ１が、本発明の仮想画像変換手段を構成する。

このＡＲオブジェクトを合成する際に、ＡＲ優先度信号に基づく優先度が参照される。また、ＡＲオブジェクトに本発明の特定属性である透明属性が付与されている場合には、ＡＲオブジェクトは本発明の特定仮想画像となり、このＡＲオブジェクトを透明表示するとともに、このＡＲオブジェクトに対応する現実画像をコピーし、ヘッドアップディスプレイ３に重畳表示する。この現実画像をコピーした画像が特定対象物現実画像となる。ＡＲ合成部１４は、ＡＲオブジェクトを合成した映像に関するＡＲ合成映像信号をヘッドアップディスプレイ３に送信する。

サーバＳの演算処理装置６における情報処理部２１は、センタ側通信装置５から送信された情報のうちのマーカ情報を受信する。情報処理部２１では、受信したマーカ情報に対応するＡＲオブジェクトデータをＡＲオブジェクトデータ記憶部２２から読み出す。また、読み出したＡＲオブジェクトの優先順位を優先順位マトリクス記憶部２３から読み出す。情報処理部２１は、読み出したＡＲオブジェクトおよびその優先順位に関するＡＲオブジェクト情報をセンタ側通信装置５に送信する。

ＡＲオブジェクトデータ記憶部２２は、マーカ情報に対応する複数のＡＲオブジェクトデータを記憶している。具体的には、道路標識、交通案内、一般サービス、さらには、広告に関する情報などを記憶している。ＡＲオブジェクトデータ記憶部２２は、情報処理部２１の読み出しに応じて、記憶しているＡＲオブジェクトデータを情報処理部２１に出力する。

優先順位マトリクス記憶部２３は、ＡＲオブジェクトデータ記憶部２２が記憶しているＡＲオブジェクトデータの個々の優先度を記憶している。ここでの優先度としては、図２に示すように緊急用の情報が優先度「１」、警告に関する情報が優先度「２」、案内に関する情報が優先度「３」、一般サービスなどの情報が優先度「４」、広告が優先度「５」に設定されている。優先度は、数値が小さいほど重要なものとして規定されている。

ここで、優先度の高いＡＲオブジェクトデータには、透明属性が付与されている。具体的には、優先度が「１」または「２」であるＡＲオブジェクトデータに透明属性が付与されている。また、警告に関する情報には、飛び出し注意に関する道路標識などの事故に直結する情報が含まれる。さらに、案内に関する情報には、速度に関する標識や落石注意の標識などが含まれる。

本発明に係る画像合成装置を用いるにあたり、いわゆるマーカ型ＡＲの考え方が基本となっている。以下、マーカ型ＡＲの基本概念について説明する。マーカ型ＡＲでは、たとえば図３（ａ）に示すように、実空間上にＡＲマーカ３０が置かれている。このとき、図４に示すように、標識３１の一部に対して、ＡＲマーカ３０が表示されて実空間上に置かれていることもある。

ＡＲマーカ３０は、画像認識技術で認識しやすい特徴的なマークである。具体的には、星型、四角型、三角型などの形状とされている。マーカ型ＡＲでは、ＡＲマーカ３０をカメラで認識させ、ＡＲマーカ３０に紐付いているＣＧ画像をＡＲマーカ３０が置いてある位置に合成される技術である。

ここでは、図３（ｂ）に示すように、ＡＲマーカ３０にはフードショップを表すハンバーガーのＣＧ画像３２が紐付けられている。このため、図３（ａ）に示す画像におけるＡＲマーカ３０が置いてある位置に、図３（ｃ）に示すように、ハンバーガーのＣＧ画像３２を合成して表示する。マーカ型ＡＲでは、マーカの大きさや場所に合わせてＣＧ画像を合成することができるので、ＡＲマーカ３０が設けられている位置に近づけばＣＧ画像３２を大きく表示し、離れれば小さく表示するなどとすることができる。

また、看板などの表示にマーカ型ＡＲを用いることもできる。たとえば、図５（ａ）に示すように、直進方向に「安城市」、右折方向に「知立市」の行き先文字が表示された看板をカメラによって撮影したとする。ここで、ＡＲマーカ３０が看板に設けられていることにより、図５（ｂ）に示すように、補足情報として、直進方向に「安城市」のほかに「豊田市」のＣＧ画像を表示することができる。

また、ＡＲマーカ３０の大きさに合わせてＣＧ画像を合成することができるので、看板に近づいたり、看板から離れたり、あるいは看板を見る角度が変わったりした場合でも、同じ位置にＣＧ画像ＡＲ表示することが可能となる。さらには、看板そのものを明瞭なＣＲ画像の看板として表示することもできる。

それでは、本実施形態に係る画像合成装置における動作について説明する。図６は、本発明の実施形態に係る画像合成装置の処理手順を示すフローチャートである。図６に示すように、本実施形態に係る画像合成装置においては、まず、車載装置Ｍのカメラ２によって、車両の外側における現実の映像である現実映像を撮像して取得する（Ｓ１）。

現実映像を取得したら、画像認識部１１において、現実映像中におけるＡＲマーカを認識したか否かを判断する（Ｓ２）。その結果、ＡＲマーカを認識していないと判断した場合には、ＡＲオブジェクトを合成することなく、そのまま撮影した映像をヘッドアップディスプレイ３に映写する（Ｓ８）。

一方、ＡＲマーカを認識したと判断した場合には、認識したＡＲマーカに関するマーカ情報をセンタのサーバＳにおける演算処理装置６に送信し、ＡＲマーカに対応するＡＲオブジェクトを取得する（Ｓ３）。ここで、ＡＲマーカを複数認識した場合には、認識したすべてのＡＲマーカに対するＡＲオブジェクトを取得する。ＡＲオブジェクトを取得する際に、ＡＲオブジェクトにおける優先度を合わせて取得する。

ＡＲオブジェクトを取得したら、取得したＡＲオブジェクトに透明属性が付与されているか否かを判断する（Ｓ４）。その結果、透明属性が付与されていないと判断した場合には、ＡＲ合成部１４は、画像認識部１１から出力された画像におけるＡＲマーカが置かれていた位置にＡＲオブジェクトをそのまま重畳表示する（Ｓ５）。ＡＲオブジェクトを重畳表示する際、ＡＲオブジェクトにおける優先度を参照し、優先度が高いＡＲオブジェクトほど手前側に表示する。

一方、ＡＲオブジェクトに透明属性が付与されていると判断した場合には、現実映像中におけるＡＲマーカが置かれている部分の背景画像をコピーする（Ｓ６）。その後、ＡＲ合成を行う（Ｓ７）。ここでのＡＲ合成では、ＡＲオブジェクトの前景として、コピーした背景画像を重畳表示する。この場合においても、ＡＲオブジェクトを重畳表示する際、ＡＲオブジェクトにおける優先度を参照し、優先度が高いＡＲオブジェクトほど手前側に表示する。

そして、ステップＳ５またはステップＳ７においてＡＲ合成を行ったら、ＡＲ合成画像をヘッドアップディスプレイに表示する（Ｓ８）。こうして、画像合成装置における処理を終了する。

従来のＡＲ合成を用いた技術では、近接する領域にＡＲオブジェクトが混在すると、ＡＲオブジェクト同士が重なって表示されてしまい、ＡＲ合成された映像における一部のＡＲオブジェクトが視認しにくくなることがある。たとえば、現実画像中に、ハンバーガーの広告、速度標識、立ち入り禁止区域を示す標識に関するＡＲマーカが置いてあった場合を想定する。

この場合、従来のＡＲ合成を用いた技術では、図７（ａ）に示すように、映像中に３つのＡＲオブジェクトが表示される。ここでは、速度制限を示す速度標識のＣＧ画像である第１ＡＲオブジェクト５１、ハンバーガーの画像ＣＧ画像である第２ＡＲオブジェクト５２、および関係者以外の立ち入り禁止を示す第３ＡＲオブジェクト５３が表示される。

このとき、各ＡＲオブジェクト５１〜５３は、カメラ２に近い位置にあるＡＲマーカに関するＡＲオブジェクトから順番に前側から表示されるこのため、手前側から順に、第２ＡＲオブジェクト５２、第１ＡＲオブジェクト５１、および第３ＡＲオブジェクト５３が表示される。

ここで、第３ＡＲオブジェクト５３は、立ち入り禁止区域を示す重要な標識であるが、従来の技術では、第１ＡＲオブジェクト５１および第２ＡＲオブジェクト５２がその表面に表示されてしまい、ユーザが第３ＡＲオブジェクト５３を視認しにくい状況となってしまっている。

これに対して、本実施形態に係る画像合成装置では、ＡＲオブジェクトを表示する際に優先度の高いＡＲオブジェクトほど手前側に表示する。第１ＡＲオブジェクト５１は優先度「３」であり、第２ＡＲオブジェクト５２は優先度「５」であり、第３ＡＲオブジェクト５３は優先度「１」である。このため、図７（ｂ）に示すように、手前側から順に第３ＡＲオブジェクト５３、第１ＡＲオブジェクト５１、および第２ＡＲオブジェクト５２が表示される。

さらに、第３ＡＲオブジェクト５３については、透明属性が付与されていることから、第３ＡＲオブジェクト５３を透明表示し、現実映像からＡＲオブジェクトに対応する背景画像をコピーして前景として最前面に表示する。背景画像をコピーして前景として表示するイメージを図８に示す。

図８に示すように、現実映像の表面に第１ＡＲオブジェクト５１および第２ＡＲオブジェクト５２が表示されるが、その表面に、透明表示される第３ＡＲオブジェクトとともに立ち入り禁止区域を示す標識のコピー画像が表示される。このため、ユーザＨは、第１ＡＲオブジェクト５１および第２ＡＲオブジェクト５２よりも前面に表示された第３ＡＲオブジェクト５３として、透明表示された第３ＡＲオブジェクトおよび立ち入り禁止区域を示す標識のコピー画像を視認することができる。したがって、第３ＡＲオブジェクト５３に対応する立ち入り禁止区域の重要な標識を確実に視認することができる。

また、第３ＡＲオブジェクト５３を表示するにあたり、背景画像をコピーして前景として表示している。このため、第３ＡＲオブジェクト５３は透明になっているように見える一方で、第３ＡＲオブジェクト５３に対応する現実映像をコピーして現実映像上に重畳表示する。このため、第３ＡＲオブジェクト５３に対応する現実映像のコピー画像を表示すればよいので、現実画像から第３ＡＲオブジェクト５３に対応する映像を抽出する必要はない。したがって、画像処理を施す際の処理コストの増大を防止しながら、現実の映像に含まれる特定対象物を画像の前景に表示することができる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態では、ＡＲオブジェクトデータの個々の優先度を優先順位マトリクス記憶部２３に記憶する態様としているが、ＡＲマーカに優先度情報を付与しておく態様とすることもできる。

また、上記実施形態では、情報通信センタに演算処理装置６を設けているが、これと同等の装置を車両に設ける態様とすることもできる。この場合には、たとえば自車のみでＡＲオブジェクトデータを取得するほか、車車間通信を利用してＡＲオブジェクトデータを取得する態様とすることもできる。

さらに、上記実施形態においては、優先度に応じてＡＲオブジェクトの表示位置を調整しているが、優先度を設定することなく、透明属性が付与されたＡＲオブジェクトを前景に表示する態様とすることもできる。他方、上記実施形態においては、ＡＲマーカに対して取得されたＡＲオブジェクトに透明属性が付与されている場合には、ＡＲオブジェクトを透明表示し、その前面に現実映像からＡＲオブジェクトに対応する背景画像をコピーして表示するが、ＡＲオブジェクトを透明表示することなく、背景画像のコピーを表示する態様とすることもできる。

１…視界支援ＥＣＵ、２…カメラ、３…ヘッドアップディスプレイ、４…車両側通信装置、５…センタ側通信装置、６…演算処理装置、１１…画像認識部、１２…通信部、１３…ＡＲ判断部、１４…ＡＲ合成部、２２…ＡＲオブジェクトデータ記憶部、２３…優先順位マトリクス記憶部、３０…ＡＲマーカ、３１…標識、３２…画像、５１…第１ＡＲオブジェクト、５２…第２ＡＲオブジェクト、５３…第３ＡＲオブジェクト、Ｈ…ユーザ、Ｍ…車載装置、Ｓ…サーバ。

Claims

現実の映像である現実映像を取得する現実映像取得手段と、
前記現実映像から特定対象物を認識する特定対象物認識手段と、
認識した前記特定対象物を前記現実映像から抽出し、仮想画像に変換する仮想画像変換手段と、
変換した前記変換画像を前記現実映像上に重畳表示する重畳表示手段と、を備え、
前記仮想画像が特定属性を有する特定仮想画像である場合には、前記重畳表示手段は、前記特定仮想画像に対応する現実映像をコピーした特定対象物現実画像を前記現実映像上に重畳表示することを特徴とする画像合成装置。