JP2000050156A

JP2000050156A - 報道支援システム

Info

Publication number: JP2000050156A
Application number: JP10219259A
Authority: JP
Inventors: Takahiro Matsumura; 隆宏松村; Masaji Katagiri; 雅二片桐; Toshiaki Sugimura; 利明杉村; Takeshi Ikeda; 武史池田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1998-08-03
Filing date: 1998-08-03
Publication date: 2000-02-18

Abstract

(57)【要約】【課題】カメラで撮影した各構造物が何であるか、さ
らに各構造物に関するさまざまな情報を瞬時に取り出す
ことが移動体内および地上局で可能な報道支援システム
を提供する。【解決手段】移動体端末１Ａ上のカメラから撮影され
た画像が入力されたときのカメラ位置、カメラ角、焦点
距離、画像サイズをカメラ属性情報取得部１３で取得
し、これらを基にしたＣＧ画像で見えるはずの構造物の
名称を地図情報管理部１４で取得し、取得した画像に構
造物名称を重畳して視覚機器に表示する。取得したカメ
ラ属性情報は地上局センター２Ａへ送られ、それを基に
して同様にして構造物名称を取得し、取得した構造物名
称を画像に重畳してテレビ等に表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はヘリコプター、飛行
機等の輸送手段に搭載された画像撮影装置により撮影さ
れた映像をテレビ等で報道するシステムに関する。

【０００２】

【従来の技術】火事、地震等の天災や爆発、重大事故等
の人災が発生した場合、ＴＶ局、新聞社等の報道機関
は、ヘリコプター、飛行機や車両を現場に急行させて、
現場が見渡せる位置（上空等）からリポーターが被害状
況を説明したり、現場上空からの映像をスタジオに伝送
した後ニュースキャスターが伝送された映像を基に状況
を説明したりしている。

【０００３】

【発明が解決しようとする課題】しかしながら、被害に
あった建物や構造物が何であるかとか、その場所の正確
な地名は何かとか、言う事柄はヘリコプター等の中のリ
ポーターには、正確には解らない。また、ヘリコプター
内に地図を持ち込んだとしても、紙の地図と眼下の映像
を見比べて建物を対応付けるには手間がかかりすぎる
し、不正確でもある。あるいは、視界が悪い状況や夜間
の場合、なおさら対応付けに時間がかかったり、対応付
けがより不正確になったり、そもそもほとんど見えない
かもしれない。このため、リポーター達は不確かな状況
認識のもと、リアルタイムに現場の状況をテレビで生中
継しなければならない。防災関係者や災害地の周辺に住
む人々を含めたテレビの視聴者は即時に正確な状況を把
握したいわけだが、テレビでのリポーター中継では大ま
かな事態はつかめるが、より細かいレベルのことは理解
できない。例えば、画面中央の煙が出ているビルは何ビ
ルか、その住所名は何か、映像で見えている交差点はど
この交差点か、等の事柄はヘリ等に乗っているリポータ
ーには早く正確に説明することができない。もちろん、
煙の出ているビルの住人は誰々か、その住人の電話番号
は何番か、その住人の家族の連絡先の電話番号は何番
か、といった特定の人々にのみ必要な詳細データをリポ
ーターは直ちに知る術はない。一方、地上のテレビ局の
編集室に一旦ヘリコプター等で撮影した映像等を無線伝
送して、地上のテレビ局側で再編集しニュースキャスタ
ーが説明する必要もある。

【０００４】したがって、本発明の目的は、カメラで撮
影した映像中の各構造物が何であるか、さらに各構造物
に関する様々な情報を瞬時に取り出すことが移動体内お
よび地上局で可能な報道支援システムを提供することに
ある。

【０００５】

【課題を解決するための手段】本発明では、コンピュー
タ上の地図データを３次元データとして予め作成してお
き、移動体からカメラで撮影された画像（ＣＧ画像と区
別するために以下景観画像と呼ぶ。）が入力されるとき
のカメラの位置・角度・焦点距離・画像サイズを撮影時
に取得し、コンピュータ３次元地図空間内で映像撮影時
のカメラの位置・角度・焦点距離・画像サイズを基にし
たＣＧ画像で見えるはずの構造物の名称を取得し、取得
した構造物名称を視覚機器で景観画像にまず重畳表示
し、重畳された構造物名称に関する関連情報を視覚機器
に表示させる。その際、同一の視覚機器に構造物名称と
それに関する関連情報を表示してもよいし、別の視覚機
器に分けて表示してもよい。さらに、景観画像と景観画
像撮影時刻でのカメラの位置・角度・焦点距離・画像サ
イズを撮影時刻と共に地上局に送信する。地上局では、
移動体から撮影時刻別の景観画像と撮影時刻でのカメラ
の位置・角度・焦点距離・画像サイズを受信し、それを
基にしてコンピュータ３次元地図空間内でＣＧ画像で見
えるはずの構造物名称を取得し、取得した構造物名称を
視覚機器で景観画像にまず重畳表示し、重畳された構造
物名称に関する関連情報を視覚機器に表示させる。視覚
機器での表示法については移動体での仕方と同様であ
る。

【０００６】ここで、構造物名称の重畳およびその関連
情報の表示は、移動体のみで行ってもよいし、地上局の
みで行ってもよい。このため、移動体では構造物名称の
重畳およびその関連情報の表示を行わずに、地上局セン
ターでのみ構造物名称の重畳およびその関連情報の表示
を行うように構成してもよい。その場合は重畳済み画像
や関連情報を移動体から地上局センターで送信すること
とする。その反対に地上局でのみ構造物名称の重畳およ
びその関連情報の表示を行って移動体では構造物名称の
重畳およびその関連情報の表示を行わないように構成し
てもよい。

【０００７】さらに、移動体または地上局で構造物名称
に関連する通信装置の通信アドレスを記憶しておき、視
覚機器の画面上の位置を利用者に指示されると、指示さ
れた画面位置に対応する構造物名称に関連する通信装置
の通信アドレスを求め、求めた通信アドレスとの通信パ
スを設定するように構成してもよい。

【０００８】さらに、景観画像での構造物とＣＧ画像で
の構造物との対応付けの精度をさらに上げるためには、
景観画像の各部分領域に対して先に獲得した構造物をパ
ターンマッチングにより対応付ける。獲得した構造物を
基にしてＣＧ画像を作成し、景観画像の前記部分領域に
対してパターンマッチングによりＣＧ画像中の部分領域
を対応付け、対応付けられた部分領域の基となった構造
物を求める。

【０００９】ここで、ＣＧ画像の作成法の一例について
述べる。さきに取得したカメラ位置とカメラ角度と焦点
距離と画像サイズを基に３次元地図ＤＢにアクセスし
て、３次元地図空間内での視野空間を求める。視野空間
中の構造物を求め、カメラ画面を投影面として、各構造
物の立体データをこの投影面に３次元投影変換する。さ
らに、各構造物の投影図形を構成する線データのうち、
他の構造物に隠れて見えない線データを法線ベクトル法
等の手法を用いて隠線消去する。隠線消去して残った線
データを基にしてＣＧ画像を領域分割する。３次元地図
ＤＢを利用しているため、各領域毎にその領域の基とな
る構造物の名称を対応付けできる。

【００１０】そうして、パターンマッチングにより景観
画像の各部分領域に対応付けられたＣＧ画像の部分領域
の構造物名称を抽出する。抽出した構造物名称を重畳す
べき実風景画像の位置座標を、３次元地図空間中での構
造物の位置座標を先の投影面に３次元投影変換して求め
る。抽出した構造物名称を重畳すべき実風景画像の位置
座標からラベル情報を作成する。ラベル情報を基に実風
景である景観画像に構造物名称を重畳して、視覚機器に
表示する。

【００１１】すなわち、本発明の第１の報道支援システ
ムは移動体端末と地上局センターからなり、前記移動体
端末は、画像を取得する画像取得手段と、画像取得時の
カメラ位置を取得する位置情報取得手段と、画像取得時
のカメラ角と焦点距離と画像サイズを取得するカメラ属
性情報取得手段と、地図情報を管理し、取得したカメラ
位置とカメラ角と焦点距離と画像サイズをもとに地図情
報空間の中で視野空間を求め、その視野空間中に存在す
る構造物の名称を獲得する第１の地図情報管理手段と、
前記獲得した構造物の名称および／またはその関連情報
および付与位置を含むラベル情報を作成する第１のラベ
ル情報作成手段と、作成されたラベル情報中の位置情報
に対応する前記画像中の位置に構造物名称を重畳し、重
畳された画像を視覚機器に出力し、および／または構造
物名称の関連情報を視覚機器に出力するラベリング情報
出力手段と、前記撮影した画像と画像撮影時刻の前記カ
メラ位置と前記カメラ角と前記焦点距離と画像サイズと
を前記地上局センターへ送信する第１の通信手段と、上
記各手段を制御する移動体端末制御手段を含み、前記地
上局センターは、前記画像と画像撮影時刻の前記カメラ
位置とカメラ角と前記焦点距離と前記画像サイズとを前
記移動体端末から受信する第２の通信手段と、地図情報
を管理し、取得したカメラ位置とカメラ角と焦点距離と
画像サイズをもとに地図情報空間の中で視野空間を求
め、その視野空間中に存在する構造物の名称を獲得する
第２の地図情報管理手段と、前記獲得した構造物名称お
よび／またはその関連情報および付与位置を含むラベル
情報を作成する第２のラベル情報作成手段後、作成され
たラベル情報中の位置情報に対応する前記画像中の位置
に構造物名称および／またはその関連情報を重畳し、重
畳された画像を視覚機器に出力する第２のラベリング情
報出力手段と、上記各手段を制御する地上局センター制
御手段を含む。

【００１２】本発明の第２の報道支援システムは移動体
端末と地上局センターからなり、前記移動体端末は、画
像を取得する画像取得手段と、画像取得時のカメラ位置
を取得する位置情報取得手段と、画像取得時のカメラ角
と焦点距離と画像サイズを取得するカメラ属性情報取得
手段と、前記撮影した画像と画像撮影時刻の前記カメラ
位置と前記カメラ位置とカメラ角と焦点距離と画像サイ
ズと地上局センターへ送信する第１の通信手段と、上記
各手段を制御する移動体端末制御手段を含み、前記地上
局センターは、前記画像と画像撮影時刻の前記カメラ位
置と前記カメラ角と前記焦点距離と前記画像サイズとを
前記動体端末から受信する第２の通信手段と、地図情報
を管理し、取得したカメラ位置とカメラ角と焦点距離と
画像サイズをもとに地図情報空間の中で視野空間を求
め、その視野空間中に存在する構造の名称を獲得する地
図情報管理手段と、前記獲得した構造物名称および／ま
たはその関連情報および付与位置を含むラベル情報を作
成するラベル情報作成手段と、取得したラベル情報中の
位置情報に対応する前記画像中の位置に構造物名称を重
畳し、重畳された画像を視覚機器に出力し、および／ま
たは構造物名称の関連情報を視覚機器に出力するラベリ
ング情報出力手段と、上記各手段を制御する地上局セン
ター制御手段を含む。

【００１３】本発明の第３の報道支援システムは、移動
体端末と地上局センターからなり、前記移動体端末は、
画像を取得する画像取得手段と、画像取得時のカメラ位
置を取得する位置情報取得手段と、画像取得時のカメラ
角と焦点距離と画像サイズを取得するカメラ属性情報取
得手段と、地図情報を管理し、取得したカメラ位置とカ
メラ角と焦点距離と画像サイズをもとに地図情報空間の
中で視野空間を求め、その視野空間中に存在する構造物
の名称を獲得する地図情報管理手段と、前記獲得した構
造物名称および／またはその関連情報および付与位置を
含むラベル情報を作成するラベル情報作成手段と、取得
したラベル情報中の位置情報に対応する前記画像中の位
置に構造物名称を重畳し、重畳された画像を視覚機器に
出力し、および／または構造物名称の関連情報を視覚機
器に出力するラベリング情報出力手段と、構造物名称が
重畳された画像および／または構造物名称の関連情報を
地上局センターへ送信する第１の通信手段と、上記各手
段を制御する移動体端末制御手段を含み、前記地上局セ
ンターは、構造物名称が重畳された画像と構造物名称の
関連情報を前記移動体端末から受信する第２の通信手段
と、上記各手段を制御する地上局センター制御手段を含
む。

【００１４】本発明の実施態様では、前記構造物名称に
関連する通信装置の通信アドレスを記憶する通信アドレ
ス記憶手段と、前記通信アドレスとの通信パスを設定す
る通信処理手段と、前記視覚機器の画面上の位置が利用
者に指示されると、指示された画面位置に対応する前記
構造物名称に関連する前記通信装置の通信アドレスを前
記通信アドレス記憶手段から求め、求めた前記通信アド
レスを前記通信処理手段に渡す画面位置指定手段の組を
前記移動体端末または前記地上局に有する。

【００１５】本発明の他の実施態様によれば、前記ラベ
ル情報作成手段は、獲得した構造物を基にしてコンピュ
ータグラフィックス画像であるＣＧ画像を作成し、前記
画像の前記部分領域に対してパターンマッチングにより
前記ＣＧ画像中の部分領域に対応付け、対応付けられた
部分領域の構造物を求め、その構造物の名称または属性
情報および付与位置を含むラベル情報を作成する。

【００１６】本発明の他の実施態様によれば、前記ラベ
ル情報作成手段は、獲得した構造物をカメラ画面に３次
元投影変換し、視点からみえない構造物を消去してＣＧ
画像を作成し、ＣＧ画像中の部分領域の輪郭線によって
ＣＧ画像を部分領域に分割し、前記画像の前記部分領域
と前記ＣＧ画像の前記部分領域とをパターンマッチング
により対応付け、画像の部分領域に対して対応付けＣＧ
画像の部分領域の基となった構造物を求め、その構造物
の名称または属性情報および付与位置を含むラベル情報
を作成する。

【００１７】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【００１８】図１は本発明の第１の実施形態の報道支援
システムの構成図である。

【００１９】本実施形態の報道支援システムは移動体端
末と地上局センターから構成される。

【００２０】移動体端末１Ａ（例えばヘリコプター）
は、画像を取得する、例えばディジタルカメラである画
像取得部１１と、画像を取得する際のカメラ位置を取得
する、例えばＧＰＳ受信機である位置情報取得部１２
と、画像を取得する際にカメラ角と焦点距離と画像サイ
ズを取得する、例えばディジタルカメラに取り付けられ
た３次元電子コンパスであるカメラ属性情報取得部１３
と、取得した画像を複数の領域に分割する画像処理部１
０と、地図情報を管理し、取得した位置とカメラ角と焦
点距離と画像サイズをもとに地図情報空間の中で視野空
間を求め、その視野空間中に存在する構造物の名称を獲
得する、例えば地図ＤＢ管理プログラムである地図情報
管理部１４と、獲得した構造物の名称またはその関連情
報および付与位置を含むラベル情報を作成するラベル情
報作成部１５と、取得したラベル情報中の位置情報に対
応する画像中の位置に構造物名称を重畳し、重畳された
画像を視覚機器（不図示）に出力するラベル情報出力部
１６と、撮影した画像と、画像撮影時刻の前記カメラ位
置と前記カメラ角と前記焦点距離と前記画像サイズを地
上局センター２Ａへ送信する通信処理部１７と、上記各
部１１〜１７を制御する移動体制御部１８を備えてい
る。

【００２１】地上局センター２Ａは、移動体端末１Ａか
ら、前記画像と画像撮影時刻の前記カメラ位置と前記カ
メラ角と前記焦点距離と前記画像サイズを受信する通信
処理部２１と、取得した画像を複数の領域に分割する画
像処理部２５と、地図情報を管理し、取得したカメラ位
置とカメラ角と焦点距離と画像サイズを基に地図情報空
間の中で視野空間を求め、その視野空間中に存在する構
造物の名称を獲得する地図情報管理部２２と、獲得した
構造物名称またはその関連情報および付与位置を含むラ
ベル情報を作成するラベルの情報作部２３と、作成され
たラベル情報中の位置情報に対応する前記画像中の位置
に構造物の名称またはその関連情報を重畳し、重畳され
た画像を視覚機器（図示せず）に出力するラベル情報出
力部２４と、上記各部２１〜２５を制御する地上局セン
ター制御部２６で構成されている。

【００２２】図３を参照すると、ヘリコプターにＧＰＳ
受信機とジャイロ（３次元コンパス）とカメラが搭載さ
れている。

【００２３】次に、本実施形態の動作を図３の流れ図に
より詳細に説明する。

【００２４】移動体端末１Ａの飛行中、まず制御部１８
が景観画像に関する情報を取得するために、位置情報取
得部１２、カメラ属性情報取得部１３、画像取得部１１
に対して処理開始コマンドを送る。位置情報取得部１２
は、制御部１８から命令を受けてＧＰＳ受信機等により
位置情報を毎秒収集し、制御部１８に渡す（ステップ４
１）。ここで、時間間隔は秒単位に限らずどのようにと
ってもよい。画像取得部１１は、制御部１８から命令を
受けて毎秒の景観画像を取得し、制御部１８に渡す（ス
テップ４１）。カメラ属性情報取得部１３は、制御部１
８の命令を受けて画像撮影時のカメラ等景観画像記録装
置のカメラ角を水平角と仰角の組で取得し（ステップ４
１）、同時にズーム機能を有する景観画像装置であれば
焦点距離を取得する（ステップ４１）。画像サイズは景
観画像装置毎に固定なので、制御部１８が画像サイズ情
報を保持しておく。制御部１８は収集した情報を景観画
像ファイルとして保持する。

【００２５】図４は、景観画像ファイルのデータ構造の
ファイル形式を示す。景観画像ファイルはヘッダ情報と
画像データを持つ。ヘッダ情報としては、位置情報、カ
メラ角情報、焦点距離、時刻情報、画像ファイルの画像
サイズ、タイプおよびサイズを持つ。位置情報として、
東経、北緯、標高の各データ（例えば、東経１３７度５
５分１０秒、北緯３４度３４分３０秒、標高１０１ｍ３
３ｃｍ等）を有する。カメラ角として、水平角と仰角の
各データ（例えば、水平角右回り２５４度、仰角１５度
等）を有する。焦点距離データは、景観撮影時のカメラ
レンズの焦点距離（例えば２８ｍｍ等）である。時刻情
報として、撮影時の時刻（例えば、日本時間１９９７年
１月３１日１５時６分１７秒等）を持つ。画像ファイル
の画像サイズとして、縦横の画素サイズ（例えば、６４
０×４８０等）を持つ。同じくファイルタイプ（ＴＩＦ
Ｅ形式、８ビットカラー等）を持つ。同じくファイルの
バイト数（３０７．２ＫＢ等）を持つ。画像データその
ものを例えばバイナリー形式で持つ。

【００２６】制御部１８は景観画像ファイルを格納する
と、画像処理部１０に対して、景観画像から輪郭線を抽
出し、景観画像を複数の領域に分割するように命令す
る。画像処理部１０では、大まかに言えば景観画像内の
濃度差を基に微分処理を行って輪郭線を抽出し、その輪
郭線を境界としたラベリングを行うことによって領域分
割する。手順としてはまず、画像を白黒濃淡画像に変換
する。輪郭は明るさの急変する部分であるから、微分処
理を行って微分値がしきい値より大きい部分を求めるこ
とで輪郭線の抽出を行う。このとき輪郭線の線幅は１画
素であり、輪郭線は連結しているようにする。そのため
に細線化処理を行って、線幅１画素の連結した線を得
る。ここで微分処理、細線化処理は従来からある手法を
用いれば十分である。

【００２７】得られた輪郭線を領域の輪郭線と考え、輪
郭線により構成される領域に番号をつける操作を行う。
その番号の中で最大の数が領域の数となり、領域中の画
素数がその領域の面積を表す。景観画像を複数の部分領
域に分割した例を図９に示す。なお、領域間の類似度
（近さ）の尺度を導入し、性質が似ている複数の領域を
一つの領域にまとめていくクラスタ化処理を行ってもよ
い。既存方法のどのようなクラスタ化方法によってもよ
い。

【００２８】制御部１８は景観画像の領域分割処理を完
了させると、地図情報管理部１４に対して景観画像ファ
イルのヘッダ情報を渡して視野空間の算出処理を行う処
理要求を出す。地図情報管理部１４の例としては、地図
データベースプログラムがある。地図情報管理部１４は
３次元地図データを管理している。２次元地図データで
もよいが、その場合は高さ情報がないために実風景への
ラベリングの付与位置の精度が劣る。なお、２次元地図
データを基にする場合は、高さ情報を補って処理する。
例えば、家屋の２次元データであるある場合に、家屋が
何階建かを表す階数情報があれば、階数に一定数を掛け
てその家屋の高さを推定し、２次元データと推定して求
めた高さ情報を基に３次元データを作成する。階数情報
がない場合でも、家屋図形の面積に応じて一定数の高さ
を割り振る等して高さ情報を推定することができ、同様
に推定高さ情報を基に３次元データを作成する。こうし
て３次元データを作成して処理を進める。

【００２９】３次元地図データの例を図５に示す。図５
（１）に２次元で表現した地図情報空間を示し、図５
（２）に３次元で表現した地図情報空間を示す。この３
次元地図情報空間に対して、地図情報管理部１４では制
御部１８の命令を受けて景観画像ファイルのヘッダ情報
を基に視野空間を算出する（ステップ４２）。図６に視
野空間の計算例を示す。まず、水平方向をＸＹ平面が張
り、垂直方向がＺ軸が張るものとする。景観画像ファイ
ルのヘッダ情報中の位置情報から、視点Ｅの位置を３次
元地図情報空間の中で設定する。例えば、東経１３７度
５５分１９秒、北緯３４度３４分３０秒、標高１０１ｍ
３３ｃｍであれば、それに対応する地図メッシュ番号中
の対応する座標を設定する。同じくヘッダ情報中のカメ
ラ角情報中の水平角と仰角を基にカメラ角方向を設定す
る。カメラ角方法を表す直線上に視点Ｅから焦点距離分
進んだ点に焦点Ｆをとる。視線方向ベクトルはその直線
上で視点Ｅから出る長さ１の単位ベクトルである。景観
画像ファイルの画像サイズで横方向のサイズからカメラ
画面のＸ軸での幅ｘを設定し、縦方向のサイズからＹ軸
での幅ｙを設定する。横ｘ縦ｙの平面は視線方向ベクト
ルに対してカメラ角方向に垂直で、かつ焦点Ｆを含むよ
うに設定される。視点Ｅの座標からカメラ画面の４隅の
点とを結ぶ直線を各々求め、視点Ｅから延びる４本の半
直線が作る３次元空間を視野空間とする。図７に、３次
元地図空間での視野空間の例を示す。３次元地図空間を
ＸＺ平面から眺めたものである。図７中で斜線で囲まれ
た部分は視野空間に属する空間の、ＸＺ平面での断面図
である。図７の例では、視野空間の中のビルや山が含ま
れている。

【００３０】さらに、地図情報管理部１４では、求めた
視野空間の中に存在する構造物を求める。構造物毎に、
構造物を表す立体を構成する各頂点が、視野空間の内部
領域に存在するか否かを計算する。通常２次元地図空間
は一定サイズの２次元メッシュで区切られている。３次
元地図空間のメッシュの切り方としては、縦横の２次元
方向のメッシュに加えて高さ方向にも一定間隔でメッシ
ュを切っていく。空間を直方体の単位空間で区切ること
になる。まず、直方体の単位空間毎視野空間との重なり
部分の有無を調べ、重なり部分がある３次元単位地図空
間の番号を求める。ここでいう３次元単位地図空間の番
号とは、いわゆるメッシュ番号と同様のものである。重
なりを持つ３次元単位地図空間内にある構造物に対し
て、視野空間と重なり部分の有無を調べる。構造物を構
成する頂点の座標と視点の座標とを結ぶ直線を求め、そ
の直線が図８のカメラ画面に対して交点を持つならば視
野空間内にある。構造物を構成する複数の頂点のうち、
一つの頂点でもこの条件を満たせば、その構造物は視野
空間と重なり部分を持つものとする。

【００３１】構造物が視野空間の内部に含まれるか、ま
たはその一部が含まれる場合、カメラ画面を投影面とし
て、各構造物をこの投影面に３次元投影変換する処理に
入る。ここで、図８に示すように、点Ｐを次式（１）を
基にして視点Ｅを基にした座標系で表現し直した後、点
Ｐをカメラ画面に投影して交点Ｑを求める。

【００３２】

【数１】ここで、点Ｐ＝（ｘ，ｙ，ｚ）：構造物を構成する頂点の座標点Ｅ＝（ｅｘ，ｅｙ，ｅｚ）：視点の座標ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）：視線方向ベクトル
（単位ベクトル）点Ｐ’＝（ｘ’，ｙ’，ｚ’）：点Ｐの視点Ｅを基にし
た座標系で表現した場合の座標ｒ＝（ｌｘ² ＋ｌｙ² ）^1/2 ４点Ｑ＝（ｘ，ｙ）：点Ｐのカメラ画面への投影点ｔは焦点距離３次元投影変換にあたっては、まず各構造物毎にその頂
点が張る面を求める。例えば、直方体で表現される構造
物ならば、６つの面が求まる。各面をカメラ画面に投影
変換する際に、投影領域に含まれるカメラ画面上の各画
素に対し、視点とその面上の対応点との距離を計算して
奥行き値（Ｚ値）としてメモリに格納する。各構造物の
各面毎に、カメラ画面上の各画素に対する奥行き値（Ｚ
値）を計算し、メモリに格納する。なお（式）１中の
ｚ’は視点からの奥行き値（Ｚ値）を表す。

【００３３】カメラ画面に３次元投影変換された構造物
のうちには、視点から見える構造物と見えない構造物が
ある。その中で視点から見える構造物のみを求め、視点
から反対側にある面や他の構造物に遮られている面を求
める必要がある。そこで、隠面処理を行う（ステップ４
３）。隠面処理の方法には、いろいろあるが、例えばＺ
バッファ法を用いる。他のスキャンライン法、光線追跡
法でもよい。

【００３４】カメラ画面上の画素を任意にとって、その
画素に対して最も小さい奥行き値をとる面を求める。こ
のように各構造物の各面について順次処理を続けていく
と、カメラ画面上の各画素毎に視点に最も近い面が残さ
れる。カメラ画面上の各画素毎に視点に最も近い面が決
定され、また視点に最も近い面が共通するカメラ画面上
画素は一般的に領域を構成するので、カメラ画面では、
共通の面を最も近い面とする画素からなる領域が複数で
きる。こうして求まった領域が、視点から見える構造物
の部分領域を３次元投影変換した結果の領域である。視
点から反対側にある面や他の構造物に遮られている面は
消去されている。

【００３５】こうしてできた領域が、ＣＧ画像領域を形
成する。

【００３６】ＣＧ画像領域を構成する２次元図形の頂点
座標に対して、投影変換前の３次元座標を求め、両者の
対応関係をリンク情報としてメモリに格納する。リンク
情報を基にして、その２次元領域がどの構造物の投影図
かということを求めること等に用いる。

【００３７】隠線消去して残った線データを基にして、
ＣＧ画像を領域分割する。３次元地図ＤＢを利用してい
るため、各領域毎にその領域の基となる構造物の名称を
対応付けできる。ＣＧ画像の分割された領域に順番に番
号を付けていく。ＣＧ画像を複数の部分領域に分割した
例を図１０に示す。

【００３８】ＣＧ画像の領域分割処理が完了したら、制
御部１８はラベル情報作成部１５に対して、ＣＧ画像の
分割領域と景観画像の分割領域の対応付けを行うように
命令する。ラベル情報作成部１５では、テンプレートマ
ッチングによりＣＧ画像の分割領域と景観画像の分割領
域の対応付けを行う（図１１参照）。

【００３９】景観画像の分割領域のうち、番号の若い領
域（例えば、１番）から順にＣＧ画像の分割領域と対応
付けしていく。対応付けに当たっては、従来からあるマ
ッチング方法のうちのどれをとってもよいが、ここでは
単純なテンプレートマッチング法をとる。つまり、比較
する２つの領域を重ね合わせ、重なり合う部分の比率
が、しきい値として決めた一定の比率以上にある場合に
同一の構造物に関する領域として対応付けることとす
る。例えば、景観画像の分割領域１番目のＲ１に関し
て、その領域内にある各画素の座標値を（Ａ，Ｂ）とす
る。座標（Ａ，Ｂ）での画素の値は、領域の内部ゆえに
１である。ＣＧ画像の１番目の分割領域Ｓ１において、
座標（Ａ，Ｂ）が領域Ｓ１内ならば画素値１であり重な
るが、Ｓ１の外ならば画素値０であり重ならない。こう
して座標（Ａ，Ｂ）での重なり係数Ｋ（Ａ，Ｂ）とし
て、重なる場合１、重ならない場合０で決まる。座標
（Ａ，Ｂ）を領域Ｒ１内で動かして、重なり係数Ｋ
（Ａ，Ｂ）を求める。そして、領域Ｒ１内で動かした座
標（Ａ，Ｂ）の数Ｎ１に対して、重なり係数Ｋ（Ａ，
Ｂ）が１であった座標の数Ｎ２を求めて、Ｎ１／Ｎ２が
しきい値以上である場合に、景観画像の分割領域Ｒ１と
ＣＧ画像の分割領域Ｓ１が対応するものと決める。この
対応付けを景観画像の分割領域の１番目から最後のもの
まで行う。なお、マッチング方法としてこの他、ＸＹ方
向に多少の位置ずれがあっても同じ値になるような評価
関数を用いてもよい。

【００４０】ラベル情報作成部１５では、景観画像の部
分領域に対してＣＧ画像の部分領域を対応付けた後、さ
らに景観画像の部分領域毎に重畳すべき情報を求め、重
畳すべき位置とともにラベル情報として作成する処理
（ステップ４４）に入る。まず、景観画像の部分領域に
対して、対応するＣＧ画像の部分領域を取り出す。取り
出したＣＧ画像の部分領域はもともと３次元地図空間の
中の３次元構造物のある面をカメラ画面に対して３次元
投影変換して得られたものである。そこで、３次元投影
変換の基となった３次元構造物の面を、ＣＧ画像の部分
領域が持つ奥行き値（Ｚ値）をキーとして求める。先に
３次元投影変換した際に作成しておいたリンク情報をキ
ーにしてもよい。もととなった構造物の面をもとに、３
次元地図ＤＢにアクセスしてその構造物の名称または属
性情報を取得する。ここで属性情報とは、その構造物に
関して付随する情報を意味し、その構造物に係る情報な
らば何でもよい。そして、名称または属性情報を重畳す
べき位置座標を、景観画像の部分領域に対して決める。
決め方は、どのように決めてもよい。例えば、部分領域
を張る図形の重心でもよい。その構造物の名称または属
性情報、および付与位置座標からラベル情報を作成す
る。表１にラベル情報の例を示す。

【００４１】

【表１】ラベル情報作成部１５は、ラベル情報を作成し終った
ら、制御部１８にラベル情報を渡す。

【００４２】制御部１８は、ラベル情報を受け取ると、
ラベル情報出力部１６に対して視覚機器に対してラベル
情報を表示等して出力するように命令する。ここでは視
覚機器は、ディスプレイ、ヘッドマウントディスプレイ
等の映像表示装置を含む。ラベル情報中の構造物の名称
または属性情報を景観画像中の位置に重畳し、重畳され
た景観画像を映像表示装置に出力する（ステップ４
５）。図にラベル情報が重畳された景観画像の例を示
す。

【００４３】ラベル情報出力部１６はラベル情報を出力
すると、出力完了を制御部１８に通知する。制御部１８
は出力完了を受け取ると、通信処理部１７に対して撮影
した画像と画像撮影時刻のカメラ位置とカメラ角と焦点
距離と画像サイズを地上局センター２Ａへ送信するよう
に指示する（ステップ４６）。

【００４４】地上局センター２Ａでは、移動体端末１Ａ
から画像と、画像撮影時刻のカメラ位置とカメラ角と焦
点距離と画像サイズを通信処理部２１で受信すると、移
動体端末１Ａと同様にして、地図情報管理部２２が地図
ＤＢにアクセスして視野空間中の構造物を抽出し（ステ
ップ４７）、隠面処理により見えるはずの構造物を抽出
し（ステップ４８）、ラベル情報作成部２３が、獲得し
た構造物の名称またはその関連情報および付与位置を含
むラベル情報を作成し（ステップ４９）、ラベル情報出
力部２４が、ラベル情報中の位置情報に対応する画像中
の位置に構造物名称またはその関連情報を重畳し、重畳
された画像を視覚機器（図示せず）に表示した後（ステ
ップ５０）、放送する（ステップ５１）。

【００４５】図１３は本発明の第２の実施形態の報道支
援システムの構成図である。

【００４６】本実施形態では、移動体端末１Ｂは図１に
示した移動体端末１Ａから地図情報管理部１４とラベル
情報作成部１５とラベル情報出力部１６と画像処理部１
０を除いた構成となっており、地上局センター２Ａは図
１に示した地上局センター２Ａと全く同じ構成である。

【００４７】図１４は本実施形態の処理を示す流れ図で
ある。これは図３のフローチャートからステップ４２〜
４５を除いたものである。

【００４８】図１５は本発明の第３の実施形態の報道支
援システムの構成図である。

【００４９】本実施形態では、移動体端末１Ａは図１に
示した移動体端末１Ａと同じ構成であり、地上局センタ
ー２Ｂは図１に示した地上局センター２Ａから地図情報
管理部２２とラベル情報作成部２３とラベル情報出力部
２４と画像処理部２５を除いた構成となっている。

【００５０】図１６は本実施形態の動作を示すフローチ
ャートである。これは図１に示したフローチャートとス
テップ４５まで同じで、その後移動体端末１Ａは、構造
物名称が重畳された画像、関連情報を地上局センター２
Ｂへ送信し（ステップ５２）、地上局センター２Ｂはこ
れを通信処理部２１で受信し、受信した画像、関連情報
を放送する（ステップ５３）。

【００５１】図１７は本発明の第４の実施形態の報道支
援システムの構成図である。

【００５２】本実施形態では、移動体端末１Ｃは図１の
移動体端末１Ａに、構造物名称に関連する通信アドレス
を記憶する通信アドレス記憶部１９と、視覚機器上の画
面上の位置が利用者に指示されると、指示された画面位
置に対応する構造物名称に関連する通信装置の通信アド
レスを通信アドレス記憶部１９から求め、求めた通信ア
ドレスを通信処理部１７に渡す画面位置指定部２０が付
加され、地上局センター２Ａは図１の地上局センター１
Ａと同じ構成である。

【００５３】本実施形態によれば、利用者は希望する構
造物にいる人と互いに通信することができる。

【００５４】なお、通信アドレス記憶部１９と画面位置
指定部２０は地上局センター２Ａに設けても、移動体端
末１Ｃと２Ａの両方に設けてもよい。

【００５５】また、画図処理部１０、２５はなくてもよ
い。

【００５６】

【発明の効果】請求項１に記載の発明によれば、災害時
等テレビで生中継している映像中の建物が具体的に何と
いう建物であるか、例えば画面中央の煙が出ているビル
は何ビルかとか、いうことがヘリコプター等の移動体に
いるリポーターが理解できたり、地上にあるテレビ局等
のニュースキャスターが瞬時にしかも正確に理解でき
る。このためリポーターやニュースキャスターは、構造
物名称が重畳された映像を見て現場の状況を実況生中継
したり、重畳された構造物名称に関する関連情報を読ん
で構造物に関するより詳細な情報（例えば、煙が出てい
るビルの住人は誰々か、その建物の正確な住所は何か等
々）を述べたりできる。テレビ等の視聴者の側も、構造
物名称が重畳された映像や、重畳された構造物名称に関
する関連情報を知ることができる。このため、災害等一
刻の時間を争う対応が必要な場合に、報道番組で瞬時か
つ正確な情報を関係者が知ることが可能なため、事後で
はあるが最善の災害対策をとるのに役立つ。

【００５７】請求項２または３に記載の発明によって
も、請求項１に記載の発明と同様の効果が得られる。請
求項１と違うのは、構造物名称の重畳等が可能な場所が
移動体か地上局の一方に限られるということである。

【００５８】請求項４の発明によれば、さらにリポータ
ーやニュースキャスターは、重畳された映像中の構造物
名称をマウスクリック等するだけでその建物の住人と通
信することができるので、インタビューを行ったりもで
きる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の報道支援システムの
構成図である。

【図２】図１の報道支援システムの概略図である。

【図３】第１の実施形態の報道支援システムの処理の流
れ図である。

【図４】景観画像ファイルのデータ構造図である。

【図５】２次元地図の例（同図Ａ））とその３次元地図
（同図（Ｂ））を示す図である。

【図６】視野空間の計算方法を示す図である。

【図７】３次元地図空間での視野空間の例を示す図であ
る。

【図８】投影図の例を示す図である。

【図９】景観画像の領域分割例を示す図である。

【図１０】ＣＧ画像の領域分割例を示す図である。

【図１１】景観画像の部分領域とＣＧ画像の部分領域の
パターンエッチングの説明図である。

【図１２】景観画像へのラベル情報の重畳の例を示す図
である。

【図１３】本発明の第２の実施形態の報道支援システム
の構成図である。

【図１４】第２の実施形態の報道支援システムの処理の
流れ図である。

【図１５】本発明の第３の実施形態の報道支援システム
の構成図である。

【図１６】第３の実施形態の報道支援システムの処理を
示す流れ図である。

【図１７】本発明の第４の実施形態の支援システムの処
理を示す構成図である。

【符号の説明】

１Ａ，１Ｂ，１Ｃ移動体端末２Ａ，２Ｂ地上局センター１０，２５画像処理部１１画像取得部１２位置情報取得部１３カメラ属性情報取得部１４地図情報管理部１５，２３ラベル情報作成部１６，２４ラベル情報出力部１７，２１通信処理部１８移動体制御部２２地図情報管理部２６地上局センター制御部４１〜５３ステップ

フロントページの続き (72)発明者杉村利明東京都新宿区西新宿三丁目19番２号日本電信電話株式会社内 (72)発明者池田武史東京都新宿区西新宿三丁目19番２号日本電信電話株式会社内Ｆターム(参考） 5B057 AA13 CE08 CH14 DA07 DA08 DB03 DC14 DC33 5C022 AB62 CA02 CA08 5C023 AA18 AA26 AA37 AA38 BA03 BA11 CA01 CA05

Claims

【特許請求の範囲】

【請求項１】移動体端末と地上局センターからなる報
道支援システムであって、前記移動体端末は、画像を取得する画像取得手段と、画
像取得時のカメラ位置を取得する位置情報取得手段と、
画像取得時のカメラ角と焦点距離と画像サイズを取得す
るカメラ属性情報取得手段と、地図情報を管理し、取得
したカメラ位置とカメラ角と焦点距離と画像サイズをも
とに地図情報空間の中で視野空間を求め、その視野空間
中に存在する構造物の名称を獲得する第１の地図情報管
理手段と、前記獲得した構造物の名称および／またはそ
の関連情報および付与位置を含むラベル情報を作成する
第１のラベル情報作成手段と、作成されたラベル情報中
の位置情報に対応する前記画像中の位置に構造物名称を
重畳し、重畳された画像を視覚機器に出力し、および／
または構造物名称の関連情報を視覚機器に出力するラベ
リング情報出力手段と、前記撮影した画像と画像撮影時
刻の前記カメラ位置と前記カメラ角と前記焦点距離と画
像サイズとを前記地上局センターへ送信する第１の通信
手段と、上記各手段を制御する移動体端末制御手段を含
み、前記地上局センターは、前記画像と画像撮影時刻の前記
カメラ位置とカメラ角と前記焦点距離と前記画像サイズ
とを前記移動体端末から受信する第２の通信手段と、地
図情報を管理し、取得したカメラ位置とカメラ角と焦点
距離と画像サイズをもとに地図情報空間の中で視野空間
を求め、その視野空間中に存在する構造物の名称を獲得
する第２の地図情報管理手段と、前記獲得した構造物名
称および／またはその関連情報および付与位置を含むラ
ベル情報を作成する第２のラベル情報作成手段後、作成
されたラベル情報中の位置情報に対応する前記画像中の
位置に構造物名称および／またはその関連情報を重畳
し、重畳された画像を視覚機器に出力する第２のラベリ
ング情報出力手段と、上記各手段を制御する地上局セン
ター制御手段を含む報道支援システム。
【請求項２】移動体端末と地上局センターからなる報
道支援システムであって、前記移動体端末は、画像を取得する画像取得手段と、画
像取得時のカメラ位置を取得する位置情報取得手段と、
画像取得時のカメラ角と焦点距離と画像サイズを取得す
るカメラ属性情報取得手段と、前記撮影した画像と画像
撮影時刻の前記カメラ位置とカメラ角と焦点距離と画像
サイズと地上局センターへ送信する第１の通信手段と、
上記各手段を制御する移動体端末制御手段を含み、前記地上局センターは、前記画像と画像撮影時刻の前記
カメラ位置と前記カメラ位置と前記カメラ角と前記焦点
距離と前記画像サイズとを前記動体端末から受信する第
２の通信手段と、地図情報を管理し、取得したカメラ位
置とカメラ角と焦点距離と画像サイズをもとに地図情報
空間の中で視野空間を求め、その視野空間中に存在する
構造の名称を獲得する地図情報管理手段と、前記獲得し
た構造物名称および／またはその関連情報および付与位
置を含むラベル情報を作成するラベル情報作成手段と、
取得したラベル情報中の位置情報に対応する前記画像中
の位置に構造物名称を重畳し、重畳された画像を視覚機
器に出力し、および／または構造物名称の関連情報を視
覚機器に出力するラベリング情報出力手段と、上記各手
段を制御する地上局センター制御手段を含む報道支援シ
ステム。
【請求項３】移動体端末と地上局センターからなる報
道支援システムであって、前記移動体端末は、画像を取得する画像取得手段と、画
像取得時のカメラ位置を取得する位置情報取得手段と、
画像取得時のカメラ角と焦点距離と画像サイズを取得す
るカメラ属性情報取得手段と、地図情報を管理し、取得
したカメラ位置とカメラ角と焦点距離と画像サイズをも
とに地図情報空間の中で視野空間を求め、その視野空間
中に存在する構造物の名称を獲得する地図情報管理手段
と、前記獲得した構造物名称および／またはその関連情
報および付与位置を含むラベル情報を作成するラベル情
報作成手段と、取得したラベル情報中の位置情報に対応
する前記画像中の位置に構造物名称を重畳し、重畳され
た画像を視覚機器に出力し、および／または構造物名称
の関連情報を視覚機器に出力するラベリング情報出力手
段と、構造物名称が重畳された画像および／または構造
物名称の関連情報を地上局センターへ送信する第１の通
信手段と、上記各手段を制御する移動体端末制御手段を
含み、前記地上局センターは、構造物名称が重畳された画像と
構造物名称の関連情報を前記移動体端末から受信する第
２の通信手段と、上記各手段を制御する地上局センター
制御手段を含む報道支援システム。
【請求項４】前記構造物名称に関連する通信装置の通
信アドレスを記憶する通信アドレス記憶手段と、前記通
信アドレスとの通信パスを設定する通信処理手段と、前
記視覚機器の画面上の位置が利用者に指示されると、指
示された画面位置に対応する前記構造物名称に関連する
前記通信装置の通信アドレスを前記通信アドレス記憶手
段から求め、求めた前記通信アドレスを前記通信処理手
段に渡す画面位置指定手段の組を前記移動体端末または
前記地上局に有する請求項１から３のいずれか１項に記
載の報道支援システム。
【請求項５】前記ラベル情報作成手段は、獲得した構
造物を基にしてコンピュータグラフィックス画像である
ＣＧ画像を作成し、前記画像の前記部分領域に対してパ
ターンマッチングにより前記ＣＧ画像中の部分領域に対
応付け、対応付けられた部分領域の構造物を求め、その
構造物の名称または属性情報および付与位置を含むラベ
ル情報を作成する、請求項１から４のいずれか１項記載
のシステム。
【請求項６】前記ラベル情報作成手段は、獲得した構
造物をカメラ画面に３次元投影変換し、視点からみえな
い構造物を消去してＣＧ画像を作成し、ＣＧ画像中の部
分領域の輪郭線によってＣＧ画像を部分領域に分割し、
前記画像の前記部分領域と前記ＣＧ画像の前記部分領域
とをパターンマッチングにより対応付け、画像の部分領
域に対して対応付けＣＧ画像の部分領域の基となった構
造物を求め、その構造物の名称または属性情報および付
与位置を含むラベル情報を作成する、請求項１から４の
いずれか１項記載のシステム。