JP2000253393A

JP2000253393A - 画像認識表示システム

Info

Publication number: JP2000253393A
Application number: JP11376948A
Authority: JP
Inventors: Eiji Kawamura; 英二川村
Original assignee: Individual
Current assignee: Individual
Priority date: 1998-12-28
Filing date: 1999-12-24
Publication date: 2000-09-14

Abstract

(57)【要約】【目的】カメラで対象物を撮像しその画像を表示する
場合対象物の位置情報を明確に表示画像に表すシステ
ム。対象が複数の場合【構成】対象物を撮像すると同時に対象物の位置を測
定しその結果を表示画面の対象物に付加するかあるいは
対象物の画像を加工して位置情報を盛り込んだ画像とす
るシステム。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はスポーツ中継などにおけ
る画像の位置認識を含んだ撮像およびその撮像内容の画
像表示システムに関する。

【０００２】

【従来の技術】テレビ放送などのスポーツ中継、特にマ
ラソンなどの中継においては長い焦点ののカメラ（望遠
系）で撮影した場合に対象が複数有る場合表示される画
像において複数の対象物の位置関係が不明確となってい
た。マラソンだけではなく車のレースの中継、競馬中継
などでも同様に位置関係が不明確な表示であった。

【０００３】

【発明が解決しようとする課題】上述のように長い焦点
のカメラで撮影した場合対象物の位置を表示画像に盛り
込むことができれば非常に便利なことである。また画像
を表示するだけではなく対象物の画像を判別し特定しそ
の対象物の各種データを自動的に表示することも有用で
ある。

【０００４】対象物が複数有る場合にはそれぞれの位置
を計測しその結果を表示画像に見る人にわかるように位
置関係を示すことができれば非常に面白い画像ができ
る。また、それが動画の場合、そのスピード、加速度等
を計算して表示することも望まれていた。

【０００５】

【課題を解決するための手段】本発明者は上述の課題を
解決するために以下のようなシステムとした。すなわち
１以上の対象物をカメラで撮像し前記画像を表示するシ
ステムにおいて、１）撮像手段、２）対象物の位置情報を取得する３次元位置測定手段、３）前記対象物の画像と前記位置情報を同時表示する画
面あるいは前記位置情報に基づいて該画像を加工処理し
て画面を生成する画面生成手段、以上を構成要素として
含む構成とした。

【０００６】１以上の対象物をカメラで撮像し、その画
像を表示するシステムにおいて前記複数の対象物にはそ
れぞれ識別子を設けるとともに前記各対象物の情報を格
納してあるデータベースを有し前記識別子を判別し前述
の対象物を特定し前述のデータベースを参照して各対象
物の個別情報を引き出し前記個別情報を画像に表示すれ
ばよい。

【０００７】また上述の２つを組み合わせる方法すなわ
ち複数の対象物をカメラで撮像し前記画像を表示するシ
ステムにおいて、１）撮像手段、２）対象物の位置情報を取得する３次元位置測定手段、３）前記対象物にはそれぞれ識別子を設け該識別子を判
別し、前記画像における前記対象物を特定する対象物特
定手段、４）前記各対象物の情報を格納してあるデータベースを
有し、該データベースを参照して各対象物の個別情報を
引き出す個別情報取得手段、５）前記位置情報、前記対象物特定の結果から複数の対
象物の位置関係情報を取得する位置関係取得手段、６）前記個別情報、位置関係情報から選ばれた少なくと
も１つの情報を前記対象物の画像と同時表示する画面あ
るいは該情報に基づいて該画像を加工処理して画面を生
成する画面生成手段、以上を構成要素として含む構成とする。

【０００８】前述の位置関係は、マラソンのような順位
を競う競技の画像なら、順序となる。また、前述の画像
の位置測定手段は撮像している所定のタイミングあるい
は随時行ってもよい。また前述の撮像は静止画あるいは
動画であり動画の場合前述の位置測定手段からスピード
情報、加速度情報及び動きの軌跡情報から選ばれた少な
くとも１つの情報を演算し結果を前記画像に追加表示す
るかあるいはその結果に基づいて対象物画像を加工した
情報に付加してもよい。速度情報、加速度情報動きの軌
跡情報を原画像に単独で付加してもよい。

【０００９】前述の距離測定手段はステレオカメラ方
式、レーザー方式、音波方式、電波方式から選ばれた少
なくとも１つの３次元位置測定手段であればよい。ステ
レオカメラ方式の場合カメラは複数あるので、撮像がズ
ーム機能を使用する場合はステレオカメラを構成する各
カメラのズーム倍率を合わせればよい。また、前記位置
測定手段がステレオカメラ方式の場合において、該ステ
レオカメラを構成する複数カメラの少なくとも１つが前
記撮像手段を兼ねることも有用である。

【００１０】また前述の対象物は人、生物、移動物体か
ら選ばれた少なくとも１つであり、そしてこのシステム
はスポーツの中継である。

【００１１】前述の対象物画像の加工において、撮像が
ズームを行っている場合、画像の加工結果をズーム倍率
に合わせる処理を行うとテレビ放送などの場合視聴者に
違和感のない画面を生成することができる。

【００１２】前述の位置情報は現画像の対象物の一部あ
るいは近傍に位置情報をテキストデータで付加表示して
もよい。また前述のシステムが動画に対応している場合
スピード情報、加速度情報及び動きの軌跡情報から選ば
れた少なくとも１つの情報は現画像の対象物の一部ある
いは近傍に前記情報をテキストデータ、グラフ画像デー
タ、色画像データに加工したデータから選ばれた少なく
とも１つの画像で付加表示すればよい。

【００１３】前述の位置情報に基づいて、各対象物の位
置を鳥瞰図データに変換し変換したデータを元に鳥瞰図
画像を作成し画面表示してもよい。また前述の対象物を
位置情報に基づいて背景分離を行い切り出し位置関係に
よって表示しても更に効果的である。そして前述の対象
物を前述のデータベースより取り出した各対象物の情報
と前記順序をともに表示してもよい。

【００１４】前述の同定した順序をもとに順序表を前記
画像に付加してもよい。あるいは前述の同定した順序を
もとに順序表を位置情報とともに前記画像に付加しても
よい。前述の同定した順序をもとに順序表と前記演算し
たスピード情報及び加速度情報から選ばれた少なくとも
１つの情報を位置情報とともに前記画像に付加してもよ
い。

【００１５】前述のそれぞれの対象物の位置関係を色の
変化で表示してもよく、また対象物の順序関係を色の変
化で表示してもよい。あるいは対象物の位置関係から対
象物および背景をＣＧで描いても効果的である。対象物
の位置関係および順序から対象物および背景をＣＧで描
くことでもよい。

【００１６】例えば複数の対象物の位置関係が変化した
場合それぞれの対象物の位置関係から自動的にシーンチ
ェンジを行ってもよい。同様に対象物の順序関係の変化
を監視しその結果から自動的にシーンチェンジを行って
もよい。また対象物の位置関係および順序の両者を監視
してその結果から自動的にシーンチェンジを行ってもよ
い。

【００１７】複数の対象物が１台のカメラの視野に収ま
らない場合、異なる場所にカメラを配置して、該カメラ
の位置情報および該カメラが取得した該対象物の位置情
報を演算して、前記複数の対象物全体の位置関係情報を
生成し表示するとテレビの視聴者などには効果的であ
る。

【００１８】このカメラの位置情報はＧＰＳ（Ｇｒｏｂ
ａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）により
取得すれがよい。そして、カメラは車両、船舶、航空機
から選ばれた少なくとも１つである輸送手段に搭載され
ていると尚よい。

【作用】前述のようなシステムであれば撮像の対象物の
位置を測定しこの結果を表示画像に示すことが可能とな
るので長焦点のカメラで撮影した画像でも位置関係が不
明確となることなく視聴者に正確な位置関係を示した画
像の提供が可能となる。

【００１９】

【実施例】以下実際の例に基づいて更に詳しく説明して
いく。図１に本発明の実施例の概要を示しておりマラソ
ンの実況中継を模式的に表したものである。図１の１１
はカメラであり（ａ）はＡ、Ｂ、Ｃの各ランナーのカメ
ラでの視野内での様子を示している。（ｂ）はカメラと
それぞれのＡ、Ｂ、Ｃの各ランナーの位置関係を示し
た。（ｃ）は実際の表示画面を模式的に示しており、ラ
ンナーＡは順序（順位）が１位、ランナーＢは順序（順
位）が２位で１位の、ランナーＡからの距離が２ｍ、ラ
ンナーＣは順序（順位）が３位で２位の、ランナーＡか
らの距離が５ｍということを示している表示画面であ
る。

【００２０】次に距離測定について図２に基づいて説明
する。（ａ）はステレオカメラによる距離測定の様子を
表しており２１はＣＣＤカメラアレーでここでは５眼カ
メラを使っている。２２はこのＣＣＤカメラアレーの側
面であり２３は対象物（マラソンランナー）を示してい
る。（ｂ）はステレオカメラによる距離測定の原理を表
している。すなわち２４のＣＣＤカメラ、２５のＣＣＤ
カメラそして対象物２３の３点からなる三角形を使用し
た三角測量の原理を使えばよい。ＣＣＤカメラアレーの
うち２つのカメラのカメラ間の距離は既知であるからカ
メラアレーから対象物２３までの距離を求めることが可
能となる。

【００２１】次にここで求めた距離情報を使い表示画像
に示せばよい。ここでは図１（ｂ）に示すようなＣＣＤ
カメラアレーとランナーＡ、ランナーＢ、ランナーＣの
関係がある。前述の距離測定法によりＣＣＤカメラアレ
ーとランナーＡの距離は１０ｍであり、ＣＣＤカメラア
レーとランナーＢの距離は１２ｍそしてＣＣＤカメラア
レーとランナーＣの距離は１５ｍと求められる。ここで
はランナーＡを基準としてランナーＢ（ランナーＡから
の距離）、ランナーＣ（ランナーＢからの距離）の位置
情報を示している。そしてランナーＡが１位でありラン
ナーＢは２位でランナーＡからの距離は２ｍ、ランナー
Ｃは３位でありランナーＡからの距離は５ｍである。こ
の様子を図１の（ｃ）に示した。

【００２２】本実施例においては距離測定はステレオカ
メラによる方法をとったがこれに限られるものではな
い。対象物の距離を測定できれば他の方法すなわちステ
レオカメラ方式だけでなく音波方式、レーザー方式、電
波方式等でもかまわない。また本実施例では距離測定は
マラソン中継であるので随時行っているが所定のタイミ
ングの時のみ測定してもよく、当然静止画でも同様の事
が可能となる。そして動画である場合にはそれぞれの時
間の距離測定の結果からそれぞれの対象物（本実施例で
はマラソンランナー）の各時間の位置がわかりそれぞれ
の時間間の比較をすることにより速度情報、加速度情
報、動きの軌跡も求めることが可能となる。この速度情
報、加速度情報、動きの軌跡を表示画像に追加してもよ
い。特に競馬、ドッグレースそして自動車レースなどの
場合には効果的である。

【００２３】次に図３を元にデータベースとの連携につ
いて説明する。ここで図３の１はカメラであり３２は処
理システムであり３３はデータベースである。データベ
ースには各個別のランナーの各種データを格納してお
く。まず３１のカメラで画像を取りこみ識別子を分離す
る。本実施例ではマラソンランナーのゼッケンを使用し
た。次に前述の分離した識別子をデータベースを参照し
てランナーを特定する。そのランナーの個別情報を前述
のデータベースより取り出し画面に表示する。

【００２４】図４にその様子を示した。すなわち撮像し
た画像に順位と各ランナーの個別の情報を示した表を付
加する。ここではデータベースに格納してあった各ラン
ナーの所属、過去の最高タイムを順位とともに表示し
た。

【００２５】本実施例はマラソンの例であるが、駅伝な
どのように繰り上げスタートがある場合にはこのシステ
ムが非常に効果的である。すなわち前述のような繰上げ
スタートのデータをデータベースに格納しておき前述と
同様に識別子でチームを特定することによりチームとし
ての順序（順位）を抽出することができこれを画像に表
示すればよい。

【００２６】図５を元に対象物の切り出し方を説明す
る。５１はカメラであり前述の方法で求めたカメラから
の距離を使う。ここではランナーＢの切り出しを行う。
カメラ４１での撮像はｂ１の距離からｂ２の距離のみの
画像を取り出せば対象物の画像（ランナーＢ）のみを切
り出せる。ランナーＢのカメラからの距離は１２ｍであ
るのでｂ１を１１．８０ｍ、ｂ２を１２．２０ｍとして
切り出す。

【００２７】このそれぞれ切り出した対象物をそれぞれ
の位置関係により例えば鳥瞰図などの形にして画像表示
すればよい。図６に前述の位置関係より真上から見た鳥
瞰図を作成した様子を示した。ここのそれぞれランナー
Ａ、ランナーＢ、ランナーＣの位置に前述のように切り
出した画像を貼り付ければよい。

【００２８】また位置関係によって色の変化をつけても
よい。図７にその場合の例を示した。これは順序（順
位）の高い対象物から濃い色を割り当てたものである。
これは位置関係すなわち基準の点からの距離によって割
り当ててもよいしあるいはスピード情報、加速度情報に
よって割り当ててもよい。

【００２９】次にＧＰＳを利用しランナーの位置をコー
ス全体のどの部分かを把握する方法について説明する。
その様子は図８に示した。ここで８１は衛星であり８
２、８４、８７はＣＣＤカメラアレーを搭載した中継車
である。８３、８５、８６８８、８９はランナーであ
る。８２の中継車はランナー８３の位置をステレオカメ
ラで計測し検出する。そしてＧＰＳで車の位置を検出し
車の位置からランナーの位置を演算する。

【００３０】同様にランナー８５、８６の位置は８４の
中継車により計測され、ＧＰＳで検出した中継車情報と
演算を行いランナーの位置を出す。ランナー８８、８９
の位置は８７の中継車により計測され、ＧＰＳで検出し
た中継車情報と演算を行いランナーの位置を出す。次に
それぞれのランナーの位置情報からコース全体を示す画
面の所定部にランナーを表示すればよい。その様子を図
９に示した。

【００３１】撮像対象物にたいしてズームを使用する必
要がある。こういった場合には撮像カメラのズーム倍率
とステレオカメラシステムの各カメラのズーム倍率を連
動させてあわせればよい。

【００３２】前述の位置関係の情報を使いＣＧによる３
Ｄ画像を作成しても効果的である。この場合先ほど切り
出した対象物の画像を加工して付加してもよい。また順
位が変わった場合などに例えば抜いた人の顔のクローズ
アップなどを自動的に画面に表示するようなシーンチェ
ンジもまた効果的である。これは位置関係、順序（順
位）、速度、加速度、動きの軌跡の各情報に基づいて自
動的にシーンチェンジを行うようにすればより面白い動
画像が可能となる。

【００３３】また、予めカメラの位置情報をデータ化し
ておくことで、ランナーが広い範囲に散らばり、対象物
が１台のカメラの視野に収まらない場合、異なる場所に
カメラを配置して、該カメラの位置情報および該カメラ
が取得した該対象物の位置情報を演算してランナー全体
を配置した鳥瞰図を作成することが可能となる。

【００３４】また、カメラは固定とは限らない。車両に
設置し、ランナーを追尾撮影させてもよい。この場合、
カメラの位置情報はＧＰＳ（ＧｒｏｂａｌＰｏｓｉｔ
ｉｏｎｉｎｇＳｙｓｔｅｍ）により取得する。

【００３５】

【発明の効果】以上説明したように本発明によればスポ
ーツ中継などで長焦点（望遠系）のカメラで撮像する場
合特に対象が複数有るときにはそれぞれの対象の位置関
係が不明確であったが各対象物の位置情報を画像に盛り
込むことができるため見る人がそれぞれの対象物の位置
関係を明確に把握することが可能となる。またデータベ
ースと連携することにより各対象物の個別情報も画像に
加えられ、駅伝などの現在の順位だけでは総合順位がわ
からない場合でも明確な順位が画面に表示でき見る人に
適切な情報を提供することが可能となる。

【図面の簡単な説明】

【図１】実施例の概要

【図２】ステレオカメラによる距離測定

【図３】データベースとの連携

【図４】順位および個別情報の表

【図５】対象物切り出し方法

【図６】鳥瞰図（真上から見た図）

【図７】色の濃さによる画像表示の例

【図８】ＧＰＳによる各車の位置取得

【図９】ランナーのコース全体における位置を示す画像

【符号の説明】

１１、２１、２４、２５ステレオカメラシステム８１衛星８２、８４、８７中継車

Claims

【特許請求の範囲】

【請求項１】１以上の対象物をカメラで撮像し画像を表
示するシステムにおいて、１）撮像手段、２）対象物の位置情報を取得する３次元位置測定手段、３）前記対象物の画像と前記位置情報を同時表示する画
面あるいは前記位置情報に基づいて該画像を加工処理し
て画面を生成する画面生成手段、以上を構成要素として
含むことを特徴とする画像認識表示システム。
【請求項２】１以上の対象物をカメラで撮像し画像を表
示するシステムにおいて、前記複数の対象物にはそれぞ
れ識別子を設けるとともに前記各対象物の情報を格納し
てあるデータベースを有し前記識別子を判別する判別手
段を有し前記判別手段により前記対象物を特定し前記デ
ータベースを参照して各対象物の個別情報を引き出し前
記個別情報を画像に表示することを特徴とする画像認識
表示システム。
【請求項３】複数の対象物をカメラで撮像し画像を表示
するシステムにおいて、１）撮像手段、２）対象物の位置情報を取得する３次元位置測定手段、３）前記対象物にはそれぞれ識別子を設け該識別子を判
別し、前記画像における前記対象物を特定する対象物特
定手段、４）前記各対象物の情報を格納してあるデータベースを
有し、該データベースを参照して各対象物の個別情報を
引き出す個別情報取得手段、５）前記位置情報、前記対象物特定の結果から複数の対
象物の位置関係情報を取得する位置関係取得手段、６）前記個別情報、位置関係情報から選ばれた少なくと
も１つの情報を前記対象物の画像と同時表示する画面あ
るいは該情報に基づいて該画像を加工処理して画面を生
成する画面生成手段、以上を構成要素として含むことを
特徴とする画像認識表示システム。
【請求項４】前記位置関係情報は複数対象物間の順序で
あることを特徴とする特許請求範囲第３項記載の画像認
識表示システム。
【請求項５】前記対象物の位置測定は画像を撮像してい
る所定のタイミングあるいは随時行うことを特徴とする
特許請求範囲第１項あるいは第３項記載の画像認識表示
システム。
【請求項６】前記３次元位置情報から速度情報、加速度
情報及び動きの軌跡情報から選ばれた少なくとも１つの
情報を演算し結果を前記画像に追加表示する画面あるい
は該演算結果に基づいて対象物画像を加工した画面を生
成することを特徴とする特許請求範囲第１項あるいは第
３項記載の画像認識表示システム。
【請求項７】前記３次元位置測定手段はステレオカメラ
方式、レーザー方式、音波方式、電波方式から選ばれた
少なくとも１つの３次元測定手段であることを特徴とす
る特許請求範囲第１項あるいは第３項記載の画像認識表
示システム。
【請求項８】前記３次元位置測定手段がステレオカメラ
方式の場合において、前記対象物に対してズーム撮像を
行う場合該ステレオカメラの各カメラのズーム倍率を合
わせる機能を有することを特徴とする特許請求範囲第７
項記載の画像認識表示システム。
【請求項９】前記３次元位置測定手段がステレオカメラ
方式の場合において、該ステレオカメラを構成する複数
カメラの少なくとも１つが前記撮像手段を兼ねることを
特徴とする特許請求範囲第７項記載の画像認識表示シス
テム。
【請求項１０】前記対象物画像の加工において、該撮像
がズームを行っている場合、該加工結果をズームによる
ズーム倍率の変化に合わせる処理を行うことを特徴とす
る特許請求範囲第１項あるいは３項記載の画像認識表示
システム。
【請求項１１】前記対象物は人、生物、移動物体、から
選ばれた少なくとも１つであることを特徴とする特許請
求範囲第１項ないし第３項記載の画像認識表示システ
ム。
【請求項１２】前記システムはスポーツの中継であるこ
とを特徴とする特許請求範囲第１項ないし第３項記載の
画像認識表示システム。
【請求項１３】前記位置情報は原画像の一部あるいは近
傍に位置情報をテキストデータで付加表示したことを特
徴とする特許請求範囲第１項あるいは第３項記載の画像
認識表示システム。
【請求項１４】前記速度情報、加速度情報及び動きの軌
跡情報から選ばれた少なくとも１つの情報は画像の一部
あるいは近傍に前記情報をテキストデータ、グラフ画像
データ、色画像データに加工したデータから選ばれた少
なくとも１つの画像で付加表示したことを特徴とする特
許請求範囲第５項記載の画像認識表示システム。
【請求項１５】前記位置情報に基づいて各対象物の画像
を加工し鳥瞰図データに変換し変換したデータを元に鳥
瞰図画像を作成し表示することを特徴とする特許請求範
囲第１項あるいは第３項記載の画像認識表示システム。
【請求項１６】前記対象物の画像を位置情報を元に切り
出し前記位置関係によって画像を表示することを特徴と
する特許請求範囲第１項あるいは第３項記載の画像認識
表示システム。
【請求項１７】前記対象物の画像を位置情報を元に切り
出し前記位置関係及び前記データベースより取り出した
各対象物の情報と前記順序を前記切り出した画像ととも
に表示したことを特徴とする特許請求範囲第３項記載の
画像認識表示システム。
【請求項１８】前記取得した順序をもとに順序表を前記
画像に付加したことを特徴とする特許請求範囲第４項記
載の画像認識表示システム。
【請求項１９】前記取得した順序をもとに順序表を位置
情報とともに前記画像に付加したことを特徴とする特許
請求範囲第４項記載の画像認識表示システム。
【請求項２０】前記取得した順序をもとに順序表と前記
演算した速度情報及び加速度情報から選ばれた少なくと
も１つの情報を位置情報とともに前記画像に付加したこ
とを特徴とする特許請求範囲第６項記載の画像認識表示
システム。
【請求項２１】前記画像の加工処理は、該対象物の位置
関係を色の変化で表示したことを特徴とする特許請求範
囲第１項あるいは第３項記載の画像認識表示システム。
【請求項２２】前記対象物の順序関係を色の変化で表示
したことを特徴とする特許請求範囲第４項記載の画像認
識表示システム。
【請求項２３】前記対象物の位置関係情報に基づいて対
象物および背景をＣＧで描くことを特徴とする特許請求
範囲第１項あるいは第３項記載の画像認識表示システ
ム。
【請求項２４】前記対象物の位置関係に基づいてシーン
チェンジを行うことを特徴とする特許請求範囲第１項あ
るいは第３項記載の画像認識表示システム。
【請求項２５】前記複数の対象物が１台のカメラの視野
に収まらない場合、異なる場所にカメラを配置して、該
カメラの位置情報および該カメラが取得した該対象物の
位置情報を演算して、前記複数の対象物全体の位置関係
情報を生成し表示することを特徴とした特許請求範囲第
３項記載の画像認識表示システム。
【請求項２６】前記カメラの位置情報はＧＰＳ（Ｇｒｏ
ｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）によ
り取得したことを特徴とする特許請求範囲第２５項記載
の画像認識表示システム。
【請求項２７】前記カメラは車両、船舶、航空機から選
ばれた少なくとも１つである輸送手段に搭載されている
ことを特徴とする特許請求範囲第２５項記載の画像認識
表示システム。