JP2002374529A

JP2002374529A - ステレオ画像認識を用いた画像データの伝送方法及びその装置

Info

Publication number: JP2002374529A
Application number: JP2001180921A
Authority: JP
Inventors: Takeshi Takatsuka; 剛高塚
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2001-06-15
Filing date: 2001-06-15
Publication date: 2002-12-26

Abstract

(57)【要約】【課題】画面上に優先順位の高い複数の画像領域を同
時に表示でき、これら優先順位の高い画像領域の画質を
維持しつつ画像圧縮して効率的に伝送できる画像伝送方
法及びその装置を提供する。【解決手段】画像処理部６において、画像入力部５の
ステレオカメラで撮像された一対の左右画像から距離デ
ータを有する画像情報を生成するとともに、この画像情
報から所定の物体画像情報を抽出し、この物体画像情報
の中に、目標指示設定部１０により画像表示器部９に優
先的に表示すべく指示された特定の目標物の特徴情報が
含まれていると判定すると、目標物を含む所定範囲の画
像領域とそれ以外の画像領域とに分割し、しかる後、画
像符号化部７において上記画像領域ごとに予め指定され
た圧縮率でその画像データを圧縮して伝送し、この伝送
されて来た画像データを画像復号化部８で復号化して画
像表示器部９に表示する。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、効率的な画像圧縮
と画質とを両立させた画像データ伝送方法及びその装置
に関し、特に、ステレオ画像認識を用いて目標物を認識
し、目標物とその周囲の画像データを効率的に伝送する
方法及びその装置に関する。

【０００２】

【従来の技術】従来の画像伝送においては、所定の画像
を伝送する際にその情報量を抑えるために、画像全体を
対象として画像データの圧縮を行い、圧縮処理によって
符号化された画像データを伝送している。画像データの
伝送順序としては、画像の中心部から周辺部に向けて順
次送る方法や画像を低解像度の画像から高解像度の画像
へ次第に解像度を上げて伝送する方法がある。画像デー
タの圧縮としては、人間の視覚特性に合わせて視覚で認
識が困難な空間周波数の情報を間引いたり、画像におけ
る空間軸または時間軸方向の冗長性を取り除いたりする
方法があり、これにより、伝送するデータ量の削減を実
現している。更に、画像データを伝送する場合に、優先
順位を決めて効率的に伝送する方法については、特開平
７−２８４０９５号公報に開示された「視点適応型画像
伝送方法および画像伝送装置」があり、これは、受信者
の指示で決まる視点中心を検出し、視点中心部を優先的
に伝送するようにしたものである。

【０００３】

【発明が解決しようとする課題】しかしながら、画像伝
送で用いられる従来の圧縮アルゴリズムにおいては、圧
縮処理される画像の画質度と圧縮率とがトレードオフの
関係にあるために、高い圧縮率で画像圧縮を行うと画質
は劣化し、反対に低い圧縮率で画像圧縮を行うと画質の
劣化は抑制されるが伝送すべき画像データ量が増加して
伝送時間がかかり過ぎたり、容量の大きなメモリが必要
になるなどして、画像圧縮と画質とを両立させることは
困難である。また、画像全体を対象に画像圧縮を行う場
合には、ある程度高い圧縮率で画像圧縮を行うと、人間
の見た目においても画質の劣化が分かってしまうという
問題がある。更に、画像データを伝送する場合に、優先
順位をつけて効率的に伝送する方法に比べ、効率的でな
いという問題がある。しかるに、優先順位をつけて効率
的に伝送する方法でも、上記特開平７−２８４０９５号
公報に開示の方法では、受信者の指示で決まる視点中心
は、受信者が表示器上で、例えばマウスなどの入力デバ
イスにより指示して決められ、指示された部分の画像が
優先的に伝送されるようになっているため、複数の部分
を優先的に伝送することができない。また、受信者が表
示器上でいちいち指示して決める方法では、短時間のう
ちに迅速に指示しなければならないような場合には対応
できないという問題がある。

【０００４】本発明の目的は、画面上に同じ高い優先順
位の複数の画像領域を同時に表示でき、更に優先順位の
高い部分の画質を維持しつつ効率的に画像圧縮して伝送
できる画像伝送方法及びその装置を提供することにあ
る。

【０００５】

【課題を解決するための手段】上記課題を解決するため
に、本発明の請求項１に係る画像データの伝送方法は、
ステレオカメラで撮像された一対の左右画像からステレ
オマッチング処理により距離データを有する画像情報を
生成するとともに、この画像情報から所定の物体画像情
報を抽出し（左右画像からの三角測量の原理を用いた撮
像物体に対する距離計測により、３次元の物体形状とし
て認識するもの）、この物体画像情報の中に、表示画面
上に優先的に表示すべく指示された特定の目標物に関す
る特徴情報が含まれていると判定すると、特定の目標物
を含む所定範囲の画像領域とそれ以外の画像領域とに分
割し、これら画像領域ごとに予め指定された圧縮率でそ
の画像データを圧縮して伝送し、この伝送されて来た画
像データを復号化して表示画面上に表示するようにした
ものである。本方法によれば、ステレオ画像認識により
効率的に目標物の認識やその距離情報が得られ、画面上
に表示する画像領域で優先順位の高い部分、即ち、特定
の目標物を含む所定範囲の画像領域に対しては低圧縮率
で精細な画質を維持し、その他の画像領域に対しては高
圧縮率で画質を粗くするようにしているので、効率的な
圧縮画像と画質の維持を両立させ得る。また、本方法で
は、特定の目標物の指示は、表示画面上で、例えばマウ
スなどの入力デバイスによる指示ではなく、例えば登録
済み目標物リストからの選択による指示であり、したが
って、優先順位の高い複数部分を同時に指示することが
容易にできる。

【０００６】また、本発明の請求項２に係る画像データ
の伝送方法は、伝送される画像データが左右いずれかの
ステレオカメラで撮像された画像であるようにしたもの
であり、一方のカメラによって撮像された画像データが
圧縮されるようになるので効率的である。

【０００７】また、本発明の請求項３に係る画像データ
の伝送装置は、撮像した画像を通信網を介して伝送する
画像送信装置とこの画像送信装置から伝送されて来た画
像を表示する画像受信装置とを備える画像伝送装置であ
って、画像送信装置は、画像受信装置で表示される画像
を撮像するステレオカメラが配置された画像入力部と、
この画像入力部で撮像された一対の左右画像からステレ
オマッチング処理により距離データを有する画像情報を
生成し、この画像情報から所定の物体画像情報を抽出す
る手段、この物体画像情報の中に、画像受信装置に優先
的に表示すべく指示された特定の目標物に関する特徴情
報が含まれているか否かを判定する手段、及び目標物を
含む所定範囲の画像領域とそれ以外の画像領域とに分割
するとともに、これら画像領域の、画像受信装置での表
示位置を特定する手段を有する画像処理部と、前記表示
位置が特定された画像データを画像領域ごとに予め指定
された圧縮率で圧縮し、画像受信装置に通信網を介して
伝送する画像符号化部とを有し、画像受信装置は、通信
網を介して伝送されて来た上記画像データを復号化する
画像復号化部と、復号化された画像データを、その特定
された表示位置に表示する画像表示器部と、この画像表
示器部の表示画面上に特定の目標物を優先的に表示すべ
く画像受信装置の画像処理部に通信網を介して指示する
目標指示設定部とを有するものであり、上記請求項１に
係る方法を実現する装置である。

【０００８】

【発明の実施の形態】本発明の画像データの伝送装置に
係る実施の形態を図１及び２を参照して説明する。本伝
送装置１は、図１に示すように、撮像した画像を通信網
４を介して伝送する画像送信装置２とこの画像送信装置
２から伝送されて来た画像を表示する画像受信装置３と
を備えている。

【０００９】このうち画像送信装置２は、後述する画像
表示器部９で表示される画像を撮像するためのステレオ
カメラが配置された画像入力部５と、この画像入力部５
で撮像された一対の左右画像が供給される画像処理部６
とを有している。かかる画像処理部６には、上記一対の
左右画像からステレオマッチング処理技術を用いて距離
データを有する画像情報を生成し、この画像情報から所
定の物体画像情報、例えば人や物体情報などを抽出する
画像抽出手段６ａが備えられている。また、画像処理部
６には、抽出された物体画像情報の中に、後述の目標指
示設定部１０により画像表示器部９に優先的に表示すべ
く指示された特定の目標物、例えば人や物体などの特徴
情報が含まれているか否かをデータベース化された特徴
情報と比較して判定する画像判定手段６ｂ、及び上記目
標物を含む所定範囲の画像領域とそれ以外の画像領域と
に分割するとともに、これら画像領域の、画像表示器部
９での表示位置を特定する画像分割手段６ｃが備えられ
ている。ここで、目標物が移動物体であれば、目標物に
対応する画像の時系列処理により、当該目標物の速度や
角速度などの移動状態に関するデータを得ることができ
る。更に、画像送信装置２は、画像符号化部７を有して
おり、この画像符号化部７は、上記目標物を含む所定範
囲の画像領域の画像圧縮率を低くして画質を高める一
方、目標物を含まない画像領域の画像圧縮率を高くして
画質を落とす処理を行うことで画像領域ごとに異なる圧
縮率で圧縮し、これら圧縮された画像データを、画像表
示器部９における表示位置を特定して画像受信装置３に
通信網４を介して伝送する。画像圧縮率は予め決めら
れ、記憶されているが、後述の目標指示設定部１０から
画像処理部６を介して指示することもできる。また、画
像データと共に目標物までの距離や目標物の移動に関す
るデータ表示位置についての情報が伝送される。

【００１０】一方、画像受信装置３は、通信網４を介し
て伝送されて来た上記画像データを復号化する画像復号
化部８と、復号化された画像データを、その特定された
表示位置に表示する画像表示器部９と、例えばオペレー
タがある特定の目標物を画像表示器部９に画像表示させ
たい場合、当該目標物を優先的に表示させるべく画像送
信装置２の画像処理部６に通信網４を介して指示する目
標指示設定部１０とを有している。

【００１１】次に、本伝送装置１を用いて行う画像伝送
方法を図２を参照して説明する。最初に、オペレータが
画像表示器部９に画像表示させたい特定の目標物（複数
の目標物であってもよい）を目標指示設定部１０から指
示する（ステップＳ１）。この目標指示設定部１０から
の指示は、例えば登録済み目標物リストからの選択によ
る指示であり、したがって、優先順位の高い複数部分を
同時に指示することが容易にできる。また、このような
指示のしかたによれば、複数の目標物を短時間のうちに
迅速に行える。画像送信装置２において、その画像入力
部５のステレオカメラで所定対象物を撮像し（スデップ
Ｓ２）、撮像された一対の左右画像が画像処理部６に入
力され、画像処理部６の画像抽出手段６ａにより、上記
一対の左右画像から距離データを有する画像情報を生成
し（スデップＳ３）、この画像情報から所定の物体画像
情報を抽出する（スデップＳ４）。

【００１２】ステップＳ５において、画像処理部６の画
像判定手段６ｂにより、抽出された物体画像情報の中
に、オペレータが指示した目標物が含まれているか否か
を判定し、目標物が含まれていないと判定されると、ス
テップＳ８に進むが、目標物が含まれていると判定され
ると、ステップＳ６に進み、画像処理部６の画像分割手
段６ｃにより、上記目標物を含む所定範囲の画像領域と
それ以外の画像領域とに分割し、これら画像領域の、画
像表示器部９での表示位置を特定する画像データ処理を
行う。そして、ステップＳ７において、目標物が移動物
体であれば、目標物に対応する画像の時系列処理によ
り、当該目標物の速度や角速度などの移動状態に関する
データ処理がなされる。次のステップＳ８では、目標物
の存否に従って圧縮率が決定される。かかる決定は、上
記分割された各画像領域ごとに行われ、目標物を含む所
定範囲の画像領域に対しては低圧縮率が、また、目標物
を含まない画像領域に対しては高圧縮率が設定される。
この圧縮率に基づき、画像符号化部７において、目標物
を含む所定範囲の画像領域に対しては精細な画質を維持
するために低圧縮率で圧縮し、その他の画像領域に対し
ては画質を犠牲にして高圧縮率で圧縮する（ステップＳ
９）。尚、圧縮の対象となる画像は、ステレオカメラで
撮像した一対の左右画像のうちの一方で、例えば左画像
である。圧縮された画像データは、画像符号化部７から
画像受信装置３に通信網４を介して伝送される（ステッ
プＳ１０）。

【００１３】伝送された画像データは、画像受信装置３
の画像復号化部８で復号化され（ステップＳ１１）、復
号化された画像データは、画像表示器部９に表示される
（ステップＳ１２）。このとき、目標物を含む所定範囲
の画像領域が精細に画像表示され、目標物を含まない画
像領域は、画質が粗く画像表示される。そして、同時に
伝送されて来た目標物の移動状態に関するデータから当
該目標物の速度や角速度などを画像表示器部９に表示す
ることも可能である。

【００１４】ところで、上記ステップＳ５で目標物が含
まれていないと判定されてステップＳ８に進んだときに
は、目標物を含まない画像領域に対する処理と同様に、
画質を犠牲にして高圧縮率で圧縮する。そして、圧縮さ
れた画像データに対し、ステップＳ９〜１２が実行さ
れ、画像表示器部９に表示される画像は、画質が粗いも
のとなる。

【００１５】

【発明の効果】本発明の画像データの伝送方法及びその
装置によれば、ステレオカメラを用いて目標物を認識
し、目標物を含む所定範囲を低圧縮率で圧縮し、その周
囲の画像を目標物から離れた領域ほど高圧縮率で圧縮し
て伝送するので、複数の目標物が同一画面に高解像度で
表示できるとともに、効率のよい画像データの伝送が行
える。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る画像データの伝送
装置のブロック構成図である。

【図２】本装置を用いて行う画像伝送方法のフローチ
ャート図である。

【符号の説明】

１本伝送装置２画像送信装置３画像受信装置４通信網５画像入力部６画像処理部７画像符号化部８画像復号化部９画像表示器部１０目標指示設定部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 13/00 Ｇ０９Ｇ 5/00 ５５５Ａ５Ｃ０８２５５５ＤＦターム(参考） 5B057 AA20 BA02 CA13 CA16 CB20 CG07 DA06 DB02 DC32 5C054 AA01 CA04 CC03 EA01 EA03 EA05 FA00 FD02 5C059 MB02 PP13 SS06 TA17 TB18 TC43 TD13 UA02 UA05 5C061 AB04 AB08 AB10 AB12 AB16 5C078 AA04 CA02 DA01 DA02 5C082 AA27 AA36 AA37 BB01 BB44 BB49 CA34 CA54 MM10

Claims

【特許請求の範囲】

【請求項１】ステレオカメラで撮像された一対の左右
画像からステレオマッチング処理により距離データを有
する画像情報を生成するとともに、この画像情報から所
定の物体画像情報を抽出し、この物体画像情報の中に、
表示画面上に優先的に表示すべく指示された特定の目標
物に関する特徴情報が含まれていると判定すると、前記
目標物を含む所定範囲の画像領域とそれ以外の画像領域
とに分割し、これら画像領域ごとに予め指定された圧縮
率でその画像データを圧縮して伝送し、この伝送されて
来た画像データを復号化して前記表示画面上に表示する
ことを特徴とする画像データの伝送方法。
【請求項２】伝送される前記画像データは左右いずれ
かの前記カメラで撮像された画像であることを特徴とす
る請求項１に記載の画像データの伝送方法。
【請求項３】撮像した画像を通信網を介して伝送する
画像送信装置と該画像送信装置から伝送されて来た画像
を表示する画像受信装置とを備える画像伝送装置であっ
て、前記画像送信装置は、前記画像受信装置で表示され
る画像を撮像するステレオカメラが配置された画像入力
部と、該画像入力部で撮像された一対の左右画像からス
テレオマッチング処理により距離データを有する画像情
報を生成し、この画像情報から所定の物体画像情報を抽
出する手段、この物体画像情報の中に、前記画像受信装
置に優先的に表示すべく指示された特定の目標物に関す
る特徴情報が含まれているか否かを判定する手段、及び
前記目標物を含む所定範囲の画像領域とそれ以外の画像
領域とに分割するとともに、これら画像領域の、前記画
像受信装置での表示位置を特定する手段を有する画像処
理部と、前記表示位置が特定された画像データを前記画
像領域ごとに予め指定された圧縮率で圧縮し、前記画像
受信装置に前記通信網を介して伝送する画像符号化部と
を有し、前記画像受信装置は、前記通信網を介して伝送
されて来た前記画像データを復号化する画像復号化部
と、前記復号化された画像データを、その特定された表
示位置に表示する画像表示器部と、該画像表示器部の表
示画面上で特定の目標物を表示するべく前記画像処理部
に前記通信網を介して指示する目標指示設定部とを有す
ることを特徴とする画像データの伝送装置。