JP2000295623A - 画像伝送装置 - Google Patents
画像伝送装置Info
- Publication number
- JP2000295623A JP2000295623A JP9861799A JP9861799A JP2000295623A JP 2000295623 A JP2000295623 A JP 2000295623A JP 9861799 A JP9861799 A JP 9861799A JP 9861799 A JP9861799 A JP 9861799A JP 2000295623 A JP2000295623 A JP 2000295623A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- section
- display
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Details Of Television Scanning (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
する位置データとして相手端末に通知することにより、
背景画像の差分データを低減する。 【構成】 撮像部1で撮像された画像の1フレーム目の
画像は、ぶれ補正部2に入力され、撮像画像全体が画像
符号化部3で符号化され、分離多重化部4を介して通信
処理部に送られる。相手端末では受信したデータから分
離多重化部4を介して、このデータを抽出し、画像表示
制御部7に送る。画像表示制御部7では、得られた移動
量,移動方向から表示部5に表示する画像位置を画像メ
モリ部6から切り出し、表示装置に表示する。被写体の
動きは背景画像を含む表示範囲全体の動きとしての移動
量,方向のデータとし、被写体の陰になっていた部分の
背景画像のみを差分データとして相手端末に送信するだ
けでよい。
Description
り詳細には、画像伝送装置におけるぶれ補正に関する。
ム間のデータの差分をとり、そのデータを圧縮して伝送
を行う。一方、圧縮されたデータを受信した端末は、デ
ータの伸張処理を行ない、表示されている画像に対し、
画像データの差分を書き込み、表示する。テレビ電話を
例に説明すると、テレビ電話は、主に、人物の胸から上
(胸像)の画像と音声の通信に使用され、画像の通信に
はデータのビットストリームをフレーム毎にそのまま送
るのではなく、あるフレームに対して画像の動きを検出
し、差分を求め、その差分データを圧縮して送信すると
いう方法が一般に行われている。
動きなどの表情を上述のような方法を用いて送信してい
るが、このとき、人物像の背景画像も人物の動きによ
り、隠れたり、現れたりする部分があるため、同様の処
理が行われていた。
れる画像の伝送手段は、上述のように、画像の差分を求
め、そのデータを送るものであるため、人物像,背景画
像に関わらず、動きが大きい場合は差分データが多くな
り、その結果、送信するデータ量が増え、1秒間当たり
のフレーム数が少なくなるという問題が生じた。また、
1秒間当たりのフレーム数を多くしようとすると、送信
するデータ量を減らす必要があるため、1画面当たりの
画像データを減らすことにより、画像が粗くなるという
問題が生じていた。
問題を解決するために、請求項1の発明においては、画
像を撮像する撮像手段と、表示装置に画像を表示する画
像表示手段と、伝送するあるいは受信した画像を蓄積す
る画像蓄積手段と、撮像時にぶれ補正を行うぶれ補正手
段を有することを、請求項2の発明においては、前記ぶ
れ補正は、被写体の動きを、背景画像を含む表示範囲全
体の動きとしての移動量、方向のデータとし、被写体の
陰になっていた部分の背景のみを差分データとするもの
であることを、請求項3の発明においては、さらに、背
景画像を定期的に更新する手段を有することを特徴とし
たものである。
背景画像(表示されているよりも広い範囲の背景画像)
の中から人物の動きに合わせ、背景画像をずらして表示
することにより画像の差分データを低減し、結果的に、
1秒間に表示されるフレーム数を増やしたり、また、1
フレームに対する画質をより精細にすることができる画
像伝送装置を提供するものである。
ぶれ補正手段とは、カメラ等の撮像装置で撮像を行う際
に生じる手ぶれによる画像の揺れを補正する手段であ
り、機械式あるいは電子式の手段がある。たとえば、特
開平4−162882号公報“画像ブレ補正システム”
にあるように、撮像部のオーバースキャン部をブレ補正
部として用いる技術が知られている。
に出力されない撮像部のオーバースキャン部を利用した
画像伝送装置である。以下、詳細に説明する。撮像装置
の撮像部(たとえばCCD等)は、オーバースキャンを
行なうことにより、図2に示すように、実際に表示装置
に表示される画像(画像Aとする)よりも広い範囲の画
像(画像Bとする)を撮像している。ここで、撮像部は
被写体の動きを検知し、たとえば、図2に示すように、
中央に位置していた被写体Mが、図3に示すように、右
に動いた場合には、その被写体Mの動きを検出し、被写
体Mをもとの位置に配置するよう画像Bの中から表示装
置に表示される画像を切り出し、画像Aとして表示す
る。図2の表示画像Aと図3の撮像画像Bを比較する
と、背景はずれているが、被写体Mである人物像の位置
は表示画像Aの中央に位置しており、変わらない。この
ように表示画像を撮像画像の中から切り出し、被写体の
動き(ぶれ)を補正する方法が電気式のぶれ補正の一手
法である。本発明では、表示する画像の切り出し位置を
背景画像に対する位置データとして相手端末に通知する
ことにより、主に、背景画像の差分データ分を低減する
ようにしたものである。
ため、背景と人物像の動きのみに着目し、人物像の詳細
な動き(顔の表情等)については従来通りの処理であり
説明を割愛する。図1は、本発明の画像処理部の一例を
説明するためのブロック図で、図1に示した画像処理部
は、送信にも受信にも使用できるので、相手端末として
使用する時も、図1を参照して説明する。図1におい
て、撮像部1で撮像された画像の1フレーム目の画像
は、まず、ぶれ補正部2に入力され、撮像画像全体(図
2の撮像画面B部分)が画像符号化部3で符号化され、
分離多重化部4を介して通信処理部に送られる。次に2
フレーム目からは表示画像部分(図2の表示画面Aの部
分)のうち、人物の動き等による変化した画像(差分デ
ータ)が送られる。
画像メモリに記憶する。相手端末の表示装置に表示され
る画像は画像メモリに記憶された画像のうちあらかじめ
デフォルトで指定された部分(ここでは撮像画像の中央
とする)を切り出した画像である。たとえば1フレーム
目で図4の画像Cに示すような画像が撮像されたときは
画像C全体が相手端末に送信され、画像メモリには図4
の画像C全体が記憶される。相手端末ではそのうち画像
Dの部分(デフォルトで指定された画像の中央部分)が
表示される。
に示すように、被写体Mの移動量n,移動方向x,yが
ぶれ補正部で算出される(正確には被写体の表示位置を
元の表示位置に近づけるよう表示画像の切り出し位置を
算出したものである)。この移動量n,移動方向x,y
が相手端末にデータとして送信される。
化部4を介して、このデータを抽出し、画像表示制御部
7に送る。ここで相手端末に送信するデータはISDN
回線を使用する画像伝送装置ではDチャネルを使用して
もよいし、データにフラグ等の識別子をつけ、Bチャネ
ルの画像データと多重して送信してもよい。アナログ回
線を使用する画像伝送装置では同様に画像データの一部
として識別子をつけ、多重するといった方法が考えられ
る。画像表示制御部7では得られた移動量,移動方向か
ら表示装置5に表示する画像位置を画像メモリ部6から
切り出し、表示装置に表示する。
明による処理とを比較すると次のようになる。図6は、
被写体MがM1からM2に動いた様子を表したものであ
る。あるフレームで被写体MがM1の位置にあり、次の
フレームで被写体MがM2の位置にあるとき、このフレ
ーム間の差分データは被写体MのM1位置とM2位置の合
計部分の面積となる。
ま差分データとする、もしくは、被写体部分は動き検出
により処理ブロック(画像を符号化する際の処理単位)
毎に移動量,方向をデータとして算出し、さらに被写体
の陰となっていた部分の背景のデータをそれ以前に送信
した画像データの差分データとして相手端末に送信する
必要がある。
像を含む表示範囲全体の動きとしての移動量,方向のデ
ータとし、被写体の陰になっていた部分の背景画像のみ
を差分データとして相手端末に送信するだけでよい。こ
こでは、説明を割愛したが、実際の処理においては人物
像の動きには、例に挙げたような体全体の動きの他に
目、口等の顔の表情の動きが含まれる。顔の表情等の動
きデータは従来の技術に見られるような動き検出を行っ
た後、差分データを求め相手端末に送信する必要があ
る。
ては、相手端末との通信を開始したのち、画像の1フレ
ーム目の撮像画像全体を相手端末に送信するが、以後の
通信中には撮像画像全体を送信する処理を行わない。こ
のため、背景が変化した場合にはデータの差分が増え、
画像の更新に時間がかかるため、請求項2の発明におい
て、定期的に背景画像を更新する。以下、図7に更新手
順の例を示す。通信開始時に1フレーム目の画像を相手
端末に伝送する(図7(A)撮像画像全体)。次に、背
景画像の更新が行なわれるまでは表示画像部分のうち、
人物の動き等による変化した画像(差分データ)が送ら
れる(図7(B),図7(C)表示画像)。さらに、最
初の背景画像の伝送から一定時間経過した後(たとえば
30秒後)、背景部分の画像(図7(D)撮像画像全体
から表示されている部分を除いた画像)のデータを前回
伝送した画像との差分をとり、再度伝送する(表示画面
は図7(B),図7(C)で常に更新されているた
め)。その後、人物の動き等による変化した画像(差分
データ)が送られる(図7(E),図7(F)表示画
像)。以降、一定時間毎に繰り返すことにより、背景画
像が変化した場合でも画像の更新時間を低減することが
できる。
きによる差分データの発生を低減し、その結果、1秒間
のフレーム数や画質の向上を図るための処理にデータを
割り当てることができ、より高画質な画像伝送装置を構
成することができる。請求項3の発明によれば、さら
に、背景画像が変化した場合でも、画像の更新時間を低
減することができる。
ある。
図である。
る。
分離多重化部、5…表示部、6…画像メモリ部、7…画
像表示制御部。
Claims (3)
- 【請求項1】 画像を撮像する撮像手段と、表示装置に
画像を表示する画像表示手段と、伝送するあるいは受信
した画像を蓄積する画像蓄積手段と、撮像時にぶれ補正
を行うぶれ補正手段とを有することを特徴とした画像伝
送装置。 - 【請求項2】 請求項1記載の画像伝送装置において、
前記ぶれ補正において、被写体の動きを、背景画像を含
む表示範囲全体の動きとしての移動量、方向のデータと
し、被写体の陰になっていた部分の背景のみを差分デー
タとするものであることを特徴とする画像伝送装置。 - 【請求項3】 請求項2記載の画像伝送装置において、
背景画像を定期的に更新する手段を有することを特徴と
した画像伝送装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9861799A JP2000295623A (ja) | 1999-04-06 | 1999-04-06 | 画像伝送装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9861799A JP2000295623A (ja) | 1999-04-06 | 1999-04-06 | 画像伝送装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000295623A true JP2000295623A (ja) | 2000-10-20 |
Family
ID=14224537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9861799A Pending JP2000295623A (ja) | 1999-04-06 | 1999-04-06 | 画像伝送装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000295623A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109495762A (zh) * | 2018-10-09 | 2019-03-19 | 广州虎牙信息科技有限公司 | 数据流处理方法、装置及存储介质、终端设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0746534A (ja) * | 1993-07-29 | 1995-02-14 | Sony Corp | デジタル画像信号の伝送装置 |
JPH07162853A (ja) * | 1993-12-07 | 1995-06-23 | Hitachi Ltd | 撮像装置 |
JPH07284086A (ja) * | 1994-04-05 | 1995-10-27 | Nec Corp | 背景画像生成方法および装置 |
JPH08140098A (ja) * | 1994-11-10 | 1996-05-31 | Matsushita Electric Ind Co Ltd | 動き補償符号化装置 |
JPH08275049A (ja) * | 1995-03-31 | 1996-10-18 | Hitachi Ltd | 撮像装置 |
-
1999
- 1999-04-06 JP JP9861799A patent/JP2000295623A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0746534A (ja) * | 1993-07-29 | 1995-02-14 | Sony Corp | デジタル画像信号の伝送装置 |
JPH07162853A (ja) * | 1993-12-07 | 1995-06-23 | Hitachi Ltd | 撮像装置 |
JPH07284086A (ja) * | 1994-04-05 | 1995-10-27 | Nec Corp | 背景画像生成方法および装置 |
JPH08140098A (ja) * | 1994-11-10 | 1996-05-31 | Matsushita Electric Ind Co Ltd | 動き補償符号化装置 |
JPH08275049A (ja) * | 1995-03-31 | 1996-10-18 | Hitachi Ltd | 撮像装置 |
Non-Patent Citations (1)
Title |
---|
三木弼一編著, 多彩な映像、音声を自在に符号化する MPEG−4のすべて, JPN6008026515, 30 September 1998 (1998-09-30), pages 53 - 56, ISSN: 0001055455 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109495762A (zh) * | 2018-10-09 | 2019-03-19 | 广州虎牙信息科技有限公司 | 数据流处理方法、装置及存储介质、终端设备 |
CN109495762B (zh) * | 2018-10-09 | 2021-05-11 | 广州虎牙信息科技有限公司 | 数据流处理方法、装置及存储介质、终端设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6456335B1 (en) | Multiple picture composing method and multiple picture composing apparatus | |
US8089514B2 (en) | Moving image communication device, moving image communication system and semiconductor integrated circuit used for communication of moving image | |
JP4448177B2 (ja) | Tv電話機能の撮影画像処理切り替え装置 | |
CN109716769B (zh) | 在多媒体信息中提供面向对象的缩放的系统和方法 | |
JPH0220185A (ja) | 動画像伝送方式 | |
KR20090125236A (ko) | 정보 처리 장치 및 방법 | |
US20040174438A1 (en) | Video communication terminal for displaying user's face at the center of its own display screen and method for controlling the same | |
EP3748965A1 (en) | Ultra low latency video communication | |
JP5288621B2 (ja) | 画像符号化伝送装置及び画像伝送方法 | |
JPH07288789A (ja) | 知的符号化装置及び画像通信装置 | |
JP4100146B2 (ja) | 双方向コミュニケーションシステム,映像通信装置 | |
JP2933132B2 (ja) | 多地点テレビ会議制御装置及び画面合成符号化方法 | |
EP1494481A2 (en) | Motion picture receiving device, motion picture transmitting device, and program | |
CN111654660B (zh) | 一种基于图像分割的视频会议系统编码传输方法 | |
JP2000295623A (ja) | 画像伝送装置 | |
US5900906A (en) | Image communication apparatus having automatic answering and recording function | |
JP2006197096A (ja) | テレビ電話装置 | |
WO1999040725A1 (en) | High-resolution high-value-added video transfer method by using pseudo natural image, high-resolution high-value-added video processor, high-resolution high-value-added video processing method, high-resolution high-value-added transfer system, and storage medium | |
JPH0564172A (ja) | 映像通信方式および映像送信装置および映像受信装置 | |
JPH0730888A (ja) | 動画像送信装置及び動画像受信装置 | |
JPH09149391A (ja) | テレビ電話装置 | |
JPH0716244B2 (ja) | 視線一致補正装置 | |
JP2003319386A (ja) | モバイル端末機への撮影画像伝送システム | |
JP2003018559A (ja) | データ多重化無線通信システム | |
JP2000092502A (ja) | 動画像伝送システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050708 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070628 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080603 |