JP2008252640A - 動画転送システム及びテレビ会議システム - Google Patents
動画転送システム及びテレビ会議システム Download PDFInfo
- Publication number
- JP2008252640A JP2008252640A JP2007092652A JP2007092652A JP2008252640A JP 2008252640 A JP2008252640 A JP 2008252640A JP 2007092652 A JP2007092652 A JP 2007092652A JP 2007092652 A JP2007092652 A JP 2007092652A JP 2008252640 A JP2008252640 A JP 2008252640A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- resolution
- side communication
- image
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】ネットワーク転送時の負荷を大きくすることなく高解像度の動画を表示することができる動画転送システム及びテレビ会議システムを提供する。
【解決手段】４個の撮像ユニットから同期して低解像度のフレーム画の撮像信号が読み出され、送信側通信部からインターネットを介して受信ステーションの受信側通信部に転送される。受信側通信部から出力された低解像度の画像データに基づいて動きベクトル，差分が算出され、これらを用いて超解像処理部により超解像度の画像データが生成される。この画像データに基づいてＬＣＤに超解像度の画像が表示される。この一連のシーケンスが３０回／秒の速度で繰り返され、超解像度の動画がＬＣＤに３０フレーム／秒で表示される。
【選択図】図６
【解決手段】４個の撮像ユニットから同期して低解像度のフレーム画の撮像信号が読み出され、送信側通信部からインターネットを介して受信ステーションの受信側通信部に転送される。受信側通信部から出力された低解像度の画像データに基づいて動きベクトル，差分が算出され、これらを用いて超解像処理部により超解像度の画像データが生成される。この画像データに基づいてＬＣＤに超解像度の画像が表示される。この一連のシーケンスが３０回／秒の速度で繰り返され、超解像度の動画がＬＣＤに３０フレーム／秒で表示される。
【選択図】図６
Description
本発明は、動画を転送する動画転送システム及びテレビ会議システムに関するものである。
高解像度の画像をビデオカメラで撮影してインターネットやローカルエリアネットワークなどの通信ネットワークを介して送信し、テレビ会議を行なうシステムが知られている（例えば特許文献１）。
また、１台のカメラではカバーすることができない広い範囲を複数個のデジタルカメラ（マルチカメラ）で分担して動画撮影し、各デジタルカメラから得られる動画を合成してスクリーンに投影するマルチカメラシステムが知られている（例えば特許文献２）。
特開２００４−５３８７２４
特開２００５−２２９３６９
上記特許文献１に記載されているように、高解像度の画像によってテレビ会議などを行ないたいという要望は従来からある。ところが、高解像度の画像はデータ量が大きいため、ネットワーク転送時の負荷が大きくなるという問題がある。また、上記特許文献２に記載されているマルチカメラシステムで画像の解像度を向上させるには、やはり個々のカメラの撮影解像度を上げる必要があるため、ネットワーク転送時の負荷が大きくなるという問題がある。
本発明は、上記のような問題点を解決するためになされたもので、ネットワーク転送時の負荷を大きくすることなく高解像度の動画を表示することができる動画転送システム及びテレビ会議システムを提供することを目的とする。
本発明の動画転送システムは、同じ被写体を同期して動画撮影する複数個の動画撮影装置と、前記動画撮影装置の各々から出力される画像を互いに送信タイミングを同期して一斉に通信ネットワークを介して送信する送信側通信部と、前記送信側通信部から通信ネットワークを介して送られてきた各動画撮影装置毎の画像を受信する受信側通信部と、同じタイミングで受信した各画像間の差分を算出する差分演算部と、前記各動画撮影装置毎に受信した撮影時間が異なる複数個の画像に基づいて動きベクトルを求める動きベクトル演算部と、前記差分と動きベクトルに基づいて同じタイミングで受信した複数個の画像を超解像処理することにより、各動画撮影装置毎に撮影された画像よりも高解像度の画像を生成する超解像処理部と、前記超解像処理部から出力された高解像度の画像により動画を表示する表示部とからなることを特徴とする。
前記動画撮影装置による動画撮影が行なわれている間に、前記被写体から発せられる音声を取得して音声信号を出力するマイクロフォンと、前記音声信号を通信ネットワークを介して送信する音声用送信側通信部と、前記音声用送信側通信部から通信ネットワークを介して送られてきた音声信号を受信する音声用受信側通信部と、前記表示部に表示される動画に同期して、前記音声信号に基づいて音声を出力するスピーカとを設けたことを特徴とする。
本発明のテレビ会議システムは、上記動画転送システムを用い、互いに隔てられた少なくとも２箇所の間で会議を行なうことを特徴とする。
本発明の動画転送システム及びテレビ会議システムによれば、複数個の動画撮影装置により同じ被写体を同期して動画撮影するとともに、この動画を通信ネットワークを介して送信し、同じタイミングで受信した各画像間の差分を算出するとともに各動画撮影装置毎の撮影時間が異なる複数個の画像に基づいて動きベクトルを求め、前記差分と動きベクトルに基づいて同じタイミングで受信した複数個の画像を超解像処理することにより、各動画撮影装置毎に撮影された画像よりも高解像度の画像を作成し、この得られた画像により動画を表示するようにしたので、ネットワーク転送時の負荷を大きくすることなく高解像度の動画を表示することができる。
動画撮影装置による動画撮影が行なわれている間に被写体から発せられる音声を取得して音声信号を通信ネットワークを介して送信し、表示部に表示される高解像度の動画に同期して、受信した音声信号に基づいて音声を出力するので、臨場感のある会議を行なうことができる。
本発明の動画転送システム１０は、図１に示すように、送信時の負荷が少ない低解像度の多眼カメラ１１を用いて被写体を動画撮影しながらリアルタイムに送信する送信ステーション１２と、インターネット１３を介して送信ステーション１２から送られてきた動画を受信して超解像度変換処理を行ない、超解像度の動画を表示部である液晶ディスプレイ（ＬＣＤ）１４に表示する受信ステーション１５とからなる。
送信ステーション１２は、多眼カメラ１１と、会議などで参加者の発言を集音するマイクロフォン１６と、多眼カメラ１１から出力される動画像データと、マイクロフォン１６から出力される音声データとをインターネット１３を介して受信ステーション１５へ送信する送信部１７とからなる。
受信ステーション１５は、送信ステーション１２からインターネット１３を介して送られてくる動画像データと音声データとを受信する受信部１８と、動画像データに基づいて動画を表示するＬＣＤ１４と、音声データに基づいて音声を出力するスピーカ１９とからなる。
送信ステーション１２の構成を示す図２において、多眼カメラ１１は、４個の動画撮影装置である撮像ユニットＵ１〜Ｕ４からなる。撮像ユニットＵ１〜Ｕ４は、それぞれ同じ構造をしており、光学ユニット２１，ＣＣＤ２２及び信号処理部２３からなる。光学ユニット２１は、フォーカスレンズを含む撮影レンズと、絞りとからなり、それぞれモータにて駆動される。
ＣＣＤ２２は、比較的画素数が少なく（例えば３２０×２４０ピクセル）、光学ユニット２１によって受光面に結像される光学像を光電変換して、低解像度のフレーム画の撮像信号を例えば３０フレーム／秒のフレームレートで出力する。
信号処理部２３は、ＣＣＤ２２から出力された撮像信号を増幅してからデジタルの画像データに変換する。信号処理部２３から出力される画像データに基づいて光学ユニット２１の各モータが駆動され、ピント合わせと明るさ調節が行なわれる。
送信部１７は、５個の送信側通信部２４〜２８を備えている。送信側通信部２４はマイクロフォン１６用であり、送信側通信部２５〜２８は撮像ユニットＵ１〜Ｕ４用である。送信側通信部２４〜２８は、インターネット１３を介して受信ステーション１５の受信側通信部３２〜３６（図３参照）と、それぞれ一対一で常時接続されている。
マイクロフォン１６から出力される音声信号は、音声信号処理部２９にてエンコードと圧縮処理が施されてデジタルの音声データに変換され、送信側通信部２４によりインターネット１３を介して受信ステーション１５の受信側通信部３２（図３参照）に送信される。
撮像ユニットＵ１〜Ｕ４から出力される画像データは、送信側通信部２５〜２８によりそれぞれインターネット１３を介して受信ステーション１５の受信側通信部３３〜３６（図３参照）に送信される。撮像ユニットＵ１〜Ｕ４から出力される画像データは、低解像度であるから、送信時の負荷が少なくて済み、高速度でストリーミング転送される。
撮像ユニットＵ１〜Ｕ４は、タイミングジェネレータ（ＴＧ）３０によって同期され、同じタイミングで撮像信号の読み出しが行なわれる。また、送信側通信部２４〜２８の送信タイミングもＴＧ３０によって同期され、４個の画像データ及び音声データが同期して送信される。ＴＧ３０はＣＰＵ３１によって制御される。
受信ステーション１５の構成を示す図３において、受信部１８は、５個の受信側通信部３２〜３６を備えている。受信側通信部３２は音声データ用であり、受信側通信部３３〜３６は画像データ用である。
受信側通信部３２〜３６は、ＴＧ３７によって同期がとられ、ＴＧ３７はＣＰＵ３８によって制御される。受信側通信部３２から出力された音声データは、音声データ処理部３９によりデコードされ、音声がスピーカ１９にて出力される。
受信側通信部３３から出力された画像データは、フレームメモリ４０に一時的に記憶されると同時に加算器４１に入力される。フレームメモリ４０に記憶された画像データは、１フレーム分の時間だけ遅れて加算器４１に入力される。
加算器４１は、受信側通信部３３から出力されたばかりの現在の画像（以下、現画像ともいう）と、フレームメモリ３４に一時的に記憶された直前の画像（以下、前画像ともいう）とを同時に動き算出器４２に対して出力する。なお、フレームメモリ４０に前画像が記憶されていない場合、すなわち撮影開始時には、加算器４１は、現画像のみを動き算出器４２に対して出力する。
動き算出器４２は、現画像４３を前画像４４（図４参照）と比較して、周知の空間的局所最適化法により動きベクトルを算出する。同様にして、受信側通信部３４〜３６から出力された画像データから、それぞれの動きベクトルが算出される。
受信側通信部３３〜３６から出力された画像データは、差分算出部４５にも入力される。撮像ユニットＵ１〜Ｕ４の撮影領域は、図４に破線で示すように、少しずつずれているが、破線の内側の領域は共通に撮影された領域である。差分算出部４５は、周知のように、同時に入力された画像データの画像４６〜４９（図４参照）の共通の領域間の相違（差分）を算出する。
４個の現画像の画像データとともに４個の動き算出器４２によって算出された各動きベクトルと差分算出部４５によって算出された差分が超解像処理部５０に入力される。超解像処理部５０は、同時に入力された差分及び４個の動きベクトルを用いて、４個の画像データを周知の超解像処理することにより、共通の領域５１が超解像度となる画像５２の画像データを生成してＬＣＤドライバ５３に出力する。なお、画像５２の領域５１の解像度は、撮像ユニットＵ１〜Ｕ４から出力される画像データの４倍の例えば１２８０×９６０ピクセルである。
本実施形態における「超解像処理」を簡単に説明する。周知のように、複数の低解像度画像（Ｎ次元ベクトル）Ｙ(k)（k=1,2,…,K）（Ｙ(k)は動画像データ中のフレーム番号kの１枚の画像データを表わす）と、超解像画像（Ｍ（＞Ｎ）次元ベクトル）ｘとの関連の最も単純なモデルは、Ｍ×Ｎ行列Ｈ(k)（k=1,2,…,K）を用いて、Y(k)＝Ｈ(k) ｘの式で与えられる。すなわち、超解像画像ｘは、この式において、Y(k)からｘを求めるという逆問題を解くことで求められる。この逆問題はバックプロジェクション法により解かれるが、その際に用いられる評価モデルの構築にパラメータとして動きベクトルと差分が用いられる。また、超解像処理の別の手法として、複数枚画像のずれを動きベクトルと差分から求めて、畳み込み演算によって求める方法もある。
超解像処理部５０から出力された画像データに基づいてＬＣＤドライバ５３が駆動され、ＬＣＤ１４に超解像度の画像５４が表示される。この画像５４は、３０フレーム／秒のフレームレートで書き換えられ、ＬＣＤ１４に動画が表示される。また、この動画に同期してスピーカ１９から音声が出力される。
このように構成された動画転送システム１０の作用について図６のフローチャートを参照して説明する。送信ステーション１２の多眼カメラ１１が動画撮影を開始すると、撮像ユニットＵ１〜Ｕ４から同期してフレーム画の撮像信号が読み出され（ｓｔ１）、これらのフレーム画の画像データ（例えば３２０×２４０ピクセル）が同期して送信側通信部２５〜２８からインターネット１３を介して受信ステーション１５の受信側通信部３３〜３６に転送される（ｓｔ２）。
撮像ユニットＵ１〜Ｕ４から出力されたフレーム画の画像データは、低解像度であるから、送信に要する負荷が少なく、高速な画像転送が行なわれる。また、画像データと同期してマイクロフォン１６から出力された音声信号が音声信号処理部２９を経て送信側通信部２４からインターネット１３を介して受信側通信部３２に送信される。
受信側通信部３３〜３６から出力された低解像度の画像データに基づいて動きベクトルが算出されるとともに（ｓｔ３）、差分が算出され（ｓｔ４）、これらを用いて超解像処理部５０により共通の領域５１が超解像度の画像データ（例えば１２８０×９６０ピクセル）が生成される（ｓｔ５）。この画像データに基づいてＬＣＤ１４に超解像度の画像５４が表示される（ｓｔ６）。なお、画像５４の周辺部は、超解像度ではないが、静止した背景の目立たない部分であるから実害はない。
ステップ１からステップ６までの一連のシーケンスが３０回／秒の速度で繰り返され、超解像度の動画がＬＣＤ１４に３０フレーム／秒で表示される。
以上説明した実施形態では、送信ステーションから受信ステーションに一方的に画像及び音声を転送する動画転送システムであったが、本発明はこれに限定されることなく、例えば、Ａ会議場及びＢ会議場に送信ステーション及び受信ステーションをそれぞれ設けることにより、Ａ会議場とＢ会議場との間で超解像度画像によるテレビ会議を行なうことができる。
上記実施形態では、フレームレートを３０フレーム／秒としたが、本発明はこれに限定されることなく、例えば６０フレーム／秒としてもよい。また、上記の解像度等の数値は一例であって、本発明はこれらの数値に限定されないのは勿論である。
１０ 動画転送システム
１１ 多眼カメラ
１２ 送信ステーション
１３ インターネット
１４ ＬＣＤ
１５ 受信ステーション
２４〜２８ 送信側通信部
３０，３７ ＴＧ
３１，３８ ＣＰＵ
３２〜３６ 受信側通信部
４０ フレームメモリ
４１ 加算器
４２ 動き算出器
４５ 差分算出部
５０ 超解像処理部
Ｕ１〜Ｕ４ 撮像ユニット
１１ 多眼カメラ
１２ 送信ステーション
１３ インターネット
１４ ＬＣＤ
１５ 受信ステーション
２４〜２８ 送信側通信部
３０，３７ ＴＧ
３１，３８ ＣＰＵ
３２〜３６ 受信側通信部
４０ フレームメモリ
４１ 加算器
４２ 動き算出器
４５ 差分算出部
５０ 超解像処理部
Ｕ１〜Ｕ４ 撮像ユニット
Claims (3)
- 同じ被写体を同期して動画撮影する複数個の動画撮影装置と、
前記動画撮影装置の各々から出力される画像を互いに送信タイミングを同期して一斉に通信ネットワークを介して送信する送信側通信部と、
前記送信側通信部から通信ネットワークを介して送られてきた各動画撮影装置毎の画像を受信する受信側通信部と、
同じタイミングで受信した各画像間の差分を算出する差分演算部と、
前記各動画撮影装置毎に受信した撮影時間が異なる複数個の画像に基づいて動きベクトルを求める動きベクトル演算部と、
前記差分と動きベクトルに基づいて同じタイミングで受信した複数個の画像を超解像処理することにより、各動画撮影装置毎に撮影された画像よりも高解像度の画像を生成する超解像処理部と、
前記超解像処理部から出力された高解像度の画像により動画を表示する表示部と
からなることを特徴とする動画転送システム。 - 前記動画撮影装置による動画撮影が行なわれている間に、前記被写体から発せられる音声を取得して音声信号を出力するマイクロフォンと、
前記音声信号を通信ネットワークを介して送信する音声用送信側通信部と、
前記音声用送信側通信部から通信ネットワークを介して送られてきた音声信号を受信する音声用受信側通信部と、
前記表示部に表示される動画に同期して、前記音声信号に基づいて音声を出力するスピーカと
を設けたことを特徴とする請求項１記載の動画転送システム。 - 前記請求項１または２記載の動画転送システムを用い、互いに隔てられた少なくとも２箇所の間で会議を行なうことを特徴とするテレビ会議システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007092652A JP2008252640A (ja) | 2007-03-30 | 2007-03-30 | 動画転送システム及びテレビ会議システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007092652A JP2008252640A (ja) | 2007-03-30 | 2007-03-30 | 動画転送システム及びテレビ会議システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008252640A true JP2008252640A (ja) | 2008-10-16 |
Family
ID=39977042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007092652A Abandoned JP2008252640A (ja) | 2007-03-30 | 2007-03-30 | 動画転送システム及びテレビ会議システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008252640A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109688366A (zh) * | 2018-12-29 | 2019-04-26 | 随锐科技股份有限公司 | 一种在线会议转移方法、装置及移动终端 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06292050A (ja) * | 1993-03-30 | 1994-10-18 | Canon Inc | 信号合成方法，信号合成装置および該装置を有する複眼撮像装置 |
| JP2001094857A (ja) * | 1999-08-09 | 2001-04-06 | Fuji Xerox Co Ltd | バーチャル・カメラの制御方法、カメラアレイ、及びカメラアレイの整合方法 |
| JP2002252844A (ja) * | 2001-02-26 | 2002-09-06 | Megafusion Corp | データ配信システム |
| JP2005515675A (ja) * | 2001-12-26 | 2005-05-26 | イェダ リサーチ アンド デベロップメント カンパニー リミテッド | ビデオの空間または時間解像度を高めるためのシステムおよび方法 |
-
2007
- 2007-03-30 JP JP2007092652A patent/JP2008252640A/ja not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06292050A (ja) * | 1993-03-30 | 1994-10-18 | Canon Inc | 信号合成方法，信号合成装置および該装置を有する複眼撮像装置 |
| JP2001094857A (ja) * | 1999-08-09 | 2001-04-06 | Fuji Xerox Co Ltd | バーチャル・カメラの制御方法、カメラアレイ、及びカメラアレイの整合方法 |
| JP2002252844A (ja) * | 2001-02-26 | 2002-09-06 | Megafusion Corp | データ配信システム |
| JP2005515675A (ja) * | 2001-12-26 | 2005-05-26 | イェダ リサーチ アンド デベロップメント カンパニー リミテッド | ビデオの空間または時間解像度を高めるためのシステムおよび方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109688366A (zh) * | 2018-12-29 | 2019-04-26 | 随锐科技股份有限公司 | 一种在线会议转移方法、装置及移动终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101893406B1 (ko) | 카메라의 이미지처리 장치 및 방법 | |
| JP5515472B2 (ja) | 撮像装置、撮像方法及びプログラム | |
| US8638374B2 (en) | Image pickup apparatus, image pickup system, and image pickup method | |
| JP5950678B2 (ja) | 撮像装置、制御方法、及びプログラム | |
| TW201215121A (en) | Camera system, video processing apparatus, and camera apparatus | |
| CN107592452B (zh) | 一种全景音视频采集设备及方法 | |
| KR101611531B1 (ko) | 촬영장치 및 촬영영상 제공방법 | |
| JP2012186719A (ja) | 映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び映像装置 | |
| JP2010171690A (ja) | テレビ会議システムおよび映像通信方法 | |
| JP2006238326A (ja) | カメラ装置システムおよび撮影動画像再生方法 | |
| JP2013225850A (ja) | 映像通信装置、映像通信サーバー及び映像通信のための映像処理方法 | |
| KR101806840B1 (ko) | 다수의 카메라를 이용한 고해상도 ３６０도 동영상 생성 시스템 | |
| KR20070058263A (ko) | 복수의 카메라를 이용한 파노라마 영상 촬영방법 | |
| JP2007096412A (ja) | 動画撮影装置及び動画送受信システム | |
| KR20130116796A (ko) | 카메라의 이미지 처리 장치 및 방법 | |
| JP6004978B2 (ja) | 被写体画像抽出装置および被写体画像抽出・合成装置 | |
| JP2013003339A (ja) | 画像表示システム及びその制御方法 | |
| JP2008252640A (ja) | 動画転送システム及びテレビ会議システム | |
| KR100581533B1 (ko) | 스테레오 카메라의 영상 합성장치 | |
| JP2016082398A (ja) | 撮像装置及びその制御方法ならびにプログラム | |
| JP2007074371A (ja) | 撮影装置、表示装置、および撮影表示システム | |
| JP2000324474A (ja) | カメラ画像伝送方法及びカメラ画像伝送システム | |
| KR100703713B1 (ko) | 3차원 영상 획득 및 디스플레이가 가능한 3차원 모바일 장치 | |
| JP2009038627A (ja) | 撮像装置 | |
| JP2012186685A (ja) | 画像認識表示システム及びこれに用いるカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090911 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111214 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20120126 |