JP2012186719A - 映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び映像装置 - Google Patents

映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び映像装置 Download PDF

Info

Publication number
JP2012186719A
JP2012186719A JP2011049373A JP2011049373A JP2012186719A JP 2012186719 A JP2012186719 A JP 2012186719A JP 2011049373 A JP2011049373 A JP 2011049373A JP 2011049373 A JP2011049373 A JP 2011049373A JP 2012186719 A JP2012186719 A JP 2012186719A
Authority
JP
Japan
Prior art keywords
frame image
image
conversion
conversion parameter
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011049373A
Other languages
English (en)
Other versions
JP5708051B2 (ja
Inventor
Maki Ishii
真樹 石井
Takeshi Namie
健史 浪江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2011049373A priority Critical patent/JP5708051B2/ja
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201280011861.9A priority patent/CN103430531B/zh
Priority to CA2828933A priority patent/CA2828933C/en
Priority to PCT/JP2012/056487 priority patent/WO2012121411A1/en
Priority to US14/003,371 priority patent/US9369627B2/en
Priority to SG2013064100A priority patent/SG192929A1/en
Priority to EP12754659.6A priority patent/EP2684349A4/en
Priority to KR1020137023454A priority patent/KR101514910B1/ko
Publication of JP2012186719A publication Critical patent/JP2012186719A/ja
Application granted granted Critical
Publication of JP5708051B2 publication Critical patent/JP5708051B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】カメラで撮影された映像や動画に対する画像変換の高速化及び効率化を実現する。
【解決手段】撮像装置１０と該撮像装置に接続された処理装置２０を備える。撮像装置１０は、フレーム画像を取得し、該フレーム画像を処理装置２０に送る。処理装置２０は、撮像装置１０から送られたフレーム画像から被写体領域を探索して画像変換のための変換パラメータを算出し、該変換パラメータを撮像装置１０に送る。撮像装置１０は、処理装置２０から送られた変換パラメータを画像処理ユニット内に設定し、該設定した変換パラメータを用いてフレーム画像に対して画像変換を施し、変換済みフレーム画像を処理装置２０に送る。
【選択図】図４

Description

本発明は、カメラで撮影した映像に画像変換を施す技術に係り、詳しくは、該画像変換処理を行う映像処理装置及び映像処理システム、映像処理装置を使用したテレビ会議システム、映像処理システムを使用した遠方監視システム、更には、映像処理方法、撮像装置に関する。
テレビ会議システムのテレビ端末等には、会議シーンを撮影するカメラ（撮像装置）が装備されているが、単に会議シーンを撮影するだけでなく、書画やホワイトボードなどを撮影して相手側と情報を共有するという使い方がある。この場合、撮影画像上の一部の領域に注目してその領域を拡大表示（デジタルズーム）したり、書画やホワイトボートを斜めから撮影した場合でも真正面から撮影しているかのように画像を補正（あおり補正）したりする画像変換処理が望まれる。これに関連して、デジタルカメラ向けのデジタルズームやあおり補正といった画像変換処理技術がすでに知られている（例えば、特許文献１、特許文献２等）。
しかしながら、今までの画像変換処理技術では、映像や動画のように連続したフレーム画像に対してリアルタイムにデジタルズームやあおり補正を行う場合には、映像装置内に、そのためのすべての機能を備えたＩＳＰ（Ｉmage Ｓignal Ｐrocessor）などのハードウエアを実装させることは困難であるという問題があった。例えば、あおり補正について云えば、撮影画像から被写体である書画やホワイトボートの領域（四辺形）を自動検出する処理は画像全体を探索する必要があるため、比較的複雑な処理となり、処理時間もかかり、映像や動画を対象とする場合には、ＩＳＰでのハードウエア実装が困難あるいは不可能である。
本発明は、撮像装置内のＩＳＰなどで、映像や動画のように連続したフレーム画像に対してリアルタイムに画像変換を行うことを可能して、画像変換の高速化及び効率化を実現することにある。
具体的には、本発明は、画像変換の高速化および効率化を実現した映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び撮像装置を提供することにある。
本発明では、撮像装置と処理装置を備えて、座標変換のような比較的軽い画像処理を撮像装置側でＩＳＰ等で行い、フレーム画像から被写体領域を探索して変換パラメータを算出するような複雑な処理を処理装置側でＣＰＵ等で行うことを基本とする。また、撮像装置から処理装置にフレーム画像及び変換済みフレーム画像の両方を伝送するか、変換パラメータを算出するためのフレーム画像の伝送レートを変換済みフレーム画像の伝送レートと異ならせる。
詳しくは、本発明は、撮像装置と該撮像装置に接続された処理装置とを具備した映像処理装置であって、前記撮像装置は、フレーム画像を取得する画像取得手段と、前記フレーム画像を前記処理装置に送るフレーム画像伝送手段と、前記処理装置から送られた変換パラメータを該撮像装置内に設定する変換パラメータ設定手段と、前記設定された変換パラメータを用いてフレーム画像に対して画像変換を施す画像変換手段と、変換済みフレーム画像を前記処理装置に送る変換済みフレーム画像伝送手段を有し、前記処理装置は、前記撮像装置から送られたフレーム画像を用いて画像変換のための変換パラメータを算出する変換パラメータ算出手段と、前記変換パラメータを前記撮像装置に送る変換パラメータ伝送手段を有することを特徴とする。そして、前記撮像装置のフレーム画像伝送手段と変換済みフレーム画像伝送手段とで伝送レートを変える。
また、本発明は、撮像装置と該撮像装置に接続された処理装置とがネットワークを介して接続されてなる映像処理システムであって、前記撮像装置は、フレーム画像を取得する画像取得手段と、前記フレーム画像を前記ネットワークを介して前記処理装置に送るフレーム画像伝送手段と、前記処理装置から前記ネットワークを付して送られた変換パラメータを該撮像装置内に設定する変換パラメータ設定手段と、前記設定された変換パラメータを用いてフレーム画像に対して画像変換を施す画像変換手段と、変換済みフレーム画像を前記ネットワークを介して前記処理装置に送る変換済みフレーム画像伝送手段を有し、前記処理装置は、前記撮像装置から前記ネットワークを介して送られたフレーム画像を用いて画像変換のための変換パラメータを算出する変換パラメータ算出手段と、前記変換パラメータを前記ネットワークを介して前記撮像装置に送る変換パラメータ伝送手段を有することを特徴とする。
また、本発明は、複数のテレビ会議端末がネットワークを介して接続されてなるテレビ会議システムであって、テレビ会議端末は、上記映像処理装置を備えていることを特徴とする。
また、本発明は、上記映像処理システムを利用した遠方監視システムであって、複数の撮像装置がネットワークを介して監視センタの処理装置に接続され、処理装置は、複数の撮像装置からネットワークを介して送られてくる映像をそれぞれ表示する表示手段を備えていることを特徴とする。
また、本発明は、撮像装置と該撮像装置に接続された処理装置とによりフレーム画像を処理する映像処理方法であって、前記撮像装置が、フレーム画像を取得し、該フレーム画像を前記処理装置に送る過程と、前記処理装置が、前記撮像装置から送られたフレーム画像を用いて画像変換のための変換パラメータを算出し、該変換パラメータを前記撮像装置に送る過程と、前記撮像装置が、前記処理装置から送られた前記変換パラメータを当該撮像装置内に設定し、該設定した変換パラメータを用いてフレーム画像に対して画像変換を施し、変換済みフレーム画像を前記処理装置に送る過程とを有することを特徴とする。
また、本発明は、フレーム画像を取得する画像取得手段と、画像変換に使用する変換パラメータの算出を依頼するためにフレーム画像を伝送するフレーム画像伝送手段と、受信された変換パラメータを設定する変換パラメータ設定手段と、前記設定された変換パラメータを用いてフレーム画像に対して画像変換を施す画像変換手段と、前記画像変換を施された変換済みフレーム画像を伝送する変換済みフレーム画像伝送手段とを有する撮像装置を特徴とする。
本発明によれば、座標変換のような比較的軽い画像処理を撮像装置で行い、フレーム画像から被写体領域を探索して変換パラメータを算出するような複雑な処理を処理装置で行うようにしたので、映像や動画のように連続したフレーム画像に対する画像変換の高速化及び効率化が可能になる。また、変換パラメータを算出するためのフレームレートの伝送レートを低くすることで、メインに伝送すべき変換済みフレーム画像の伝送を高速に行うことができる。
あおり補正の概念図である。 あおり変換の説明図である。 あおり補正の変換パラメータ算出の説明図である。 実施例１の映像処理装置の構成図である。 実施例１の映像処理装置の機能ブロック図である。 実施例１の映像処理装置の処理フローチャートである。 デジタルズームの概念図である。 デジタルズームの逆変換の説明図である。 デジタルズームの変換パラメータ算出の説明図である。 実施例２の映像処理装置の構成図である。 実施例２の映像処理装置の機能ブロック図である。 実施例２の映像処理装置の処理フローチャートである。 ズーム表示領域と状態遷移の説明図である。 実施例３の映像処理システムの構成図である。 実施例３の映像処理システムの機能ブロック図である。 実施例４の映像処理システムの構成図である。 実施例４の映像処理システムの機能ブロック図である。 実施例５のテレビ会議システムの構成図である。 実施例６の遠方監視システムの構成図である。
以下、本発明の実施の形態について図面を用いて説明する。なお、以下の実施形態では画像変換としてあおり補正とデジタルズームを取り上げるが、本発明は、これ以外の種々の画像変換にも適用できることは云うまでもない。
本実施例１は、撮像装置と該撮像装置に接続された処理装置とを備えて、撮像装置で撮影したフレーム画像に画像変換としてあおり補正を施して出力するに際して、撮像装置に接続された処理装置側で比較的複雑な処理を要する被写体領域の自動検出や変換パラメータの算出を行って、その変換パラメータを撮像装置側に送り、撮像装置側では、この変換パラメータを用いて比較的軽い画像変換処理であるあおり補正自体を行い、変換済みフレーム画像を処理装置側に送ることを特徴としている。さらに、撮像装置側から処理装置側へは、変換パラメータの算出のためにフレーム画像が送られるが、該フレーム画像と変換済みフレーム画像の伝送レートを異ならせることも特徴となっている。具体的にはフレーム画像の伝送レートを低くする。
はじめに、図１乃至図３によりあおり補正について説明する。
図１は、あおり補正の概念図であり、左側が被写体であるホワイトボードを斜めから撮影したフレーム画像、右側がフレーム画像に対してあおり補正を施した変換済みフレーム画像の一例をそれぞれ示している。あおり補正とは、被写体であるホワイトボードを斜めから撮影した場合でも、あたかも真正面から撮影したような画像を生成する処理である。
図２は、あおり変換（あおり補正の逆変換）を説明する図である。あおり変換とは、変換済みフレーム画像上の画素（ｘ，ｙ）からフレーム画像上の画素（ｘ’，ｙ’）への座標変換であり、変換式は、
Figure 2012186719
 のように、行列を用いて表すことができる。ここで、行列の要素ｋ０，ｋ１，ｋ２，ｋ３，ｋ４，ｋ５，ｋ６，ｋ７が変換パラメータである。
あおり補正を施した変換済みフレーム画像を生成するためには、変換済みフレーム画像上の各画素の輝度値に対応するフレーム画像上の画素の輝度値を決定する必要がある。そのためには、変換済みフレーム画像上の各画素が、元のフレーム画像上のどの画素に相当するのかを知る必要があり、その座標を算出するために上記式（１）の変換式を利用する。また、そのためには、予め変換パラメータを算出しておく必要がある。
図３は、変換パラメータの算出の仕方を説明する図である。変換パラメータは、フレーム画像上のホワイトボードの四隅の座標および変換済みフレーム画像の四隅の座標を用いて、
Figure 2012186719
 のような行列の方程式を解くことで算出することができる。
なお、変換済みフレーム画像の四隅の座標は変換済みフレーム画像のサイズに基づいて決まる。例えば画像の左上隅を原点とし、Ｘ座標の正を右方向、Ｙ座標の正を下方向とした場合、変換済みフレーム画像の大きさがＶＧＡ（640画素×480画素）であれば四隅の座標は（ｘ1’，ｙ1’）＝（0，0），（ｘ2’，ｙ2’）＝（639，0），（ｘ3’，ｙ3’）＝（0，479），（ｘ4’，ｙ4’）＝（639，479）となる。
本実施例１では、フレーム画像からホワイトボードの四隅の座標を検出して式（２）により変換パラメータを算出する比較的複雑な処理は処理装置側で行うようにし、フレーム画像に対して式（１）を利用して、あおり補正を施して変換済みフレーム画像を生成する比較的軽い処理は撮像装置側で行うようにする。さらに、撮像装置側から処理装置側へ、変換パラメータ算出のために送るフレーム画像の伝送レートと、変換済みフレーム画像を送る伝送レートとを異ならせるようにする。
図４に、本実施例１の映像処理装置の構成例を示す。実施例１の映像処理装置は少なくとも撮像装置１０と処理装置２０で構成される。処理装置２０は、例えばパソコンである。撮像装置１０と処理装置２０の間は有線（ＵＳＢ等）あるいは無線で接続される。
撮像装置１０はレンズ１１、該レンズ１１で結像された光学像を電気信号のフレーム画像に変換するＣＣＤやＣＭＯＳなどのセンサ１２、フレーム画像に対して各種画像処理を行うＩＳＰなどの画像処理ユニット１３、フレーム画像や変換済みフレーム画像、その他のデータ、制御信号などを処理装置２０とやり取りするＩ／Ｆユニット１４などで構成される。
処理装置２０は、撮像装置１０とフレーム画像や変換済みフレーム画像、その他のデータ、制御信号などをやり取りするＩ／Ｆユニット２１、種々の処理を実行するＣＰＵ２２、ＣＰＵ２２の処理に必要な各種ソフトウエアやデータ、フレーム画像や変換済みフレーム画像などを格納するメモリ２３、該処理装置２０に接続したモニタ（不図）などに映像信号を送る映像出力ユニット２４、映像信号などネットワークに接続した別の装置に送る通信ユニット２５、装置全体を制御する制御ユニット２６、各ユニットを接続するバス２７などで構成される。メモリ２３はＲＡＭ，ＲＯＭ，ＨＤＤなどの総称である。他にユーザからの操作指示受付ユニットなどもあるか、図４では省略してある。
この実施例１の映像処理装置は、撮像装置１０の画像処理ユニット１３があおり補正の画像変換機能を有し、処理装置２０のＣＰＵ２２が変換パラメータ算出機能を有する。
図５に、実施例１の映像処理装置の全体的機能ブロック図を示す。撮像装置１０では、画像取得部１２１がフレーム画像を生成し、画像変換部１３１およびフレーム画像伝送部１４２に送る。フレーム画像伝送部１４２はフレーム画像を処理装置２０に送る。処理装置２０では、変換パラメータ算出部２２１がフレーム画像から変換パラメータを算出し、変換パラメータ伝送部２１１に送る。変換パラメータ伝送部２１１は変換パラメータを撮像装置１０に送る。撮像装置１０では、変換パラメータ設定部１３２が変換パラメータを当該画像処理ユニット１３内に設定する。画像変換部１２１は、設定された変換パラメータをもとに、フレーム画像に対してあおり補正を施して変換済みフレーム画像を生成し、変換済みフレーム画像伝送部１４１に送る。変換済みフレーム画像伝送部１４１は変換済みフレーム画像を処理装置２０に送る。処理装置２０は、変換済みフレーム画像を該処理装置３０に接続されたディスプレイなどの映像出力装置に表示したり、ネットワークで接続された他の装置に送信したりする。
図６に、図５の機能ブロック図の処理フローチャートを示す。以下、図６に従って実施例１の撮像装置１０と処理装置２０の動作を詳しく説明する。
撮像装置１０は、画像取得部（センサ）１２１が光学像を電気信号に変換してフレーム画像を生成し、画像変換部１３１及びフレーム画像伝送部１４２に送る（ステップ１０１０）。フレーム画像伝送部１４２は、このフレーム画像を処理装置２０に送る（ステップ１０２０）。このフレーム画像は、変換パラメータを算出するために使用されるもので、必ずしもリアルタイムに処理装置２０へ送る必要はない。したがって、変換済みフレーム画像伝送部１４１からの変換済みフレーム画像の伝送レートよりも低レートの伝送で構わない。
処理装置２０は、変換パラメータ算出部（ＣＰＵ）２２１が、フレーム画像から変換パラメータを算出する（ステップ１０３０）。具体的には、変換パラメータ算出部２２１では、フレーム画像から被写体であるホワイトボードの領域を検出し、その領域の四隅の座標及び画像サイズに基づいて予め決まる変換済みフレーム画像の四隅の座標を先の式（２）の方程式に代入して、該方程式を解くことで変換パラメータを算出する（図３参照）。
ここで、フレーム画像からホワイトボートの四隅の座標を検出する処理は、例えば、次のようにして行う。
Ｓｔｅｐ１：フレーム画像から濃淡画像（輝度画像）を生成
Ｓｔｅｐ２：濃淡画像からエッジを検出し、ホワイトボードの周囲の四辺を検出
Ｓｔｅｐ３：隣接する二辺の交点を算出して、ホワイトボードの四隅の座標を算出
なお、例えば特許文献３にもホワイトボート領域の自動検出方法が開示されており、ここに開示されているような方法を用いて、フレーム画像からホワイトボードの領域を検出することでもよい。
図６に戻り、処理装置２０の変換パラメータ伝送部２１１は、変換パラメータを撮像装置１０に送る（ステップ１０４０）。
撮像装置１０は、変換パラメータ設定部１３２にて、処理装置２０から送られてきた変換パラメータを画像処理ユニット（ＩＳＰ等）１３内のメモリに設定する（ステップ１０５０）。
画像変換部１３１は、画像処理ユニット１３内に設定されている変換パラメータを使用して、画像取得部１２１から送られてきたフレーム画像に対してあおり変換を施し、変換済みフレーム画像を生成する（ステップ１０６０）。具体的には、次のように処理する（図２参照）。
Ｓｔｅｐ１：変換済みフレーム画像において輝度値を算出する画素を決定（その座標を（ｘ，ｙ）とする）
Ｓｔｅｐ２：式（１）の変換式を用いて座標（ｘ，ｙ）に対応するフレーム画像上の画素の座標（ｘ’，ｙ’）を算出
Ｓｔｅｐ３：座標（ｘ’，ｙ’）の輝度値を算出
Ｓｔｅｐ４：座標（ｘ’，ｙ’）の輝度値を座標（ｘ，ｙ）の輝度値に設定
画像変換部１３１では、変換済みフレーム画像上の全ての画素の輝度値を決定するまで、Ｓｔｅｐ１〜４の処理を繰り返すことになる。
変換済みフレーム画像伝送部１４１は、処理装置２０に変換済みフレーム画像を送る（ステップ１０７０）。実際には、画像変換部１３１と変換済みフレーム画像伝送部１４１は平行して動作する。また、変換済みフレーム画像の伝送は、先の変換パラメータ算出のために送られるフレーム画像に比べて高速に行なわれる。
処理装置２０は、撮像装置１０から送られてくる変換済みフレーム画像を映像出力ユニット２４や通信ユニット２５などを通して、ディスプレイなどの映像出力装置に表示したり、ネットワークを介して他の装置に送信したりする。
なお、フレーム画像上のホワイトボード領域の座標が変化しない（ホワイトボードやカメラの位置が変わらない）場合、変換パラメータをフレーム画像ごとに再計算する必要はない。従って、実際には次のような方法とすることが好ましい。これにより、処理の効率化が可能になる。
方法１：ホワイトボードやカメラの位置が変わった場合に、ユーザ指示で変換パラメータを再計算する。この場合、ユーザ指示があった場合にだけ、撮像装置１０は、フレーム画像伝送部１４２から処理装置２０にフレーム画像を送る。処理装置２０は、フレーム画像が送られてくると、変換パラメータ算出部２１１で変換パラメータを再計算して、変換パラメータ伝送部２１１から撮像装置１０に変換パラメータを送る。撮像装置１０は、変換パラメータ設定部１３２で変換パラメータを再設定し、画像変換部１３１では設定されている変換パラメータを使用して、画像取得部１２１から送られてきたフレーム画像に対してあおり補正をひたすら行う。
方法２：ホワイトボードやカメラの位置が変化する／しないに関わらず一定時間ごとに変換パラメータを再計算する。この場合、撮像装置１０は、一定時間ごとにフレーム画像伝送部１４２から処理装置２０にフレーム画像を送る。処理装置２０も一定時間ごとに、変換パラメータ算出部２１１で変換パラメータを再計算して、変換パラメータ伝送部２１１から撮像装置１０に該変換パラメータを送る。撮像装置１０は、変換パラメータ設定部１３２で変換パラメータを再設定し、画像変換部１３１では設定されている変換パラメータを使用して、画像取得部１２１から送られてきたフレーム画像に対してあおり補正をひたすら行う。
実施例１の映像処理装置によれば、撮影して得られたフレーム画像からあおり補正を施した変換済みフレーム画像を高速かつ効率的に生成することができる。また、変換パラメータを算出するためのフレーム画像の伝送レートを低くすることで、メインに伝送するべき変換済みフレーム画像の伝送を高速に行うことができる。
本実施例２は、撮像装置と該撮像装置に接続された処理装置とを備えて、撮像装置で撮影したフレーム画像に画像変換としてデジタルズームを施して出力するに際して、撮像装置に接続された処理装置側でデジタルズームに必要な変換パラメータの算出を行って、その変換パラメータを撮像装置側に送り、撮像装置側では、この変換パラメータを用いてデジタルズーム処理を行い、デジタルズームの施された変換済みフレーム画像を処理装置側に送ることを特徴としている。さらに、本実施例でも、撮像装置側から処理装置側へは、変換パラメータの算出のためにフレーム画像が送られるが、該フレーム画像と変換済みフレーム画像の伝送レートを異ならせる（フレーム画像の伝送レートを低くする）ことも特徴となっている。
はじめに、図７乃至図９によりデジタルズームについて説明する。
図７は、デジタルズームの概念図であり、左側が被写体であるホワイトボードを撮影したフレーム画像、右側がフレーム画像に対してデジタルズーム（ズームイン）に相当する処理を施した変換済みフレーム画像の一例をそれぞれ示している。
図８は、デジタルズームの逆変換を説明する図である。ここでいうデジタルズームの逆変換とは、変換済みフレーム画像上の画素（ｘ，ｙ）からフレーム画像上の画素（ｘ’，ｙ’）への座標変換であり、変換式は、
Figure 2012186719
 のように、行列を用いて表すことができる。式（３）は先の式（１）と同じであり、変換パラメータは行列の要素ｋ０，ｋ１，ｋ２，ｋ３，ｋ４，ｋ５，ｋ６，ｋ７である。
デジタルズームを施した変換済みフレーム画像を生成するためには、変換済みフレーム画像上の各画素の輝度値に対応するフレーム画像上の画素の輝度値を決定する必要がある。そのためには変換済みフレーム画像上の各画素が、もとのフレーム画像上のどの画素に相当するのかを知る必要があり、その座標を算出するために上記の式（３）を利用する。また、そのためには、あらかじめ変換パラメータを算出しておく必要がある。
図９は、変換パラメータの算出の仕方を説明する図である。これは、先の図３と基本的に同じである。すなわち、変換パラメータは、フレーム画像上のズーム表示領域の四隅の座標および変換済みフレーム画像の四隅の座標を用いて、
Figure 2012186719
 のような行列の方程式を解くことで算出することができる。フレーム画像上のズーム表示領域はズームボタンの押下状況によって決まる。一方、変換済みフレーム画像の四隅の座標は、実施例１と同様に変換済みフレーム画像のサイズに基づいて一義的に決まる。
本実施例２では、実施例１と同様に、フレーム画像上のズーム表示領域の四隅の座標を取得して式（４）により変換パラメータを算出する比較的複雑な処理は処理装置側で行うようにし、式（３）を利用してデジタルズーム処理を行い、デジタルズームを施した変換済みフレーム画像を生成する比較的軽い処理は撮像装置側で行うようにする。さらに、ここでも撮像装置側から処理装置側へ、変換パラメータ算出のために送るフレーム画像の伝送レートと、変換済みフレーム画像を送る伝送レートを異ならせるようにする。
図１０に、実施例２の映像処理装置の構成例を示す。実施例２の映像処理装置も少なくとも撮像装置３０と処理装置（パソコン等）４０で構成される。撮像装置３０と処理装置４０の間は有線（ＵＳＢ等）あるいは無線で接続される。
撮像装置３０はレンズ３１、該レンズ３１で結像された光学像を電気信号のフレーム画像に変換するＣＣＤやＣＭＯＳなどのセンサ３２、フレーム画像に対して各種画像処理を行うＩＳＰなどの画像処理ユニット３３、フレーム画像や変換済みフレーム画像、その他のデータ、制御信号などを処理装置４０とやり取りするＩ／Ｆユニット３４などで構成される。
処理装置４０は、撮像装置３０とフレーム画像や変換済みフレーム画像、その他のデータ、制御信号などをやり取りするＩ／Ｆユニット４１、種々の処理を実行するＣＰＵ４２、ＣＰＵ４２の処理に必要な各種ソフトウエアやデータ、フレーム画像や変換済みフレーム画像などを格納するメモリ４３、ユーザからズーム指示を受け付けるズーム指示受付ユニット４４、該処理装置４０に接続したモニタなどに映像信号を送映像出力ユニット４５、映像信号などのネットワークに接続した別の装置に送る通信ユニット４６、装置全体を制御する制御ユニット４７、各ユニットを接続するバス４８などで構成される。ここでも、メモリ４３はＲＡＭ，ＲＯＭ，ＨＤＤなどの総称である。
この実施例２の映像処理装置は、撮像装置３０の画像処理ユニット３１がデジタルズームの画像変換機能を有し、処理装置４０のＣＰＵ４２が変換パラメータ算出機能を有する。
なお、ユーザからのズーム指示を受け付ける方法としては、処理装置４０の自体のズームイン／ズームアウトのボタンや、操作リモコンのズームイン／ズームアウトのボタンなどが考えられる。以下では、処理装置４０自体に備えられたズームインボタンとズームアウトボタンでユーザの指示を受け付ける場合について説明する。
図１１に、実施例２の映像処理装置の全体的機能ブロック図を示す。撮像装置３０では、像取得部３２１がフレーム画像を生成し、画像変換部３３１およびフレーム画像伝送部３４２に送る。フレーム画像伝送部３４２はフレーム画像を処理装置４０に送る。処理装置３０では、ズーム指示受付部４４１がユーザからのズームイン／ズームアウトの指示があった場合に制御部４７１に通知し、制御部４７１から変換パラメータ算出部４２１に対して変換パラメータの算出を指示する。変換パラメータ算出部４２１はフレーム画像およびズームボタンの押下状況から変換パラメータを算出し、変換パラメータ伝送部４１１に送る。変換パラメータ伝送部４１１は変換パラメータを撮像装置３０に送る。撮像装置３０では、変換パラメータ設定部３２２が変換パラメータを当該画像処理ユニット３３内に設定する。画像変換部３３１は、設定された変換パラメータを用いて変換式をもとにフレーム画像に対してデジタルズーム処理を施して変換済みフレーム画像を生成し、変換済みフレーム画像伝送部３４１に送る。変換済みフレーム画像伝送部３４１は変換済みフレーム画像を処理装置４０に送る。処理装置４０では、変換済みフレーム画像を該処理装置４０に接続されたディスプレイなどの映像出力装置に表示したり、ネットワークで接続された他の装置に送信したりする。
なお、ユーザからズーム指示がない場合には、撮像装置３０では、画像変換部３３１は画像取得部３２１からのフレーム画像をそのまま変換済みフレーム画像伝送部３４１に送り、変換済みフレーム画像伝送部３４１も、このフレーム画像をそのまま処理装置４０に送ることになる。
図１２に、図１１の機能ブロック図の処理フローチャートを示す。以下、図１２に従って実施例２の撮像装置３０と処理装置４０の動作を詳しく説明する。
撮像装置３０は、画像取得部（センサ）３２１がレンズを通った光学像を電気信号に変換してフレーム画像を生成し、画像変換部３３１及びフレーム画像伝送部３４２に送る（ステップ２０１０）。図１２では省略したが、通常では、画像変換部３３１は画像取得部３２１からのフレーム画像をそのまま変換済みフレーム画像伝送部３４１に送り、変換済みフレーム画像伝送部３４１は同様に、このフレーム画像をそのまま処理装置４０に送る。
一方、フレーム画像伝送部３４２も、フレーム画像を処理装置４０に送る（ステップ２０２０）。本実施例２でも、このフレーム画像は変換パラメータを算出するために使用されるもので、必ずしもリアルタイムに処理装置４０へ送る必要はない。したがって、変換済みフレーム画像伝送部３４１から送出されるフレーム画像あるいは変換済みフレーム画像の伝送レートよりも低レートの伝送で構わない。
なお、フレーム画像伝送部３４２は、ユーザからズーム指示があった場合のみフレーム像を処理装置４０に送ることでもよい。ユーザからズーム指示があったことは後述する処理装置４０のフレーム指示受付部４４１あるいは制御部４７１が通知すればよい。
処理装置４０は、当該処理装置自体などに備えられたズームイン／ズームアウトボタンでユーザがズーム指示があった場合、ズーム指示受付部４４１が、このズーム指示を受け付けて制御部４７１に通知する（ステップ２０３０）。制御部４７１は、変換パラメータ算出部４２１に対して変換パラメータの算出を指示する（ステップ２０４０）。
変換パラメータ算出部４２１では、フレーム画像上のズーム表示領域の四隅の座標および変換済みフレーム画像の四隅の座標からデジタルズームの変換パラメータを算出する（ステップ２０５０）。具体的には、フレーム画像上のズーム表示領域の四隅の座標を式（４）の方程式に代入して、該方程式を解くことで変換パラメータを算出する（図９参照）。ズーム表示像域については後述する。変換パラメータ伝送部４１１は、変換パラメータを撮像装置３０に送る（ステップ２０６０）。
撮像装置３０は、変換パラメータ設定部３３２にて、処理装置４０から送られてきた変換パラメータを当該画像処理ユニット３３内のメモリに設定する（ステップ２０７０）。
画像変換部３３１は、当該画像処理ユニット３３内に設定されている変換パラメータを使用して、画像取得部３２１から送られてきたフレーム画像に対してデジタルズームを施し、変換済みフレーム画像を生成する（ステップ２０８０）。具体的には、次のように処理する（図８参照）。これは、あおり補正の場合と基本的に同じである。
Ｓｔｅｐ１：変換済みフレーム画像において輝度値を算出する画素を決定（その座標を（ｘ，ｙ）とする）。
Ｓｔｅｐ２：式（３）の変換式を用いて座標（ｘ，ｙ）に対応するフレーム画像上の画素の座標（ｘ’，ｙ’）を算出
Ｓｔｅｐ３：座標（ｘ’，ｙ’）の輝度値を算出
Ｓｔｅｐ４：座標（ｘ’，ｙ’）の輝度値を座標（ｘ，ｙ）の輝度値に設定
画像変換部３３１では、変換済みフレーム画像上の全ての画素の輝度値を決定するまで、Ｓｔｅｐ１〜４の処理を繰り返すことになる。
変換済みフレーム画像伝送部３４１は、処理装置４０に変換済みフレーム画像を送る（ステップ２０９０）。実際には、画像変換部３３１と変換済みフレーム画像伝送部３４１は平行して動作する。
以降、ズームボタンの押下状況が変化していなければ、画像変換部３３１は、設定されている変換パラメータをひたすら使用して、フレーム画像に対してデジタルズーム処理を行い、変換済みフレーム画像伝送部３４１は順次、その変換済みフレーム画像を処理装置４０に送る。
処理装置４０は、撮像装置３０から送られてくる変換済みフレーム画像を映像出力ユニット２４や通信ユニット２５などを通して、ディスプレイなどの映像出力装置に表示したり、ネットワークを介して他の装置に送信したりする（ステップ２１００）。
図１３は、フレーム画像のズーム表示領域とズームイン／ズームアウトボタン押下の関係を示したものである。ズーム表示領域とは、左図に示すようにフレーム画像と同一の中心を有する矩形領域である。複数のズーム表示領域が事前に決められており、ズームインボタン／ズームアウトボタンの押下状態でどのズーム表示領域を表示するかが決まる。その状態遷移を右図に示す。状態に関する情報は処理装置側で保持しておく必要があり、ズームインボタン／ズームアウトボタンが押下されるたびに状態を更新することになる。
実際の状態遷移について簡単に説明する。初期状態からズームインボタンが押下されると、ズーム表示領域１を表示するようにデジタルズーム処理を行い、状態１に遷移する。状態１で更にズームインボタンが押下されれば、ズーム表示領域２を表示するようにデジタルズーム処理を行い、状態２に遷移する。また状態２でズームアウトボタンが押下されれば、ズーム表示領域１を表示するようにデジタルズーム処理を行い、状態１に戻る。
実施例２の映像処理装置によれば、撮影して得られたフレーム画像からズームイン／ズームアウト（デジタルズーム）を施した変換済みフレーム画像を高速かつ効率的に生成することができる。また、変換パラメータを算出するためのフレーム画像の伝送レートを低くすることで、メインに伝送するべき変換済みフレーム画像の伝送を高速に行うことができる。
なお、実施例１と実施例２を一緒にすることも可能である。その場合、大部分の構成・機能を共通化できる。
本実施例３は、実施例１をネットワーク環境に拡張し、撮像装置と処理装置がネットワークで接続された映像処理システムにおいて、処理装置であおり補正に必要な変換パラメータを算出して、その変換パラメータを撮像装置に送り、撮像装置では、この変換パラメータを使用して、撮影して得られたフレーム画像に対してあおり補正を行い、あおり補正された変換済みフレーム画像を処理装置に送ることを特徴としている。また、撮像装置から処理装置へは、変換パラメータの算出のためにフレーム画像を送るが、本実施例３でも、該フレーム画像と変換済みフレーム画像の伝送レートを異ならせる（フレーム画像の伝送レートを低くする）ことも特徴となっている。
図１４に、実施例３の映像処理システムの構成例を示す。実施例３の映像処理システムは撮像装置５０、処理装置６０、及びネットワーク９０で構成される。処理装置６０は例えば監視センタである。
撮像装置５０はレンズ５１、該レンズ５１で結像された光学像を電気信号のフレーム画像に変換するＣＣＤやＣＭＯＳなどのセンサ５２、フレーム画像に対して各種画像処理を行うＩＳＰなどの画像処理ユニット５３、フレーム画像や変換済みフレーム画像、変換パラメータ、制御信号などをネットワーク９０を介して処理装置６０と送受信する通信ユニット５４などで構成される。
処理装置６０は、種々の処理を実行するＣＰＵ６１、ＣＰＵ６１の処理に必要な各種ソフトウエアやデータ、フレーム画像や変換済みフレーム画像などを格納するメモリ６２、該処理装置６０に接続したモニタなどに映像信号を送る映像出力ユニット６３、フレーム画像や変換済みフレーム画像、変換パラメータ、制御信号などをネットワーク９０を介して撮像装置５０と送受信する通信ユニット６４、装置全体を制御する制御ユニット６５、及び、各ユニットを接続するバス６６などで構成される。メモリ６２はＲＡＭ，ＲＯＭ，ＨＤＤなどの総称である。処理装置６０は、他にユーザからの操作指示受付ユニットなどもあるか、図１４では省略してある。
先の実施例１と同様に、この実施例３においても、撮像装置５０の画像処理ユニット５３があおり補正の画像変換機能を有し、処理装置６０のＣＰＵ６１があおり補正に用いる変換パラメータの算出機能を有する。
図１５に、実施例３の映像処理システムの全体的機能ブロック図を示す。撮像装置５０では、画像取得部５２１がフレーム画像を生成し、画像変換部５３１およびフレーム画像伝送部５４２に送る。フレーム画像伝送部５４２は、このフレーム画像をネットワーク９０を介して処理装置６０に送る。処理装置６０では、変換パラメータ算出部６１１がフレーム画像から変換パラメータを算出し、変換パラメータ伝送部６４１に送る。変換パラメータ伝送部６４１は、この変換パラメータをネットワーク９０を介して撮像装置５０に送る。撮像装置５０では、変換パラメータ設定部５３２が変換パラメータを当該処理ユニット内に設定する。画像変換部５３１は、設定された変換パラメータを用いてフレーム画像に対して画像変換を施してこの変換済みフレーム画像を生成し、変換済みフレーム画像伝送部５４１に送る。変換済みフレーム画像伝送部５４１は、この変換済みフレーム画像をネットワーク９０を介して処理装置６０に送る。処理装置６０では、この変換済みフレーム画像を該処理装置６０に接続されたディスプレイなどの映像出力装置に表示する。
あおり補正に必要な変換パラメータの算出のやり方、フレーム画像に対するあおり補正処理のやり方などは、先の実施例１と同様であるので、説明は省略する。
実施例３においても、撮像装置５０から処理装置６０に送られるフレーム画像は、変換パラメータを算出するために使用されるもので、必ずしもリアルタイムに処理装置５０へ送る必要はない。したがって、フレーム画像は、変換済みフレーム画像の伝送レートより低いレートの伝送で構わない。さらに、先の実施例１で述べたように、フレーム画像は、一定時間毎あるいはユーザ指示があった場合にだけ送ることでもよい。これにより、処理の効率化が可能になると共に、ネットワーク９０の有効利用が可能になる。
本実施例４は、実施例２をネットワーク環境に拡張し、撮像装置と処理装置がネットワークで接続された映像処理システムにおいて、処理装置でデジタルズームに必要な変換パラメータを算出して、その変換パラメータを撮像装置に送り、撮像装置では、この変換パラメータを使用して、撮影して得られたフレーム画像に対してデジタルズームを行い、デジタルズームされた変換済みフレーム画像を処理装置に送ることを特徴としている。また、撮像装置から処理装置へは、変換パラメータの算出のためにフレーム化画像を送るが、本実施例４でも、該フレーム画像と変換済みフレーム画像の伝送レートを異ならせる（フレーム画像の伝送レートを低くする）ことも特徴となっている。
図１６に、実施例４の映像処理システムの構成例を示す。実施例３と同様に実施例４の映像処理システムは撮像装置７０、処理装置８０、及びネットワーク９０で構成される。ここでも処理装置６０は例えば監視センタなどである。
撮像装置７０はレンズ７１、該レンズ７１で結像された光学像を電気信号のフレーム画像に変換するＣＣＤやＣＭＯＳなどのセンサ７２、フレーム画像に対して各種画像処理を行うＩＳＰなどの画像処理ユニット７３、フレーム画像や変換済みフレーム画像、変換パラメータ、制御信号などをネットワーク９０を介して処理装置８０と送受信する通信ユニット７４などで構成される。
処理装置８０は、種々の処理を実行するＣＰＵ８１、ＣＰＵ８１の処理に必要な各種ソフトウエアやデータ、フレーム画像や変換済みフレーム画像などを格納するメモリ８２、ユーザからズーム指示を受け付けるズーム指示受付ユニット８３、該処理装置８０に接続したモニタなどに映像信号を送る映像出力ユニット８４、フレーム画像や変換済みフレーム画像、変換パラメータ、制御信号などをネットワーク９０を介して撮像装置７０と送受信する通信ユニット８５、装置全体を制御する制御ユニット８６、及び、各ユニットを接続するバス８７などで構成される。メモリ８２はＲＡＭ，ＲＯＭ，ＨＤＤなどの総称である。
先の実施例２と同様に、この実施例４においても、撮像装置７０の画像処理ユニット７３がデジタルズーム補正の画像変換機能を有し、処理装置８０のＣＰＵ８１がデジタルズーム処理に用いる変換パラメータの算出機能を有する。
図１７に、実施例４の映像処理システムの全体的機能ブロック図を示す。撮像装置７０では、画像取得部７２１がフレーム画像を生成し、画像変換部７３１およびフレーム画像伝送部７４２に送る。フレーム画像伝送部７４２は、このフレーム画像をネットワーク９０を介して処理装置８０に送る。処理装置８０では、ズーム指示受付部８３１がユーザからのズームイン／ズームアウトの指示があった場合に制御部８６１に通知し、制御部８６１から変換パラメータ算出部８１１に対して変換パラメータの算出を指示する。変換パラメータ算出部８１１はフレーム画像およびズームボタンの押下状況から変換パラメータを算出し、変換パラメータ伝送部８５１に送る。変換パラメータ伝送部８５１は、この変換パラメータをネットワーク９０を介して撮像装置７０に送る。撮像装置７０では、変換パラメータ設定部７３２が、この変換パラメータを当該画像処理ユニット７３内に設定する。画像変換部７３１は、設定された変換パラメータを用いてフレーム画像に対してデジタルズーム処理を施して変換済みフレーム画像を生成し、変換済みフレーム画像伝送部７４１に送る。変換済みフレーム画像伝送部７４１は、この変換済みフレーム画像をネットワーク９０を介して処理装置８０に送る。処理装置８０では、この変換済みフレーム画像を該処理装置８０に接続されたディスプレイなどの映像出力装置に表示する。
なお、ユーザからズーム指示がない場合には、撮像装置７０では、画像変換部７３１は画像取得部７２１からのフレーム画像をそのまま変換済みフレーム画像伝送部７４１に送り、変換済みフレーム画像伝送部７４１も、このフレーム画像をそのまま処理装置８０に送ることになる。
デジタルズーム処理に必要な変換パラメータの算出のやり方、フレーム画像に対するデジタルズーム処理のやり方などは、先の実施例２と同様であるので、説明は省略する。
実施例４においても、フレーム画像伝送部７４２から処理装置８０に送られるフレーム画像は、変換パラメータを算出するために使用されるもので、必ずしもリアルタイムに処理装置８０へ送る必要はない。したがって、変換済みフレーム画像伝送部７４１から処理装置８０に送られるフレーム画像あるいは変換済みフレーム画像の伝送レートより低いレートの伝送で構わない。さらに、先の実施例２で述べたように、フレーム画像伝送部７４２は、ズームイン／ズームアウト指示があった場合にだけフレーム画像を送ることでもよい。これにより、処理の効率化が可能になると共に、ネットワーク９０の有効作用が可能になる。
なお、ここでも実施例３と実施例４を一緒にすることが可能である。その場合、大部分の構成・機能を共通化できる。
本実施例５は実施例１及び／又は実施例２の映像処理装置を使用したテレビ会議システムを特徴としている。
図１８に、本実施例５のテレビ会議システムの概略構成図を示す。本テレビ会議システムは、複数のテレビ会議端末３０００と、これらテレビ会議端末３０００が接続されるネットワーク４０００で構成される。テレビ会議端末３０００は撮像装置３０１０と処理装置３０２０を具備している。該撮像装置３０１０と処理装置３０２０は、実施例１又は実施例２、あるいは両者の機能を一緒にした映像処理装置と同様の構成である。ここでは、実施例１と実施例２の機能を一緒にした装置構成とする。図１８では省略したが、テレビ会議端末３０００は、マイク、スピーカ、ディスプレイなども備え、撮像装置３０１０と同様に、処理装置３０２０に接続されている。
実施例１で説明したように、あるテレビ会議端末３０００の撮像装置３０１０で撮影された映像は、当該テレビ会議端末３０００内の撮像装置３０１０と処理装置３０２０の協同によりあおり補正を施されて、当該テレビ会議端末３０００内のディスプレイに表示されると同時に、このあおり補正された映像は、ネットワーク４０００に接続された他のテレビ会議端末３０００にも伝送されて、そのディスプレイに表示される。
また、実施例２で説明したように、あるテレビ会議端末３０００において、ユーザがズームイン／ズームアウトボタンを押下すると、当該テレビ会議端末３０００内の同じく撮像装置３０１０と処理装置３０２０の協同によりデジタルズーム処理が施されて、デジタルズーム映像が、当該テレビ会議端末３０００のディスプレイに表示されると同時に、ネットワーク４０００に接続された他のテレビ会議端末３０００にも伝送されて、そのディスプレイに表示される。
本実施例５のテレビ会議システムによれば、ネットワークに接続された複数のテレビ会議端末で、あおり補正やデジタルズームの施された映像をリアルタイムに表示することが可能になる。
本実施例６は実施例３及び／又は実施例４の映像処理システムを使用した遠方監視システムを特徴としている。
図１９に、本実施例６の遠方監視システムの概略構成図を示す。本遠方監視システムは、複数の撮像装置５０００、センタ装置６０００、及び、これら撮像装置５０００とセンタ装置６０００を接続するネットワーク５０００で構成される。ここで、撮像装置５０００は、それぞれ被監視場所に設置されて使用される。センタ装置６０００は監視センタなどに設置される。該センタ装置６０００は、処理装置６０１０と、複数の撮像装置５０００とそれぞれ対応する複数のディスプレイ６０２０からなる。なお、ディスプレイ６０２０は一台とし、各撮像装置５０００の映像をマルチ表示することでもよい。
本遠方監視システムは、撮像装置が複数あることを除けば、実施例３又は実施例４、あるいは両者の機能を一緒にした映像処理システムと同様の構成である。ここでは、実施例３と実施例４の機能を一緒にしたシステム構成とする。
実施例３で説明したように、ある撮像装置５０００で撮影された映像は、当該装置５０００とセンタ装置６０００内の処理装置６０１０の協同によりあおり補正処理を施されて、センタ装置６０００内の該撮像装置５０００に対応するディスプレイ６０２０上に表示される。他の撮像装置５０００で撮像された映像も、同様にあおり補正処理を施されて、センタ装置６０００内の該撮像装置５０００に対応するディスプレイ６０２０上に表示される。
また、実施例４で説明したように、ある撮影装置５０００で撮影中の映像に対して監視者からズームイン／ズームアウトの指示があった場合には、当該撮像装置５０００とセンタ装置６０００内の処理装置６０１０の協同により、該撮像装置５０００の映像に対してデジタルズーム処理が施されて、センタ装置６０００内の該撮像装置５０００に対応するディスプレイ６０２０上の映像がズームイン／ズームアウト表示にかわる。
１０，３０，５０，７０ 撮像装置
２０，４０，６０，８０ 処理装置
９０ ネットワーク
１２１，３２１，５２１，７２１ 画像取得部
１３２，３３１，５３１，７３１ 画像変換部
１３２，３３２，５３２，７３２ 変換パラメータ設定部
１４１，３４１，５４１，７４１ 変換済みフレーム画像伝送部
１４２，３４２，５４２，７４２ フレーム画像伝送部
２１１，４１１，６４１，８５１ 変換パラメータ伝送部
２２１，４２１，６１１，８１１ 変換パラメータ算出部
４４１，８３１ ズーム指示受付部
３０００ テレビ会議端末
３０１０ 撮像装置
３０２０ 処理装置
４０００ ネットワーク
５０００ 撮像装置
６０００ センタ装置
６０１０ 処理装置
６０２０ ディスプレイ
７０００ ネットワーク
特開２００４−７２１８１号公報 特開２００８−６０８２７号公報 特開２００７−６７８４７号公報

Claims (20)

  1. 撮像装置と該撮像装置に接続された処理装置とを具備し、
    前記撮像装置は、フレーム画像を取得する画像取得手段と、前記フレーム画像を前記処理装置に送るフレーム画像伝送手段と、前記処理装置から送られた変換パラメータを該撮像装置内に設定する変換パラメータ設定手段と、前記設定された変換パラメータを用いてフレーム画像に対して画像変換を施す画像変換手段と、変換済みフレーム画像を前記処理装置に送る変換済みフレーム画像伝送手段を有し、
    前記処理装置は、前記撮像装置から送られたフレーム画像を用いて画像変換のための変換パラメータを算出する変換パラメータ算出手段と、前記変換パラメータを前記撮像装置に送る変換パラメータ伝送手段を有する、
    ことを特徴とする映像処理装置。
  2. 前記撮像装置のフレーム画像伝送手段と変換済みフレーム画像伝送手段とで伝送レートを変えることを特徴とする請求項１に記載の映像処理装置。
  3. 前記撮像装置の画像変換手段は、フレーム画像に対してあおり補正を施し、
    前記処理装置の変換パラメータ算出手段は、フレーム画像から被写体領域を検出して、あおり補正のための変換パラメータを算出する、
    ことを特徴とする請求項１又は２に記載の映像処理装置。
  4. 前記撮像装置のフレーム画像伝送手段は、一定時間ごとにフレーム画像を前記処理装置に送り、
    前記処理装置の変換パラメータ算出手段は、前記撮像装置から一定時間ごとに送られてくるフレーム画像を用いてあおり補正のための変換パラメータを再計算する、
    ことを特徴とする請求項３に記載の映像処理装置。
  5. 前記撮像装置のフレーム画像伝送手段は、ユーザ指示があった場合にのみフレーム画像を前記処理装置に送り、
    前記処理装置の変換パラメータ算出手段は、前記撮像装置からフレーム画像が送られてくると、該フレーム画像を用いてあおり補正のための変換パラメータを再計算する、
    ことを特徴とする請求項３に記載の映像処理装置。
  6. 前記処理装置は、フレーム画像のズーム指示をユーザから受け付けるズーム指示受付手段を備え、前記変換パラメータ算出手段は、ユーザが指定したフレーム画像上の領域を画像全面に表示するようにデジタルズームするための変換パラメータを算出し、
    前記撮像装置の画像変換手段は、フレーム画像に対してデジタルズームを行う、
    ことを特徴とする請求項１又は２に記載の映像処理装置。
  7. 前記撮像装置のフレーム画像伝送手段は、ユーザズーム指示があった場合にのみフレーム画像を前記処理装置に送る、
    ことを特徴とする請求項６に記載の映像処理装置。
  8. 撮像装置と該撮像装置に接続された処理装置とがネットワークを介して接続されてなる映像処理システムであって、
    前記撮像装置は、フレーム画像を取得する画像取得手段と、前記フレーム画像を前記ネットワークを介して前記処理装置に送るフレーム画像伝送手段と、前記処理装置から前記ネットワークを付して送られた変換パラメータを該撮像装置内に設定する変換パラメータ設定手段と、前記設定された変換パラメータを用いてフレーム画像に対して画像変換を施す画像変換手段と、変換済みフレーム画像を前記ネットワークを介して前記処理装置に送る変換済みフレーム画像伝送手段を有し、
    前記処理装置は、前記撮像装置から前記ネットワークを介して送られたフレーム画像を用いて画像変換のための変換パラメータを算出する変換パラメータ算出手段と、前記変換パラメータを前記ネットワークを介して前記撮像装置に送る変換パラメータ伝送手段を有する、
    ことを特徴とする映像処理システム。
  9. 前記撮像装置のフレーム画像伝送手段と変換済みフレーム画像伝送手段とで伝送レートを変えることを特徴とする請求項８に記載の映像処理システム。
  10. 前記撮像装置の画像変換手段は、フレーム画像に対してあおり補正を施し、
    前記処理装置の変換パラメータ算出手段は、フレーム画像から被写体領域を検出して、あおり補正のための変換パラメータを算出する、
    ことを特徴とする請求項８又は９に記載の映像処理システム。
  11. 前記撮像装置のフレーム画像撮像手段は、一定時間ごとにフレーム画像を前記ネットワークを介して前記処理装置に送り、
    前記処理装置の変換パラメータ算出手段は、前記撮像装置から前記ネットワークを介して一定時間ごとに送られてくるフレーム画像を用いてあおり補正のための変換パラメータを再計算する、
    ことを特徴とする請求項１０に記載の映像処理システム。
  12. 前記撮像装置のフレーム画像伝送手段は、ユーザ指示があった場合にのみフレーム画像を前記ネットワークを介して前記処理装置に送り、
    前記処理装置の変換パラメータ算出手段は、前記撮像装置からフレーム画像が送られてくると、該フレーム画像を用いてあおり補正のための変換パラメータを再計算する、
    ことを特徴とする請求項１０に記載の映像処理システム。
  13. 前記処理装置は、フレーム画像のズーム指示をユーザから受け付けるズーム指示受付手段を備え、前記変換パラメータ算出手段は、ユーザが指定したフレーム画像上の領域を画像全面に表示するようにデジタルズームするための変換パラメータを算出し、
    前記撮像装置の画像変換手段は、フレーム画像に対してデジタルズームを行う、
    ことを特徴とする請求項８又は９に記載の映像処理システム。
  14. 前記撮像装置のフレーム画像伝送手段は、ユーザズーム指示があった場合にのみフレーム画像を前記ネットワークを介して前記処理装置に送る、
    ことを特徴とする請求項１３に記載の映像処理システム。
  15. 複数のテレビ会議端末がネットワークを介して接続されてなるテレビ会議システムであって、
    前記テレビ会議端末は、請求項１乃至７のいずれか１項に記載の映像処理装置を備えていることを特徴とするテレビ会議システム。
  16. 請求項８乃至１４のいずれか１項に記載の映像処理システムを利用した遠方監視システムであって、
    複数の撮像装置がネットワークを介して監視センタの処理装置に接続され、処理装置は、複数の撮像装置からネットワークを介して送られてくる映像をそれぞれ表示する表示手段を備えていることを特徴とする遠方監視システム。
  17. 撮像装置と該撮像装置に接続された処理装置とによりフレーム画像を処理する映像処理方法であって、
    前記撮像装置が、フレーム画像を取得し、該フレーム画像を前記処理装置に送る過程と、
    前記処理装置が、前記撮像装置から送られたフレーム画像を用いて画像変換のための変換パラメータを算出し、該変換パラメータを前記撮像装置に送る過程と、
    前記撮像装置が、前記処理装置から送られた前記変換パラメータを当該撮像装置内に設定し、該設定した変換パラメータを用いてフレーム画像に対して画像変換を施し、変換済みフレーム画像を前記処理装置に送る過程と、
    を有することを特徴とする映像処理方法。
  18. 前記撮像装置から前記処理装置に送られる前記フレーム画像と前記変換済みフレーム画像の伝送レートを異ならせることを特徴とする請求項１７に記載の映像処理方法。
  19. フレーム画像を取得する画像取得手段と、
    画像変換に使用する変換パラメータの算出を依頼するためにフレーム画像を伝送するフレーム画像伝送手段と、
    受信された変換パラメータを設定する変換パラメータ設定手段と、
    前記設定された変換パラメータを用いてフレーム画像に対して画像変換を施す画像変換手段と、
    前記画像変換を施された変換済みフレーム画像を伝送する変換済みフレーム画像伝送手段と、
    を有することを特徴とする撮像装置。
  20. 前記フレーム画像伝送手段と前記変換済みフレーム画像伝送手段とで伝送レートを変えることを特徴とする請求項１９に記載の撮像装置。
JP2011049373A 2011-03-07 2011-03-07 映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び撮像装置 Expired - Fee Related JP5708051B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2011049373A JP5708051B2 (ja) 2011-03-07 2011-03-07 映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び撮像装置
CA2828933A CA2828933C (en) 2011-03-07 2012-03-07 Video processing apparatus, video processing system, and video processing method
PCT/JP2012/056487 WO2012121411A1 (en) 2011-03-07 2012-03-07 Video processing apparatus, video processing system, and video processing method
US14/003,371 US9369627B2 (en) 2011-03-07 2012-03-07 Video processing apparatus, video processing system, and video processing method
CN201280011861.9A CN103430531B (zh) 2011-03-07 2012-03-07 视频处理装置、视频处理系统和视频处理方法
SG2013064100A SG192929A1 (en) 2011-03-07 2012-03-07 Video processing apparatus, video processing system, and video processing method
EP12754659.6A EP2684349A4 (en) 2011-03-07 2012-03-07 VIDEO PROCESSING DEVICE, VIDEO PROCESSING SYSTEM AND VIDEO PROCESSING METHOD
KR1020137023454A KR101514910B1 (ko) 2011-03-07 2012-03-07 영상 처리 장치, 영상 처리 시스템, 및 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011049373A JP5708051B2 (ja) 2011-03-07 2011-03-07 映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び撮像装置

Publications (2)

Publication Number Publication Date
JP2012186719A true JP2012186719A (ja) 2012-09-27
JP5708051B2 JP5708051B2 (ja) 2015-04-30

Family

ID=46798357

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011049373A Expired - Fee Related JP5708051B2 (ja) 2011-03-07 2011-03-07 映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び撮像装置

Country Status (8)

Country Link
US (1) US9369627B2 (ja)
EP (1) EP2684349A4 (ja)
JP (1) JP5708051B2 (ja)
KR (1) KR101514910B1 (ja)
CN (1) CN103430531B (ja)
CA (1) CA2828933C (ja)
SG (1) SG192929A1 (ja)
WO (1) WO2012121411A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016030369A (ja) * 2014-07-28 2016-03-07 東芝テック株式会社 電子黒板装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102173109B1 (ko) * 2014-09-05 2020-11-02 삼성전자주식회사 디지털 영상 처리 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 처리 장치
US9294679B1 (en) * 2014-11-26 2016-03-22 Visual Supply Company Real-time perspective correction
CN106303361A (zh) * 2015-06-11 2017-01-04 阿里巴巴集团控股有限公司 视频通话中的图像处理方法、装置、系统及图形处理器
JP6664240B2 (ja) * 2016-03-09 2020-03-13 キヤノン株式会社 撮像システム並びに撮像装置及びその制御方法
US10254398B2 (en) * 2016-04-28 2019-04-09 Fluke Corporation Manipulation of 3-D RF imagery and on-wall marking of detected structure
WO2018045592A1 (zh) * 2016-09-12 2018-03-15 华为技术有限公司 拍摄图像方法、装置和终端
CN109327668A (zh) * 2018-10-29 2019-02-12 维沃移动通信有限公司 一种视频处理方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261522A (ja) * 1996-03-27 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> 可変領域を得うる映像配信方法、ならびにシステム
JP2003319034A (ja) * 2002-04-26 2003-11-07 Fuji Photo Film Co Ltd 携帯端末装置、携帯端末装置における画像処理方法、画像処理パラメータ生成装置および方法並びにプログラム
JP2006042004A (ja) * 2004-07-28 2006-02-09 Sony Corp 画像処理装置及び画像処理方法
WO2006027915A1 (ja) * 2004-09-10 2006-03-16 Megachips System Solutions Inc. 画像再生方法
JP2007166009A (ja) * 2005-12-09 2007-06-28 Casio Hitachi Mobile Communications Co Ltd 撮像装置、撮像画像処理方法及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4169462B2 (ja) * 1999-08-26 2008-10-22 株式会社リコー 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体
JP4567279B2 (ja) 2002-08-01 2010-10-20 富士フイルム株式会社 ディジタルカメラ
JP2005086674A (ja) 2003-09-10 2005-03-31 Hitachi Ltd 撮像装置
US7065967B2 (en) 2003-09-29 2006-06-27 Kalex Llc Process and apparatus for boiling and vaporizing multi-component fluids
ATE409390T1 (de) 2003-12-23 2008-10-15 Nxp Bv Verfahren und system zum stabilisieren von videodaten
WO2005062601A1 (ja) * 2003-12-24 2005-07-07 Konica Minolta Opto, Inc. カメラユニット及び携帯端末
WO2005067359A1 (ja) 2003-12-26 2005-07-21 Murata Manufacturing Co., Ltd. セラミック多層基板
JP2005202593A (ja) * 2004-01-14 2005-07-28 Seiko Epson Corp 画像処理装置、プログラム及び方法
US20050271300A1 (en) * 2004-06-02 2005-12-08 Pina Robert K Image registration system and method
JP4711648B2 (ja) 2004-07-12 2011-06-29 丸尾カルシウム株式会社 多面体炭酸カルシウムの製造方法
US20060044394A1 (en) * 2004-08-24 2006-03-02 Sony Corporation Method and apparatus for a computer controlled digital camera
JP4432761B2 (ja) * 2004-12-13 2010-03-17 トヨタ自動車株式会社 車両用エアコン制御装置および車両
JP4662258B2 (ja) 2005-08-31 2011-03-30 株式会社リコー 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
JP4677322B2 (ja) * 2005-10-25 2011-04-27 キヤノン株式会社 画像処理パラメータ設定装置
JP4848230B2 (ja) 2006-08-30 2011-12-28 株式会社リコー 画像処理方法、撮像装置、画像処理装置およびプログラム
JP2009010730A (ja) * 2007-06-28 2009-01-15 Kyocera Corp 画像処理方法と該画像処理方法を用いた撮像装置
JP4630936B1 (ja) 2009-10-28 2011-02-09 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体
JP5455213B2 (ja) * 2009-11-17 2014-03-26 Ｎｅｃシステムテクノロジー株式会社 画像描画装置、画像描画方法およびプログラム
JP5793975B2 (ja) * 2010-08-03 2015-10-14 株式会社リコー 画像処理装置、画像処理方法、プログラム、記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261522A (ja) * 1996-03-27 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> 可変領域を得うる映像配信方法、ならびにシステム
JP2003319034A (ja) * 2002-04-26 2003-11-07 Fuji Photo Film Co Ltd 携帯端末装置、携帯端末装置における画像処理方法、画像処理パラメータ生成装置および方法並びにプログラム
JP2006042004A (ja) * 2004-07-28 2006-02-09 Sony Corp 画像処理装置及び画像処理方法
WO2006027915A1 (ja) * 2004-09-10 2006-03-16 Megachips System Solutions Inc. 画像再生方法
JP2007166009A (ja) * 2005-12-09 2007-06-28 Casio Hitachi Mobile Communications Co Ltd 撮像装置、撮像画像処理方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016030369A (ja) * 2014-07-28 2016-03-07 東芝テック株式会社 電子黒板装置

Also Published As

Publication number Publication date
WO2012121411A1 (en) 2012-09-13
KR101514910B1 (ko) 2015-04-23
CN103430531B (zh) 2017-04-12
KR20130122967A (ko) 2013-11-11
SG192929A1 (en) 2013-09-30
JP5708051B2 (ja) 2015-04-30
US9369627B2 (en) 2016-06-14
CN103430531A (zh) 2013-12-04
US20130342723A1 (en) 2013-12-26
CA2828933A1 (en) 2012-09-13
CA2828933C (en) 2017-02-07
EP2684349A1 (en) 2014-01-15
EP2684349A4 (en) 2014-12-10

Similar Documents

Publication Publication Date Title
JP5708051B2 (ja) 映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び撮像装置
KR102351542B1 (ko) 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
KR101899877B1 (ko) 확대된 영상의 화질을 개선하기 위한 장치 및 방법
WO2015081870A1 (zh) 一种图像处理方法、装置及终端
TW201703509A (zh) 影像處理方法、影像處理裝置及顯示系統
JP2012089954A (ja) 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等
TWI530180B (zh) 連動式攝影系統及其多攝影機的控制方法
JP2004266317A (ja) 監視装置
JP2017097573A (ja) 画像処理装置、撮影装置、画像処理方法、画像処理プログラム
JP6456039B2 (ja) 監視カメラシステム
WO2023115685A1 (zh) 一种基于全向摄像头的监控方法及其系统
EP3261341A2 (en) Video image generation system and video image generating method thereof
KR20110074022A (ko) 추적 경로 이미지 생성을 위한 촬영 방법 및 이를 이용한 촬영 장치
JP6231757B2 (ja) 撮像装置、情報処理装置及びそれらの制御方法、プログラム
JP2018067851A (ja) 撮像制御プログラム、撮像制御方法および情報処理装置
TWI456985B (zh) 多攝影機的整合處理系統及其方法
JP6157220B2 (ja) 出力装置およびその方法
JP5509986B2 (ja) 画像処理装置、画像処理システム、及び画像処理プログラム
JP2014192557A (ja) 被写体画像抽出装置および被写体画像抽出・合成装置
KR20170055455A (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치
KR102080927B1 (ko) 스테레오 영상 생성 방법 및 장치
JP2010062834A (ja) 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置
KR101700360B1 (ko) 공통화각 표시 기능을 갖는 디지털 촬영 장치, 이의 제어 방법 및 상기 방법을 기록한 기록 매체
JP2004159061A (ja) 撮像機能付き画像表示装置
JP2013080998A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130826

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130826

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150216

R151 Written notification of patent or utility model registration

Ref document number: 5708051

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees