JP2018157335A - 画像処理システム - Google Patents

画像処理システム Download PDF

Info

Publication number
JP2018157335A
JP2018157335A JP2017051711A JP2017051711A JP2018157335A JP 2018157335 A JP2018157335 A JP 2018157335A JP 2017051711 A JP2017051711 A JP 2017051711A JP 2017051711 A JP2017051711 A JP 2017051711A JP 2018157335 A JP2018157335 A JP 2018157335A
Authority
JP
Japan
Prior art keywords
image processing
image data
image
processing apparatus
osd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017051711A
Other languages
English (en)
Other versions
JP6948810B2 (ja
JP2018157335A5 (ja
Inventor
英俊 小沼
Hidetoshi Konuma
英俊 小沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017051711A priority Critical patent/JP6948810B2/ja
Priority to US15/921,135 priority patent/US20180270448A1/en
Publication of JP2018157335A publication Critical patent/JP2018157335A/ja
Publication of JP2018157335A5 publication Critical patent/JP2018157335A5/ja
Application granted granted Critical
Publication of JP6948810B2 publication Critical patent/JP6948810B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Abstract

【課題】表示対象の画像を一時記憶するためのメモリの帯域の圧迫を抑制しつつ、互いに異なる解像度を持つ複数の表示装置に対してOSD合成した画像を出力可能にする。【解決手段】複数の表示装置に、それぞれの表示解像度に応じた画像データを出力する画像処理システムであって、表示対象の画像データと、当該画像データが表す画像に重畳表示することになるOSDデータとを、異なる端子から同期して出力する第1の画像処理装置100と、第1の画像処理装置の端子に接続され、複数の表示装置を接続可能な第2の画像処理装置130とを有する。ここで、第2の画像処理装置は、前記画像データ及び前記OSDデータとを合成する合成部と、合成部で得られた合成画像データを、接続された表示装置それぞれの表示解像度に合わせて解像度変換する変換部と、この変換部で得られた各解像度の合成画像データをそれぞれの表示装置に出力する出力部とを有する。【選択図】図1

Description

本発明は画像処理、特に複数の画像表示装置に画像を出力をする技術に関するものである。
近年、デジタルビデオカメラやデジタルカメラなどの撮像装置は、接眼部に配置される電子ビューファインダ、背面や側面に配置される液晶パネル、テレビやディスプレーに接続されるHDMIなどの出力端子等、複数の画像出力に係る構成を有している。デジタルビデオカメラにおいては、電子ビューファインダ、液晶パネル、HDMIなどの映像出力端子から同時に画像出力できる仕様が一般的である。また、デジタルカメラにおいても、特に動画を撮影する場合、外部機器によるモニタリングや外部記録に対応するために、液晶パネルとHDMIなどの映像出力端子から、同時に画像出力が可能な機種が発売されるようになった。このような状況の中、画像処理装置内でそれぞれの出力に応じて生成された画像データを一旦DRAMなどのバッファメモリに保持し、それぞれの出力先の要求に応じて同時に画像出力を行う画像処理装置が提案されている(特許文献1)。
特開2004−165876号公報
最近の撮像装置に搭載される電子ビューファインダや液晶パネルの表示画素数が増大している。また、HDMI等の画像出力端子も4K出力などが可能になってきている。処理すべき画素数が増えるということは、装置内で使用されるメモリの帯域の使用率が増加することを意味する。よって、1つの画像処理装置が、これまでよりも高い解像度で複数の画像出力を行おうとすると、メモリの帯域を使い切ってしまい、正常な出力が行えなくなる可能性が出てくる。
本発明は上記の問題点に鑑み、表示対象の画像を一時記憶するためのメモリの帯域の圧迫を抑制しつつ、互いに異なる解像度を持つ複数の表示装置に対してOSD合成した画像を出力することを可能にする技術を提供しようとするものである。
この課題を解決するため、例えば本発明の画像処理システムは以下の構成を備える。すなわち、
複数の表示装置に、それぞれの表示解像度に応じた画像データを出力する画像処理システムであって、
表示対象の画像データと、当該画像データが表す画像に重畳表示することになるOSDデータとを、異なる端子から出力する第1の画像処理装置と、
前記第1の画像処理装置の前記端子に接続され、複数の表示装置を接続可能な第2の画像処理装置とを有し、
前記第2の画像処理装置は、
前記画像データと前記OSDデータとを合成する合成手段と、
該合成手段で得られた合成画像データを、接続された表示装置それぞれの表示解像度に合わせて解像度変換する変換手段と、
該変換手段で得られた各解像度の合成画像データをそれぞれの表示装置に出力する出力手段とを有することを特徴とする。
本発明によれば、表示対象の画像を一時記憶するためのメモリの帯域の圧迫を抑制しつつ、互いに異なる解像度を持つ複数の表示装置に対してOSD合成した画像を出力することが可能になる。
第1の実施形態における画像処理システムのブロック構成図。 画像データとOSDデータのデータ構造を示す図。 第2の実施形態における画像処理システムのブロック構成図。 第3の実施形態における画像処理システムのブロック構成図。 第4の実施形態における画像処理システムのブロック構成図。
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。ビデオカメラ(撮像装置)に適用した例を説明するが、画像を複数の表示装置への出力する機能を有する装置であれば良いので、特にビデオカメラに限定されるものではなない。
[第1の実施形態]
図1は、本発明の実施形態に係るビデオカメラが有する画像処理システムのブロック図である。本システムは、2つの画像処理装置100、130を有する。
画像処理装置100は、被写体を撮像、現像処理をし、画像情報を外部に出力する機能を持つ。画像処理装置100における制御部121は、CPUと、当該CPUが実行する制御プログラムを格納するメモリを含み、画像処理装置100の全体の処理を制御する。操作部120は、ユーザが画像処理装置100に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部120からの操作信号は、制御部121によって検出され、操作に応じた動作が実行されるよう制御部121によって制御される。
操作部120によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部101を介して入力され、撮像センサー部102上に結像する。撮像センサー部102によって変換された電気信号は、センサー信号処理部103に供給される。センサー信号処理部103は、入力した電気信号をデジタルデータに変換し、画素の修復処理を施す。修復処理には、撮像センサー部102における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。現像処理部104は、センサー信号処理部103により出力されたデータを受け、輝度と色差から成る色空間への変換、各データに含まれるノイズを除去、光学的な歪の補正等の画像を適正化するなどの所謂現像処理を行う。また、現像処理部104は、現像処理後の画像データを記憶部108に一旦格納する。記憶部108の代表的な形態の1つにDRAMが上げられる。出力処理部110は、同期制御部106の指示に従い、定められたタイミングで記憶部108から画像データを読み出し出力端子112を通して画像処理装置100の外部に出力する。OSD描画部107は、ユーザからの操作部120を介した指示入力に従い、表示対象の画像(撮像画像)に重畳表示するメニューや、撮影補助の為の罫線、タイムコード等を描画する。OSD描画部107で描画されたOSDデータは、記憶部109で一旦保持される。記憶部109の代表的な形態の1つにDRAMが上げられる。出力処理部111は、同期制御部106の指示に従い、定められたタイミングで記憶部109からOSDデータを読み出し出力端子113を通して画像処理装置100の外部に出力する。
なお、出力端子112、113のいずれからも画素を単位とするデータが出力される。以降、この2つを区別するため、出力端子112から出力される画像データを撮像画像データ、出力端子113から出力されるOSDデータをOSD画像データと言う。
また、画像処理装置100が画像処理装置130に向けて出力することになる撮像画像データ及びOSD画像データの解像度が同じ場合には、同期制御部106はそれぞれの画素を同期させて出力するためのタイミング信号を発生させればよい。ただし、一般に、OSD画像を構成する文字等のシンボルはそれが区別できれば良く、撮像画像データほどの解像度は必要としない場合が多い。例えば、撮像画像データが水平方向W画素、垂直方向H画素で構成され、OSD画像データの水平方向の画素数がW/4、垂直方向画素数がH/4の場合の場合を考察する。この場合、同期制御部106は撮像画像データが水平方向の4画素出力する度に、OSD画像データの水平の1画素を出力するタイミング信号を出力部111に供給する。また、同期制御部106は撮像画像データが垂直方向の4ライン分出力するたびに、OSD画像データの垂直方向の1ラインを出力するタイミング信号を出力処理部111すれば良い。画像処理装置130は、画像処理装置100から撮像画像データの1画素を入力するタイミングでOSD画像データも受信する。結果的に、画像処理装置130は、撮像画像データの4×4画素データに対して、同じ画素値及び係数値で構成される4×4個のOSD画素データを入力することになる。
次に、他方の画像処理装置130について説明する。この画像処理装置130は、集積回路チップ、例えばSPGA(System Programable Gate Array)としてビデオカメラに実装されるものである。FPGA(Field Programable Gate Array)としてビデオカメラに実装されてもよい。
画像処理装置130は、上記の画像処理装置100から出力された撮像画像データ及びOSD画像データを受信し、合成画像データの生成、及び、表示装置140と表示装置141への合成画像データの出力を行う。なお、実施形態における表示装置140、141は、互いに異なる解像度の表示装置であるものとして説明する。
入力端子131は、画像処理装置100の出力端子112から出力される撮像画像データを受け取る。入力端子132は、画像処理装置100の出力端子113から出力されたOSD画像データを受け取る。画像合成部133は、撮像画像データとOSD画像データを、OSD画像データに含まれる合成比率を表す係数データ(詳細後述)に従って合成する。撮像画像データとOSD画像データの合成の為の待ち合わせ時間が最少で済むように、同期制御部106で、タイミング制御を行うことも可能である。リサイズ部135は、画像合成部133で生成されたOSD合成後の撮像画像データを、表示装置140の要求に応じた画角(解像度)にリサイズ(解像度変換)し、出力端子137を通して、その表示装置140に出力する。同様に、リサイズ部136は、画像合成部133で生成されたOSD合成後の撮像画像データを、表示装置141の要求に応じた画角にリサイズし、出力端子138を通して、その表示装置141に出力する。
表示装置140は、例えば撮像装置の接眼部に配置される電子ビューファインダーであり、表示装置141は、例えば背面や側面に配置される液晶パネルである。出力端子137,138は、映像データと音声データを伝送可能な業務用のSDI、または、双方向通信可能で表示装置から解像度を取得可能なHDMIやDVI等のインターフェースが挙げられる。
上記の説明のように、記憶部108は撮像画像データのみ、記憶部109はOSD画像データのみを記憶する。そして、複数(実施形態では2つ)の表示装置が接続されていたとしても、撮像画像の1フレームにつき、それぞれの記憶部から撮像画像データ、OSD画像データの読出しは1回であり、記憶部108及び記憶部109へのアクセス帯域を抑えることが可能になる。
次に、出力端子112、113から出力される画像データについて説明する。撮像画像データの1画素が、例えばR,G,Bの3成分で構成される場合、出力端子112からは図2(a)に示すように、画素単位の{R,G,B}の順に出力される。
一方、OSD画像データは、文字や記号、線等のOSDを表す画像データに、合成を表す係数(合成比率を示す値)が付加されたデータである。それ故、図2(b)に示すように、R,G,Bの成分データに後続して、合成係数Aが出力される。つまり、OSDデータの場合、水平方向の画素数をR、G、Bそれぞれを1つと数えた場合、RGBAのOSDデータの水平方向の画素数は、RGBの画像データの3分の4倍になる。先に説明した画像合成部133は、撮像画像データの画素のRGBの各値と、OSD画像データが示す画素のRGBの各値とを、OSD画像データに付加された係数Aに従って合成する。各成分が仮に8ビット(最大値が255)で表され、撮像画像データをI1、OSD画像データをI2としたとき、画像合成部133は次式に従って合成後の画像I3を生成する。
3(x,y,C)={A×I1(x,y,C)+(255−A)×I2(x,y,C)}/255
ここで、xは画像の水平方向の座標、yは同垂直方向の座標、Cは{R,G,B}のいずれかの色成分を表す。なお、OSD画像データにおけるR,G,B及び係数Aの値は、ユーザが操作部120から設定されるものとする。
また、撮像画像データが図2(c)に示すようにYCCである場合、OSD画像データは合成係数をAとすると、同図(d)に示すようにYCCAで表すことができる。図2(d)に示したYCCの例は、YCC422であり、AデータはYと同じ数になっている。水平方向の画素数をYCC422の慣例に従い、Yで数えるとOSDデータYCCAの水平方向の画像数は、YCC422の画像データの2分の3倍になっている。図2では、代表的なOSD画像データの形式を上げて説明したが、例示以外の形式でも本実施形態が適用可能である。
図1の同期制御部106は、出力端子112から出力される画像データと、出力端子113から出力されるOSDデータの水平方向の転送開始タイミングと転送時間を合わせることにより、画像処理装置130で行われる画像合成処理を容易にすることができる。
以上説明したように本第1の実施形態によれば、撮像画像データは記憶部108に、OSD画像データは記憶部109に一旦格納される。しかし、互いに異なる複数の表示装置にOSD合成後の画像データを表示するものとしても、各記憶部からの画像データの読出回数は動画像の1フレームにつき1回となり、記憶部のメモリ帯域が圧迫することを抑制できる。
なお、上記実施形態では、画像処理装置130には2つの表示装置が接続可能な例を説明したが、それ以上の表示装置が接続可能としても良い。この場合、画像処理装置130は、接続可能な数ぶんのリサイズ部を含むことになる。
[第2の実施形態]
上記第1の実施形態では、複数の表示装置に、それぞれの解像度のOSDを合成した撮像画像データを出力するものであった。本第2の実施形態では、表示装置ゴトに、個別にOSDを合成するか否かを設定できるようにする例を説明する。
図3は、本第2の実施形態におけるシステム構成図である。図1との相違は、画像処理装置に出力端子114が付加された点と、画像処理装置130に入力端子139、制御部122が付加され、且つ、画像合成部134が追加された点である。これ以外は第1の実施形態と同じである。よって、以下では、第1の実施形態と異なる点について説明する。
ユーザは操作部120を操作して、表示装置140、141それぞれに対してOSDを重畳させるか否かを個別に設定できる。制御部121は係るユーザからの設定された情報(OSD設定情報)を、出力端子114を介して画像処理装置130に通知する。画像処理装置130における制御部122は、入力端子139を介して、このOSD設定情報を受信する。そして、制御部122は、画像合成部133、134それぞれに対して独立して、合成処理のON/OFFの制御信号を出力する。
画像合成部133は、合成処理のONとする信号を受信した場合には入力端子132を介して受信したOSD画像データの係数Aが示す合成比率で、OSD画像データと撮像画像データとを合成し、その結果をリサイズ部135に出力する。また、画像合成部133は、合成処理のOFFとする信号を受信した場合には、入力端子131から入力した撮像画像データをそのままリサイズ部135に出力する。
画像合成部134は、画像合成部133とほぼ同じである。すなわち、画像合成部134は、合成処理のONとする信号を受信した場合には入力端子132を介して受信したOSD画像データの係数Aが示す合成比率で、OSD画像データと撮像画像データとを合成し、その結果をリサイズ部136に出力する。また、画像合成部134は、合成処理のOFFとする信号を受信した場合には、入力端子131から入力した撮像画像データをそのままリサイズ部136に出力する。
上記の結果、本第2の実施形態によれば、先に説明した第1の実施形態の作用効果に加えて、表示装置それぞれに対してOSDを重畳するか否かを設定できるようになる。
[第3の実施形態]
図4は、第3の実施形態に係る画像処理システムの構成例を示すブロック図である。本第3の実施形態でもビデオカメラに適用する例を説明する。図4は、第3の実施形態におけるシステム構成図であり、画像処理装置200a、200b、230を有する。これらは、それぞれSPGAとして実装することができる。
図4に示す画像処理装置200a、画像処理装置200bは、1枚の被写体の撮像画像データを2つの領域に分割し、それぞれが担当する領域の現像処理を並列して行う。例えば画像処理装置200aは撮像画像データを上下分割して得られた上半分の現像処理を、画像処理装置200bは撮像画像データの下半分の現像処理を行う。この結果、2つ(複数)の画像処理装置に処理量が分担されるので、これまでよりも更に高い解像度の撮像画像の現像処理が可能になる。ただし、撮像画像データを左右分割して2つの画像処理装置で処理を分担してもよいし、奇数ラインのデータと偶数ラインのデータとを2つの画像処理装置で処理を分担してもよい。
なお、図4では、各構成要素については200番台の参照符号を付しているが、その下2桁は、図3の構成の下2桁に合わせている。現像処理を行う画像処理装置200a、200bがそれぞれ分担して行う構成要素については、添え字a,bを付して区別させている。よって、各構成要素についての説明は省略する。
図4において、制御部221は、CPUと、当該CPUが実行する制御プログラムを格納するメモリを含み、画像処理装置200a、200bの全体の処理を制御する。操作部220は、ユーザが画像処理装置200a、200bに対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部220からの操作信号は、制御部221によって検出され、操作に応じた動作が実行されるよう制御部221によって制御される。また、制御部221は、操作部220から設定された表示装置240、241に対するOSDを合成するか否かを示す信号を、出力端子224を介して、画像処理装置230も供給する。
操作部220によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部201を介して入力され、撮像センサー部202上に結像する。撮像センサー部202によって変換された電気信号は、センサー信号処理部203a及びセンサー信号処理部203bに供給され、それぞれにて画素の修復処理が施される。修復処理には、撮像センサー部202における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。センサー信号処理部203a、203bにより出力されたデータは、現像処理部204a、204bにて、輝度と色差から成る信号に変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。現像後の撮像画像データは、記憶部208a,208bに一旦保持される。記憶部208bに保持された撮像画像データは、画像処理装置200a内の記憶部215に転送される。記憶部208a,208b,215の代表的な形態の1つにDRAMが上げられる。出力処理部210は、同期制御部206aの制御下にて、予め定められたタイミングに従って記憶部208a、215から画像データを読み出し、出力端子212を通して画像処理装置230に出力する。実施形態では画像処理装置200aが上半分を、画像処理装置200bが下半分を現像処理するものとしている。従って、出力制御部210は上半分か下半分かに従って、読み出し先の記憶部208a、215を切り換えることになる。
OSD描画部207は、操作部220の指示に従いメニュー表示や、撮影補助の為の罫線、タイムコード等を描画する。OSD描画部207で描画されたOSD画像データは、記憶部209で一旦保持される。記憶部209の代表的な形態の1つにDRAMが上げられる。出力処理部211は、同期制御部206bから同期タイキング信号に従い、記憶部209からOSD画像データを読み出し、出力端子213を通して画像処理装置230に出力する。同期制御部206aと206bはお互いに同期することができる。
次に画像処理装置230について説明する。この画像処理装置230は、画像処理装置200aからの撮像画像データ、及び、画像処理装置200bからのOSD画像データを入力し、合成処理する。そして、画像処理装置230は、合成後の撮像画像データを、表示装置240、241にそれぞれの解像度に併せてリサイズし、出力する。また、制御部222は、画像処理装置200aからのOSDのON/OFFに係る信号を入力端子239を介して入力し、第2の実施形態と同様に、画像合成部233、234を制御する。
入力端子231は、画像処理装置200aの出力端子212から出力される撮像画像データを受け取る。入力端子232は、画像処理装置200bの出力端子213から出力されるOSD画像データを受け取る。画像合成部233、並びに画像合成部234は、撮像画像データとOSD画像データとを合成する。撮像画像データとOSD画像データの合成の為の待ち合わせ時間が最少で済むように、同期制御部206a、206bで、タイミング制御を行うことも可能である。リサイズ部235は、画像合成部233からの出力を表示装置240の要求に応じた画角(解像度)にリサイズし、出力端子237を通して、その表示装置240に出力する。同様に、リサイズ部236は、画像合成部234からの出力を表示装置241の要求に応じた画角にリサイズし、出力端子238を通して、その表示装置241に出力する。
上記の構成によって、記憶部207a,208b,215は撮像画像データのみ、記憶部209はOSD画像データのみを記憶する。それて、これら記憶部は、表示装置の数に依存せず、撮像した1フレームの表示期間にて、1回の読出しのためのアクセスのみとなり、それら記憶部のアクセス帯域が圧迫されることを抑制できる。
[第4の実施形態]
第4の実施形態を説明する。本第4の実施形態でも、デジタルビデオカメラに適用した例を説明する。図5は、第4の実施形態に係る画像処理システムの構成例を示すブロック図であり、画像処理装置300、330はSPGAとしてビデオカメラに実装可能である。
本第4の実施形態では、画像処理装置300に搭載されておらず、かつ、OSDを合成した画像データからでは生成できない撮影アシスト機能(アシスト画像データやベクトルスコープ用の画像データの付与)を、もう1つの画像処理装置330を使用して実現するものである。
画像処理装置300における制御部321は、CPUと、当該CPUが実行する制御プログラムを格納するメモリを含み、画像処理装置300の全体の処理を制御する。操作部320は、ユーザが画像処理装置300に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部320からの操作信号は、制御部321によって検出され、操作に応じた動作が実行されるよう制御部321によって制御される。
操作部320によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部301を介して入力され、撮像センサー部302上に結像する。撮像センサー部302によって変換された電気信号は、センサー信号処理部303に供給されえる。センサー信号処理部303は、入力した電気信号をデジタルデータに変換し、画素の修復処理を施す。修復処理には、撮像センサー部302における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。現像処理部304は、センサー信号処理部303により出力されたデータを受け、輝度と色差から成る信号に変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。現像で得られた撮像画像データは、リサイズ部305に供給される。リサイズ部305は、入力した撮像画像データを、外部出力装置に応じた画角(解像度)にリサイズし、リサイズ後の撮像画像データを記憶部308に一旦記憶させる。記憶部308の代表的な形態の1つにDRAMが上げられる。出力処理部310は、同期制御部306の指示に従い、定められたタイミングで記憶部308から撮像画像データを読み出し、出力端子312を通して画像処理装置330に出力する。
OSD描画部307は、操作部320の指示に従いメニュー表示や、撮影補助の為の罫線、タイムコード等を描画する。OSD描画部307で描画されたOSD画像データは、記憶部309に一旦記憶される。記憶部309の代表的な形態の1つにDRAMが上げられる。出力処理部311は、同期制御部306の指示に従い、定められたタイミングで記憶部309からOSD画像データを読み出し、出力端子313を通して画像処理装置300に出力する。
画像処理装置330は、画像処理装置300から出力された撮像画像データ、OSD画像データを処理し、撮影アシストデータを付加して表示装置340に画像を出力する。
入力端子331は、出力端子312から出力される撮像画像データを受け取る。入力端子332は、出力端子313から出力されたOSD画像データを受け取る。撮影アシスト部333は、撮像画像データから撮影アシストに必要なデータ、例えばウェーブフォームモニター機能やベクトルスコープ機能等を実現するデータを生成する。画像合成部334は、撮像画像データ、OSD画像データ、及び、撮影アシストデータを合成する。画像データとOSDデータの合成の為の待ち合わせ時間が最少で済むように、同期制御部306で、タイミング制御を行うことも可能である。画像合成部334で合成された画像データは、出力端子335を通して表示装置340に出力される。
以上説明したように本第4の実施形態によれば、画像処理装置300に搭載されておらず、かつ、OSDを合成した画像データからでは生成できない撮影アシストの機能を、画像処理装置330を使用して実現することができる。
100、130…画像処理装置、101…撮像光学部、102…撮像センサー部、103…センサー信号処理部、104…現像部、106…同期制御部、107…OSD描画部、108、109…記憶部、110、111…出力処理部、112、113、137、138…出力端子、131、132…入力端子、133、134…画像合成部、135、136…リサイズ部

Claims (8)

  1. 複数の表示装置に、それぞれの表示解像度に応じた画像データを出力する画像処理システムであって、
    表示対象の画像データと、当該画像データが表す画像に重畳表示することになるOSDデータとを、異なる端子から出力する第1の画像処理装置と、
    前記第1の画像処理装置の前記端子に接続され、複数の表示装置を接続可能な第2の画像処理装置とを有し、
    前記第2の画像処理装置は、
    前記画像データと前記OSDデータとを合成する合成手段と、
    該合成手段で得られた合成画像データを、接続された表示装置それぞれの表示解像度に合わせて解像度変換する変換手段と、
    該変換手段で得られた各解像度の合成画像データをそれぞれの表示装置に出力する出力手段と、
    を有することを特徴とする画像処理システム。
  2. 前記第1の画像処理装置は、
    表示装置ごとに、OSDを合成するか否かについてユーザからの指示入力を受け付ける手段と、
    前記指示入力に応じたOSD設定情報を前記第2の画像処理装置に供給する手段とを含み、
    前記第2の画像処理装置は、
    接続可能な表示装置の数ぶんの前記合成手段と、
    前記第1の画像処理装置から供給された前記OSD設定情報に基づき、合成手段それぞれの合成処理を行うか否かを制御する制御手段と
    を含むことを特徴とする請求項1に記載の画像処理システム。
  3. 前記第1の画像処理装置は、
    撮像する撮像手段と、
    撮像した撮像画像データを複数の領域に分け、領域それぞれの現像処理を並列に行うための複数の現像手段と、
    前記複数の現像手段で得た現像後の画像データそれぞれを記憶する複数の記憶手段と、
    前記複数の記憶手段に記憶された各領域の現像後の画像データから、1枚の現像後の画像データとして読み出して前記第2の画像処理装置に出力する出力手段と
    を含むことを特徴とする請求項1又は2に記載の画像処理システム。
  4. 前記第1の画像処理装置は、複数の集積回路チップとして撮像装置に実装され、
    前記複数の集積回路チップのそれぞれは、1つの現像手段、1つの記憶手段を含む
    ことを特徴とする請求項3に記載の画像処理システム。
  5. 前記第1の画像処理装置及び前記第2の画像処理装置それぞれは、集積回路チップとして撮像装置に実装されることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理システム。
  6. 表示装置に表示対象の画像データを出力する画像処理システムであって、
    表示対象の画像データと、当該画像データが表す画像に重畳表示することになるOSDデータとを、異なる端子から出力する第1の画像処理装置と、
    前記第1の画像処理装置の前記端子に接続され、表示装置を接続可能な第2の画像処理装置とを有し、
    前記第2の画像処理装置は、
    前記第1の画像処理装置から供給された画像データから、当該画像データをアシストするためのアシスト画像データを生成する生成手段と、
    前記第1の画像処理装置から供給された画像データ、前記アシスト画像データ、及び、前記OSDデータを合成する合成手段と、
    該合成手段で得られた合成画像データを、接続された表示装置に出力する出力手段と、
    を有することを特徴とする画像処理システム。
  7. 前記生成手段は、前記画像データからウェーブフォームモニター、又は、ベクトルスコープ用の画像データを生成することを特徴とする請求項6に記載の画像処理システム。
  8. 前記第1の画像処理装置及び前記第2の画像処理装置それぞれは、集積回路チップとして撮像装置に実装されることを特徴とする請求項6又は7に記載の画像処理システム。
JP2017051711A 2017-03-16 2017-03-16 画像処理システム Active JP6948810B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017051711A JP6948810B2 (ja) 2017-03-16 2017-03-16 画像処理システム
US15/921,135 US20180270448A1 (en) 2017-03-16 2018-03-14 Image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017051711A JP6948810B2 (ja) 2017-03-16 2017-03-16 画像処理システム

Publications (3)

Publication Number Publication Date
JP2018157335A true JP2018157335A (ja) 2018-10-04
JP2018157335A5 JP2018157335A5 (ja) 2020-04-16
JP6948810B2 JP6948810B2 (ja) 2021-10-13

Family

ID=63520418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017051711A Active JP6948810B2 (ja) 2017-03-16 2017-03-16 画像処理システム

Country Status (2)

Country Link
US (1) US20180270448A1 (ja)
JP (1) JP6948810B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021112306A1 (ko) * 2019-12-06 2021-06-10 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3682629A4 (en) * 2018-08-27 2020-07-29 SZ DJI Technology Co., Ltd. IMAGE PROCESSING AND PRESENTATION
JP2020056974A (ja) * 2018-10-04 2020-04-09 セイコーエプソン株式会社 表示装置、表示システム、表示装置の制御方法および表示システムの制御方法
CN110018804B (zh) * 2019-04-12 2021-02-02 京东方科技集团股份有限公司 一种显示装置、图像显示方法和电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004165876A (ja) * 2002-11-12 2004-06-10 Mega Chips Corp 画像処理装置、デジタルカメラ及び複眼システム
JP5988808B2 (ja) * 2012-09-27 2016-09-07 株式会社Pfu 画像データ処理装置及び画像読取装置
CN105659594A (zh) * 2013-10-17 2016-06-08 联发科技股份有限公司 发送/接收图片的压缩的像素数据组和像素数据分组设定的指示信息的数据处理装置以及相关数据处理方法
JP6343163B2 (ja) * 2014-04-07 2018-06-13 キヤノン株式会社 集積回路装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021112306A1 (ko) * 2019-12-06 2021-06-10 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치

Also Published As

Publication number Publication date
JP6948810B2 (ja) 2021-10-13
US20180270448A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
JP4931055B2 (ja) 画像処理装置及び画像処理方法
JP6948810B2 (ja) 画像処理システム
US7583280B2 (en) Image display device
KR20040016414A (ko) 화상 처리 장치 및 화상 처리 방법, 기록 매체, 및 프로그램
US20140133781A1 (en) Image processing device and image processing method
US7184087B2 (en) On-screen device for subject of interest in portable electronic device, and method of controlling same
US9609215B2 (en) Moving-image recording/reproduction apparatus
JP2006304203A (ja) 色差間引きの変換機能を有する電子カメラ
US8842193B2 (en) Imaging apparatus
JP2013003339A (ja) 画像表示システム及びその制御方法
JP5705027B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム、並びに記録媒体
JP2017201749A (ja) 画像処理装置およびその制御方法
JP2007221685A (ja) デジタルカメラ及びその制御方法
JP6021556B2 (ja) 画像処理装置
JP6327869B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP2019114887A (ja) 投射型画像表示装置およびその制御方法
JP6091216B2 (ja) 画像信号処理装置およびその制御方法、並びに撮像装置
JP2009038635A (ja) カメラ及び画像表示方法
JP4133878B2 (ja) デジタルカメラ及び画像信号生成方法
JP2007300365A (ja) 映像信号変換装置
JP2006337732A (ja) 会議用画像表示システム
JP2018124377A (ja) 表示装置、表示システム、及び、表示方法
JP4924699B2 (ja) 画像処理装置
JP4261666B2 (ja) 画像処理装置
JP2004165876A (ja) 画像処理装置、デジタルカメラ及び複眼システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200304

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201228

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210921

R151 Written notification of patent or utility model registration

Ref document number: 6948810

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151