JP6032964B2 - Image processing apparatus and control method thereof - Google Patents

Image processing apparatus and control method thereof Download PDF

Info

Publication number
JP6032964B2
JP6032964B2 JP2012141464A JP2012141464A JP6032964B2 JP 6032964 B2 JP6032964 B2 JP 6032964B2 JP 2012141464 A JP2012141464 A JP 2012141464A JP 2012141464 A JP2012141464 A JP 2012141464A JP 6032964 B2 JP6032964 B2 JP 6032964B2
Authority
JP
Japan
Prior art keywords
signal
color difference
luminance signal
display means
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012141464A
Other languages
Japanese (ja)
Other versions
JP2014007529A5 (en
JP2014007529A (en
Inventor
伊藤 靖
靖 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012141464A priority Critical patent/JP6032964B2/en
Publication of JP2014007529A publication Critical patent/JP2014007529A/en
Publication of JP2014007529A5 publication Critical patent/JP2014007529A5/en
Application granted granted Critical
Publication of JP6032964B2 publication Critical patent/JP6032964B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は画像処理装置及びその制御方法関する。 The present invention relates to an image processing apparatus and a control method thereof.

画像信号を液晶パネルを備えた表示装置に出力する信号処理装置が知られている。表示装置に出力される画像信号は、輝度信号(Y)と色差信号(Cb、Cr)とから構成される。表示装置では、受け取った輝度信号と色差信号をRGBの三つの色成分信号に変換して表示する(特許文献1参照)。近年では、輝度信号と色差信号の画素数の比率が4:2:2の画像信号を受け取って表示可能な表示装置も知られている。この様な表示装置を備える機器として、例えば、ビデオカメラやデジタルカメラが知られている。   There is known a signal processing device that outputs an image signal to a display device including a liquid crystal panel. The image signal output to the display device is composed of a luminance signal (Y) and color difference signals (Cb, Cr). In the display device, the received luminance signal and color difference signal are converted into three color component signals of RGB and displayed (see Patent Document 1). In recent years, a display device that can receive and display an image signal in which the ratio of the number of pixels of the luminance signal and the color difference signal is 4: 2: 2 is also known. For example, a video camera or a digital camera is known as a device including such a display device.

特開2008−281998号公報JP 2008-281998 A

ビデオカメラなどでは、液晶パネルを回転させて表示する機能を持つ。表示装置を水平方向に回転させた場合、表示する画像を左右反転して表示する必要がある。この時、表示装置に出力する画像信号の順序も左右反転させる必要がある。   A video camera or the like has a function of rotating and displaying a liquid crystal panel. When the display device is rotated in the horizontal direction, it is necessary to display the image to be displayed in a horizontally reversed manner. At this time, it is necessary to reverse the order of the image signals output to the display device.

しかし、輝度信号と色差信号の出力の順序を単純に反転して出力した場合、輝度と色差の重心がずれた状態となり、これをRGBの信号に変換した際、色がにじんでしまう。   However, when the output order of the luminance signal and the color difference signal is simply reversed, the gravity center of the luminance and the color difference is shifted, and when this is converted into an RGB signal, the color is blurred.

そこで本発明は、表示装置に画像を左右反転して表示した場合に、良好に画像を表示可能とすることを目的とする。   Accordingly, an object of the present invention is to make it possible to display an image satisfactorily when the image is displayed on the display device while being horizontally reversed.

上記課題を解決するための発明は画像処理装置であって、
輝度信号と色差信号とからなる画像信号を入力する入力手段と、
輝度信号と色差信号とからなる画像信号に基づいて表示を行う表示手段と、
前記表示手段の向きを検出する検出手段と、
前記入力手段により入力された画像信号を前記表示手段に出力する制御手段であって、前記検出手段が検出した前記表示手段の向きに応じて、前記画像信号の前記表示手段への出力順序を制御する制御手段と
を備え、
前記制御手段は、
前記検出手段が第1の向きを検出した場合には、前記輝度信号と色差信号との出力順序を予め定められた順序前記表示手段へ出力し、
前記検出手段が前記第1の向きとは逆向きとなる第2の向きを検出した場合に、前記出力順序を、前記画像信号の水平ライン毎に前記予め定められた順序とは逆順であって、かつ、前記入力された画像信号において色差信号に対応した所定の輝度信号の出力に対応したタイミングで、前記所定の輝度信号に対応した前記色差信号が出力されるように、前記輝度信号を時間方向に所定画素数分だけ前記色差信号よりも先行させた順序で前記表示手段へ出力することを特徴とする。
An invention for solving the above problems is an image processing apparatus,
An input means for inputting an image signal composed of a luminance signal and a color difference signal;
Display means for performing display based on an image signal composed of a luminance signal and a color difference signal;
Detection means for detecting the orientation of the display means;
Control means for outputting an image signal input by the input means to the display means, and controlling an output order of the image signals to the display means in accordance with the direction of the display means detected by the detection means. Control means for
The control means includes
It said detecting means when detecting the first orientation, and output to the luminance signal and the display means in a predetermined order to output order of the color difference signal,
When the detection unit detects a second direction that is opposite to the first direction, the output order is reverse to the predetermined order for each horizontal line of the image signal. In addition, the luminance signal is timed so that the color difference signal corresponding to the predetermined luminance signal is output at a timing corresponding to the output of the predetermined luminance signal corresponding to the color difference signal in the input image signal. Output to the display means in the order preceded by the color difference signal by a predetermined number of pixels in the direction.

表示装置に画像を左右反転して表示した場合に、良好に画像を表示可能となる。   When the image is displayed on the display device with the left and right reversed, the image can be displayed satisfactorily.

発明の実施形態1に対応する画像処理装置の構成例を示すブロック図。1 is a block diagram showing a configuration example of an image processing apparatus corresponding to Embodiment 1 of the invention. 発明の実施形態1に対応するカメラ100の外観の一例を示す図。The figure which shows an example of the external appearance of the camera 100 corresponding to Embodiment 1 of invention. 発明の実施形態に対応する4:2:2方式の色差変換を説明するための図。The figure for demonstrating the color difference conversion of 4: 2: 2 system corresponding to embodiment of invention. 発明の実施形態に対応する4:1:1方式の色差変換を説明するための図。The figure for demonstrating the color difference conversion of 4: 1: 1 system corresponding to embodiment of invention. 発明の実施形態1に対応する色差変換処理のフローチャート。5 is a flowchart of color difference conversion processing corresponding to Embodiment 1 of the invention. 発明の実施形態2に対応する画像処理装置の構成例を示すブロック図。The block diagram which shows the structural example of the image processing apparatus corresponding to Embodiment 2 of invention. 発明の実施形態2に対応するプロジェクタ600の外観の一例を示す図。FIG. 10 is a diagram showing an example of the appearance of a projector 600 corresponding to Embodiment 2 of the invention. 発明の実施形態2に対応する色差変換処理のフローチャート。The flowchart of the color difference conversion process corresponding to Embodiment 2 of invention.

[実施形態1]
図1(a)は、本発明の画像処理装置としてのカメラ100の構成を示すブロック図である。なお、カメラ100は、所定の記録フォーマットに従い動画信号を記録する。また、記録媒体に記録された動画信号やその他の情報は、FAT(File Allocation Table)ファイルシステムに従い、ファイルとして管理される。図1(a)のカメラ100において、撮像素子、レンズ、表示素子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをCPU等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。
[Embodiment 1]
FIG. 1A is a block diagram showing a configuration of a camera 100 as an image processing apparatus of the present invention. The camera 100 records a moving image signal according to a predetermined recording format. The moving image signal and other information recorded on the recording medium are managed as files in accordance with a FAT (File Allocation Table) file system. In the camera 100 of FIG. 1A, each block may be configured by hardware using a dedicated logic circuit or memory except for physical devices such as an image sensor, a lens, and a display element. Alternatively, the processing program stored in the memory may be configured by software by a computer such as a CPU executing the processing program.

図1(a)において、撮像部101は被写体を撮影し、被写体を示す動画データを生成して出力する。撮像部101は、ズームレンズやフォーカスレンズ等の光学系、CCD等のイメージセンサ、アイリス、撮影した動画データをデジタルデータに変換するAD変換器などを有する。撮像部101から出力された動画データはメモリ102に記憶される。   In FIG. 1A, an imaging unit 101 captures a subject, generates moving image data indicating the subject, and outputs the moving image data. The imaging unit 101 includes an optical system such as a zoom lens and a focus lens, an image sensor such as a CCD, an iris, and an AD converter that converts captured moving image data into digital data. The moving image data output from the imaging unit 101 is stored in the memory 102.

メモリ102は、動画データや表示用の画像信号、圧縮された動画データやその他の情報を記憶する。表示制御部103は、制御部106からの指示に従い、動画像や各種の情報を表示部104に表示する。表示部104は液晶パネル等、公知の表示装置を含む。表示制御部103と表示部104については後述する。   The memory 102 stores moving image data, display image signals, compressed moving image data, and other information. The display control unit 103 displays moving images and various types of information on the display unit 104 in accordance with instructions from the control unit 106. The display unit 104 includes a known display device such as a liquid crystal panel. The display control unit 103 and the display unit 104 will be described later.

信号処理部105は、記録時においては、撮影された動画データを符号化してその情報量を圧縮し、メモリ102に記憶する。また、再生時においては、再生された動画データを復号し、情報量を伸張する。制御部106はマイコンやその他必要なメモリを有し、不図示の不揮発メモリに記憶されたプログラムに従い、操作部107からのユーザ指示に応じてカメラ100の各部の動作を制御する。操作部107は、ユーザにより操作可能な電源スイッチ、動画像の撮影開始、停止を指示するトリガスイッチ、再生スイッチ、メニュースイッチ等の各種のスイッチを備える。制御部106は、操作部107からのユーザの指示を受け付ける。また、ユーザはメニュースイッチを操作して表示部104にメニュー画面を表示し、このメニュー画面を利用してカメラ100の動作モードや、動画記録時の圧縮モードなどを変更し、また、設定を変更する。   At the time of recording, the signal processing unit 105 encodes the captured moving image data, compresses the information amount, and stores it in the memory 102. At the time of reproduction, the reproduced moving image data is decoded to expand the information amount. The control unit 106 includes a microcomputer and other necessary memory, and controls the operation of each unit of the camera 100 according to a user instruction from the operation unit 107 according to a program stored in a non-illustrated nonvolatile memory. The operation unit 107 includes various switches such as a power switch that can be operated by the user, a trigger switch that instructs to start and stop moving image shooting, a playback switch, and a menu switch. The control unit 106 receives a user instruction from the operation unit 107. In addition, the user operates the menu switch to display a menu screen on the display unit 104, and uses this menu screen to change the operation mode of the camera 100, the compression mode when recording a moving image, and the like, and change the setting. To do.

記録再生部108は、制御部106からの指示に従い、圧縮された動画データなど各種の情報を記録媒体109に記録し、記録媒体109から再生する。記録媒体109はメモリカードやハードディスク(HDD)等のランダムアクセス可能な記録媒体である。本実施形態では、記録媒体109はフラッシュメモリを内蔵した交換可能なメモリカードを想定している。また、記録媒体109は、不図示の装着、排出機構により、カメラ100に対してユーザが容易に装着、排出可能な構成である。内部バス110は、カメラ100の各部の間で、各種のデータやコマンドを転送するために用いられる。   The recording / reproducing unit 108 records various types of information such as compressed moving image data on the recording medium 109 according to an instruction from the control unit 106 and reproduces the information from the recording medium 109. The recording medium 109 is a randomly accessible recording medium such as a memory card or a hard disk (HDD). In this embodiment, the recording medium 109 is assumed to be a replaceable memory card with a built-in flash memory. Further, the recording medium 109 is configured so that the user can easily mount and discharge the camera 100 with a mounting and discharging mechanism (not shown). The internal bus 110 is used to transfer various data and commands between the units of the camera 100.

次に、撮影時の処理について説明する。操作部107によりカメラ100の電源が投入されると、制御部106はカメラ100の各部を制御して、撮像部101により得られた動画データをメモリ102に記憶する。そして、メモリ102に記憶された動画データに応じた被写体の動画像を表示部104に表示し、記録待機状態となる。   Next, processing during shooting will be described. When the power of the camera 100 is turned on by the operation unit 107, the control unit 106 controls each unit of the camera 100 and stores the moving image data obtained by the imaging unit 101 in the memory 102. Then, the moving image of the subject corresponding to the moving image data stored in the memory 102 is displayed on the display unit 104, and the recording standby state is set.

この状態で、制御部106は、操作部107により記録開始の指示があるか否かを判別する。記録開始の指示があると、制御部106は各部を制御し、動画の符号化を開始すると共に、記録媒体109に対する動画の記録を開始する。撮像部101は、制御部106からの指示により、撮影した動画データを順次出力し、バス110を介して順次メモリ102に記憶する。   In this state, the control unit 106 determines whether there is an instruction to start recording by the operation unit 107. When there is an instruction to start recording, the control unit 106 controls each unit to start encoding moving images and start recording moving images on the recording medium 109. The imaging unit 101 sequentially outputs captured moving image data in accordance with an instruction from the control unit 106 and sequentially stores the data in the memory 102 via the bus 110.

信号処理部105は、メモリ102に記憶された動画データを圧縮して、再度メモリ102に記憶する。このとき、制御部106は、所定の圧縮モード(記録モード)に応じて動画データを符号化、圧縮するように信号処理部105を制御する。制御部106は、記録再生部108に対し、メモリ102から動画データを読み出し、記録媒体109に記録するように指示する。記録再生部108は、圧縮された動画データと音声データに対し、必要なデータを付加してデータストリームを生成する。そして、所定のファイルシステムに従って、このデータストリームを含む動画ファイルを生成し、記録媒体109に記録する。   The signal processing unit 105 compresses the moving image data stored in the memory 102 and stores the compressed data in the memory 102 again. At this time, the control unit 106 controls the signal processing unit 105 to encode and compress moving image data in accordance with a predetermined compression mode (recording mode). The control unit 106 instructs the recording / reproducing unit 108 to read the moving image data from the memory 102 and record it on the recording medium 109. The recording / playback unit 108 adds necessary data to the compressed moving image data and audio data to generate a data stream. Then, in accordance with a predetermined file system, a moving image file including this data stream is generated and recorded on the recording medium 109.

そして、記録開始後、操作部107により記録停止の指示があると、制御部106は記録再生部108に対して、動画の記録停止を指示する。記録再生部108は、制御部106からの記録停止の指示に従い、記録媒体109に対する動画の記録を停止する。そして、制御部106は、カメラ100を再び記録待機状態とする。本実施形態では、記録開始の指示から記録停止の指示までの間に記録された一連の動画を一つのファイルとして管理する。   When the operation unit 107 instructs to stop recording after the recording is started, the control unit 106 instructs the recording / playback unit 108 to stop recording the moving image. The recording / reproducing unit 108 stops the recording of the moving image on the recording medium 109 according to the recording stop instruction from the control unit 106. Then, the control unit 106 puts the camera 100 into the recording standby state again. In the present embodiment, a series of moving images recorded between a recording start instruction and a recording stop instruction are managed as one file.

次に、再生処理について説明する。操作部107により再生モードの指示があると、制御部106は、記録媒体109に記録された動画ファイルのうち、指定された動画ファイルを再生するように、記録再生部108を制御する。記録再生部108は、指定された動画ファイルを記録媒体109から再生し、動画ファイルに格納された動画データをメモリ102に記憶する。信号処理部105はメモリ102から動画データを読み出して復号し、再度メモリ102に記憶する。表示制御部103はメモリ102から復号された動画データを読み出し、再生された動画像を表示部104に表示する。そして、再生停止の指示があると、制御部106は動画ファイルの再生を停止するように記録再生部108に指示する。   Next, the reproduction process will be described. When the playback unit is instructed by the operation unit 107, the control unit 106 controls the recording / playback unit 108 so as to play back the designated video file among the video files recorded on the recording medium 109. The recording / reproducing unit 108 reproduces the designated moving image file from the recording medium 109, and stores the moving image data stored in the moving image file in the memory 102. The signal processing unit 105 reads out the moving image data from the memory 102, decodes it, and stores it in the memory 102 again. The display control unit 103 reads the decoded moving image data from the memory 102 and displays the reproduced moving image on the display unit 104. When an instruction to stop playback is given, the control unit 106 instructs the recording / playback unit 108 to stop playback of the moving image file.

次に、本実施形態における表示制御部103と表示部104について説明する。図1(b)は表示制御部103と表示部104の構成を示す図である。本実施形態では、撮像部101は1画面が横1920画素×縦1080画素の動画データを出力する。また、撮像部101が出力する動画データは、輝度信号Yと複数の色差信号Cr,Cbの画素数の比が4:2:2である。記録再生部108は、この横1920画素×縦1080画素の動画データを記録する。また、液晶パネル118の画素数は、縦854画素(ドット)×横480画素(ドット)である。   Next, the display control unit 103 and the display unit 104 in the present embodiment will be described. FIG. 1B is a diagram illustrating the configuration of the display control unit 103 and the display unit 104. In the present embodiment, the imaging unit 101 outputs moving image data in which one screen has 1920 horizontal pixels × 1080 vertical pixels. The moving image data output by the imaging unit 101 has a ratio of the number of pixels of the luminance signal Y and the plurality of color difference signals Cr and Cb of 4: 2: 2. The recording / reproducing unit 108 records the moving image data of horizontal 1920 pixels × vertical 1080 pixels. The number of pixels of the liquid crystal panel 118 is vertical 854 pixels (dots) × horizontal 480 pixels (dots).

図1(b)における画面サイズ変換部111には、撮影時においては、撮像部101により取得された動画データが入力される。また、再生時においては、信号処理部105により復号された動画データが入力される。記録時、再生時の何れにおいても、画面サイズ変換部111には1920画素×1080画素の、輝度信号Yと複数の色差信号Cr,Cbからなる動画データが入力される。画面サイズ変換部111は、入力された動画データの各フレームの輝度信号の画素数を液晶パネルの表示画素数である854画素×480画素に変換する。また、これに伴い、色差信号Cr,Cbの画素数をそれぞれ輝度信号Yの半分の画素数に変換する。画素数が変換された動画データが多重処理部112に出力される。多重処理部112は、画面サイズ変換部111からの動画データに対し、各種のOSDデータなどの情報を多重してメモリ113に出力する。メモリ113に記憶された動画データは、色差処理部114に出力される。色差処理部114は、後述の様に、表示部104の向きに応じて輝度信号及び色差信号の出力タイミングを変更して出力する。送信部115は、色差処理部114からの輝度信号と色差信号をLVDSの形式で表示部104に出力する。   The moving image data acquired by the imaging unit 101 is input to the screen size conversion unit 111 in FIG. At the time of reproduction, the moving image data decoded by the signal processing unit 105 is input. In both recording and reproduction, the screen size conversion unit 111 receives 1920 × 1080 pixel moving image data including a luminance signal Y and a plurality of color difference signals Cr and Cb. The screen size conversion unit 111 converts the number of pixels of the luminance signal of each frame of the input moving image data into 854 pixels × 480 pixels which is the number of display pixels of the liquid crystal panel. Accordingly, the number of pixels of the color difference signals Cr and Cb is converted to half the number of pixels of the luminance signal Y, respectively. The moving image data in which the number of pixels is converted is output to the multiprocessing unit 112. The multiprocessing unit 112 multiplexes various types of information such as OSD data with the moving image data from the screen size conversion unit 111 and outputs the multiplexed data to the memory 113. The moving image data stored in the memory 113 is output to the color difference processing unit 114. As will be described later, the color difference processing unit 114 changes the output timing of the luminance signal and the color difference signal in accordance with the orientation of the display unit 104 and outputs the result. The transmission unit 115 outputs the luminance signal and the color difference signal from the color difference processing unit 114 to the display unit 104 in the LVDS format.

表示部104において、受信部116は、表示制御部103からの輝度信号と色差信号を受け取り、変換処理部117に送る。変換処理部117は、輝度信号と色差信号をRGBの信号に変換し、液晶パネル118に送る。液晶パネル118は、RGB信号に応じて画像を表示する。また、方向検知部119は、表示部104の向きを検出し、制御部106に出力する。向きの検出方法としては、表示部104にスイッチやセンサを設けておき、当該スイッチまたはセンサからの出力に応じて表示部104の向きを検出することができる。当該検出方法自体は公知の方法を用いることができるので、より詳細な説明は本明細書では省略する。   In the display unit 104, the reception unit 116 receives the luminance signal and the color difference signal from the display control unit 103 and sends them to the conversion processing unit 117. The conversion processing unit 117 converts the luminance signal and the color difference signal into RGB signals and sends them to the liquid crystal panel 118. The liquid crystal panel 118 displays an image according to the RGB signals. In addition, the direction detection unit 119 detects the orientation of the display unit 104 and outputs the detected direction to the control unit 106. As a direction detection method, a switch or a sensor is provided in the display unit 104, and the direction of the display unit 104 can be detected in accordance with an output from the switch or sensor. Since a known method can be used as the detection method itself, a more detailed description is omitted in this specification.

次に、色差処理部114による補正処理について説明する。図2はカメラ100の外観を示す図である。図2において、201はレンズ、202はシャッターボタンである。本実施形態では、レンズ201が配置されている側をカメラ100の正面といい、正面に相対する面を背面という。図2では、被写体200Aと200Bとを撮影している様子を示している。図2(a)の場合、表示部104はカメラ100の本体背面に組込まれる形で位置している。この場合、カメラ100のユーザはカメラ100の背面側から被写体方向を向いていることとなり、表示部104をビューファインダーとして利用して撮影を行うことができる。この状態での表示部104が向く方向を第1の方向と呼ぶことにする。即ち第1の方向とは、カメラ100との関係において、カメラ100の正面から背面に向かう方向と定義できる。   Next, correction processing by the color difference processing unit 114 will be described. FIG. 2 is a view showing the appearance of the camera 100. In FIG. 2, 201 is a lens and 202 is a shutter button. In the present embodiment, the side on which the lens 201 is disposed is referred to as the front of the camera 100, and the surface facing the front is referred to as the back. FIG. 2 shows a state where the subjects 200A and 200B are being photographed. In the case of FIG. 2A, the display unit 104 is positioned so as to be incorporated in the back of the main body of the camera 100. In this case, the user of the camera 100 is directed toward the subject from the back side of the camera 100, and can take a picture using the display unit 104 as a viewfinder. The direction in which the display unit 104 faces in this state is referred to as a first direction. That is, the first direction can be defined as a direction from the front of the camera 100 toward the back in relation to the camera 100.

表示部104は回動可能にカメラ100の本体に取り付けられており、図2(a)に示すような装置の背面から見て左側方向に水平に回動させることができる。図2(b)の場合、表示部104はカメラ100の本体背面から離れてレンズ201が向く方向と同一方向を向くように位置することになる。この場合、カメラ100のユーザはカメラ100の正面側からカメラ100のレンズ201をのぞき込む形となり、表示部104をビューファインダーとして利用して同様に撮影を行うことができる。この状態での表示部104が向く方向を第2の方向と呼ぶことにする。即ち第2の方向とは、第1の方向とは逆向きの方向であって、カメラ100との関係において、カメラ100の背面から正面に向かう方向と定義できる。   The display unit 104 is rotatably attached to the main body of the camera 100, and can be horizontally rotated in the left direction when viewed from the back of the apparatus as shown in FIG. In the case of FIG. 2B, the display unit 104 is located away from the back of the main body of the camera 100 so as to face the same direction as the lens 201. In this case, the user of the camera 100 looks into the lens 201 of the camera 100 from the front side of the camera 100, and can similarly take a picture using the display unit 104 as a viewfinder. The direction in which the display unit 104 faces in this state is referred to as a second direction. That is, the second direction is a direction opposite to the first direction, and can be defined as a direction from the back of the camera 100 toward the front in relation to the camera 100.

このようにして表示部104を回動させ、図2(b)の状態とした場合、表示部104を見るユーザの視点位置と表示部104が表示する画像における被写体の配置との整合を取る必要がある。具体的には、図2(b)の状況では、図2(a)での表示画像104Aとは左右逆の画像104Bを表示する必要がある。そのため、表示部104に対し、左右逆に表示されるように輝度信号と色差信号を出力する。   When the display unit 104 is thus rotated to the state shown in FIG. 2B, it is necessary to match the viewpoint position of the user viewing the display unit 104 with the arrangement of the subject in the image displayed on the display unit 104. There is. Specifically, in the situation of FIG. 2B, it is necessary to display an image 104B that is opposite to the display image 104A in FIG. For this reason, the luminance signal and the color difference signal are output to the display unit 104 so as to be displayed in the opposite direction.

図3に表示部104に出力される輝度信号と色差信号とからなる画像信号の構成例を示す。例えば、SMPTE125ではCb0、Cr0はY0と、Cb2、Cr2はY2と重心が合うフォーマットになっており、本実施形態では、上記フォーマットと同様の信号形式を想定する。4:2:2方式の場合、輝度信号と各色差信号の標本化周波数の比率が4:2:2となっている。即ち、4:2:2方式では、輝度信号に対し、各色差信号は1/2の画素数(サンプル数)である。データ配列301は表示部104に動画データを出力する際のデータの並び順を示しており、SMPTE125のフォーマットに従った順序で読み出した結果を示す。301aは輝度信号と色差信号の画素位置の対応を示している。このデータを302aに示すように単純に左右反転すると、水平方向は輝度信号Y1に、色差信号Cb0、Cr0が対応づけられてしまうので、輝度信号と色差信号との重心がずれる。そのため、表示部104の変換処理部117が輝度信号と色差信号をRGB信号に変換して液晶パネル118に表示した際、色にじみとして認識されてしまう。   FIG. 3 shows a configuration example of an image signal composed of a luminance signal and a color difference signal output to the display unit 104. For example, in SMPTE125, Cb0 and Cr0 have a format that matches Y0, and Cb2 and Cr2 have a format that matches the center of gravity of Y2. In this embodiment, a signal format similar to the above format is assumed. In the case of the 4: 2: 2 system, the ratio of the sampling frequency of the luminance signal and each color difference signal is 4: 2: 2. That is, in the 4: 2: 2 system, each color difference signal has half the number of pixels (number of samples) with respect to the luminance signal. A data array 301 indicates the arrangement order of data when moving image data is output to the display unit 104, and indicates a result of reading in the order according to the format of SMPTE125. 301a shows the correspondence between the pixel positions of the luminance signal and the color difference signal. If this data is simply reversed left and right as indicated by 302a, the chrominance signals Cb0 and Cr0 are associated with the luminance signal Y1 in the horizontal direction, so that the center of gravity of the luminance signal and the color difference signal is shifted. Therefore, when the conversion processing unit 117 of the display unit 104 converts the luminance signal and the color difference signal into RGB signals and displays them on the liquid crystal panel 118, it is recognized as a color blur.

そこで、本実施形態では、方向検知部119からの表示部104の向きの検出結果に基づいて、表示部104に出力する輝度信号の位置(タイミング)を変更する。即ち、方向検知部119により表示部104の向きが図2(b)の位置になったことが検出された場合、制御部106は表示制御部103を制御し、メモリ113に記憶された動画データを左右反転して読み出すように指示する。これにより、輝度信号及び色差信号が水平ライン毎に読出し順序が逆転されて読み出される。本実施形態では画像の左右反転を行うだけなので、垂直方向での読出し順序の変更はない。そして、色差処理部114に対し、303aに示すように、輝度信号を1画素分だけ、時間方向に進むようにシフトして出力するように指示する。この処理により、読出しの対象となる輝度信号が色差信号に対して1画素分だけ先行することとなり、結果として輝度信号Y0に対応する色差信号Cb0、Cr0のように、色差の重心が保たれる。ここで、輝度信号が色差信号に対して1画素分だけ先行した結果、先行した分だけ画面右端で輝度信号が欠落することとなる。これに対しては、欠落位置に隣接して存在する輝度信号、即ちY0で補間する。即ち、欠落画素として、隣接する輝度信号を出力することにより補間する。   Therefore, in the present embodiment, the position (timing) of the luminance signal output to the display unit 104 is changed based on the detection result of the direction of the display unit 104 from the direction detection unit 119. That is, when the direction detection unit 119 detects that the orientation of the display unit 104 has reached the position shown in FIG. 2B, the control unit 106 controls the display control unit 103 to store the moving image data stored in the memory 113. Is instructed to be read in reverse. As a result, the luminance signal and the color difference signal are read out with the reading order reversed for each horizontal line. In the present embodiment, since only the horizontal reversal of the image is performed, there is no change in the reading order in the vertical direction. Then, as shown in 303a, the color difference processing unit 114 is instructed to shift and output the luminance signal by one pixel so as to advance in the time direction. By this processing, the luminance signal to be read is preceded by one pixel with respect to the color difference signal, and as a result, the color difference center of gravity is maintained like the color difference signals Cb0 and Cr0 corresponding to the luminance signal Y0. . Here, as a result of the luminance signal preceding the color difference signal by one pixel, the luminance signal is lost at the right end of the screen by the preceding amount. For this, interpolation is performed with the luminance signal existing adjacent to the missing position, that is, Y0. That is, interpolation is performed by outputting adjacent luminance signals as missing pixels.

なお、上述の例では、4:2:2方式の色差入力に対応した表示部104に発明を適用した場合を説明した。これに対し、輝度信号と色差信号との比率は4:2:2に限定されるものではなく、4:1:1方式の色差入力のモニターに対しても本発明を適用することができる。   In the above example, the case where the invention is applied to the display unit 104 that supports 4: 2: 2 color difference input has been described. On the other hand, the ratio between the luminance signal and the color difference signal is not limited to 4: 2: 2, but the present invention can be applied to a monitor for color difference input of a 4: 1: 1 system.

図4は、4:1:1方式の信号の並び順を示し、輝度信号に対し、色差信号は1/4のデータ量である。この場合に、データ配列401を402に示すように単純に左右反転すると、輝度信号Y3に、色差信号Cb0、Cr0が対応することになるので、輝度と色差の重心がずれてしまう。よって、これを表示部104内の変換処理部117でRGB変換処理を施し、液晶パネル118に表示した際、色にじみとして認識されてしまう。   FIG. 4 shows the arrangement order of signals of the 4: 1: 1 system, and the color difference signal has a data amount of 1/4 with respect to the luminance signal. In this case, if the data array 401 is simply reversed left and right as indicated by 402, the color difference signals Cb0 and Cr0 correspond to the luminance signal Y3, so that the centroids of luminance and color difference are shifted. Therefore, when this is subjected to RGB conversion processing by the conversion processing unit 117 in the display unit 104 and displayed on the liquid crystal panel 118, it is recognized as color blur.

そこで、方向検知部119からの表示部104の向きの検出結果に基づいて、表示部104に出力する輝度信号の位置(タイミング)を4:2:2方式の場合と同様に変更する。ただし、4:1:1方式の場合には、輝度信号のシフト量が4:2:2方式とは異なる。4:2:2方式では、輝度信号と色差信号のデータ量の比率が2:1であったのに対し、4:1:1方式では比率が4:1しかない。そこで輝度信号と色差信号とを水平ライン毎にそれぞれ読出し順を逆転させると共に、輝度信号が3画素分だけ色差信号に先行するようにシフトする。この処理により、輝度信号Y0に対応する色差信号Cb0、Cr0のように、色差の重心が保たれる。なお、輝度信号のシフトにともなう画面端部の画素欠落については、隣接する輝度データY0で補間する。   Therefore, based on the detection result of the direction of the display unit 104 from the direction detection unit 119, the position (timing) of the luminance signal output to the display unit 104 is changed as in the case of the 4: 2: 2 system. However, in the case of the 4: 1: 1 system, the shift amount of the luminance signal is different from that of the 4: 2: 2 system. In the 4: 2: 2 method, the ratio of the data amount of the luminance signal and the color difference signal was 2: 1, whereas in the 4: 1: 1 method, the ratio is only 4: 1. Therefore, the luminance signal and the color difference signal are reversed in order of reading for each horizontal line, and the luminance signal is shifted by 3 pixels so that it precedes the color difference signal. By this processing, the centroid of the color difference is maintained like the color difference signals Cb0 and Cr0 corresponding to the luminance signal Y0. Note that the pixel loss at the edge of the screen due to the shift of the luminance signal is interpolated with the adjacent luminance data Y0.

このように、輝度信号のシフト量及び補間画素数は、輝度信号と色差信号とのデータ量の比率に応じて、所定画素数分として決定することができる。制御部106は、表示部104が入力する輝度と色差の画素配列の情報、即ち、4:2:2、或いは、4:1:1などの情報を内部の不揮発メモリに記憶する。そして、この画素配列の情報により表示部104への画像信号の出力を制御する。   Thus, the shift amount of the luminance signal and the number of interpolated pixels can be determined as a predetermined number of pixels according to the ratio of the data amount of the luminance signal and the color difference signal. The control unit 106 stores information on luminance and color difference pixel arrangement input by the display unit 104, that is, information such as 4: 2: 2 or 4: 1: 1 in an internal nonvolatile memory. The output of the image signal to the display unit 104 is controlled based on the information on the pixel arrangement.

以下、左右反転処理のフローを図5のフローチャートを用いて説明する。当該処理は、対応する処理プログラムを実行することにより色差処理部114において実行される。   Hereinafter, the flow of the horizontal reversal process will be described with reference to the flowchart of FIG. The processing is executed in the color difference processing unit 114 by executing a corresponding processing program.

色差処理部114は、S501において表示部104の向きを方向検知部119からの検知結果を表す信号に基づいて判定する。表示部104が第1の向きを有する場合、S502の通常読み出しでメモリ113から、順次読み出しを行う。一方、S501で第2の向きと判定された場合、色差処理部114は、S503において左右反転読み出しでメモリ113から、データの反転読み出しを行う。またS504のYシフトと補間処理で、Y信号を所定画素分だけシフトすると同時に、欠損する画面右端の所定画素分のデータを、隣接する輝度データY0で補間する。   In step S <b> 501, the color difference processing unit 114 determines the orientation of the display unit 104 based on a signal representing a detection result from the direction detection unit 119. When the display unit 104 has the first orientation, reading is sequentially performed from the memory 113 by the normal reading in S502. On the other hand, if the second direction is determined in S501, the color difference processing unit 114 performs reverse reading of data from the memory 113 by left / right reverse reading in S503. Further, in the Y shift and interpolation processing of S504, the Y signal is shifted by a predetermined pixel, and at the same time, the data for the predetermined pixel at the right end of the missing screen is interpolated with the adjacent luminance data Y0.

このように、映像の走査方向を左右で入れ替える際に、輝度信号を、輝度信号と色差信号とのデータ量の比率に応じた所定画素分だけシフトして色差信号よりも先行させることで、色差信号と重心を合わせることが可能となる。これによりパネル表示時の色にじみを効率的に防ぐことができる。   In this way, when the video scanning direction is switched between right and left, the luminance signal is shifted by a predetermined pixel according to the ratio of the data amount of the luminance signal and the color difference signal and preceded by the color difference signal. It becomes possible to match the signal and the center of gravity. As a result, color bleeding at the time of panel display can be effectively prevented.

[実施形態2]
上述の実施形態1では本発明の画像処理装置を、撮像部101を有するカメラ100として説明した。しかし、本発明は、カメラに限定されることはなく色差入力に対応した映像表示装置にも適用可能である。そこで、以下では、装置本体を上下逆さで天井から吊り下げて使用可能なプロジェクタを例に、本実施形態に対応する画像処理装置について説明する。
[Embodiment 2]
In the first embodiment described above, the image processing apparatus of the present invention has been described as the camera 100 having the imaging unit 101. However, the present invention is not limited to a camera, and can be applied to a video display device that supports color difference input. Therefore, in the following, an image processing apparatus corresponding to this embodiment will be described by taking as an example a projector that can be used by suspending the apparatus main body upside down from the ceiling.

図6(a)は、本実施形態に対応する画像処理装置としてのプロジェクタ600の構成を示す図である。図6(a)のプロジェクタ600において、投影素子やレンズのような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをCPU等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。   FIG. 6A is a diagram showing a configuration of a projector 600 as an image processing apparatus corresponding to the present embodiment. In the projector 600 of FIG. 6A, each block may be configured by hardware using a dedicated logic circuit or memory, except for a physical device such as a projection element or a lens. Alternatively, the processing program stored in the memory may be configured by software by a computer such as a CPU executing the processing program.

通信部601は、外部装置から画像信号の入力を受け付ける通信インタフェースである。例えば、通信部601は、例えばHDMI、USB、IEEE1394等の通信プロトコルに対応する。メモリ602は、動画データや表示用の画像信号、圧縮された動画データやその他の情報を記憶する。投影制御部603は、制御部606からの指示に従い、動画像や各種の情報を投影部604に出力する。投影部604はズームレンズやフォーカスレンズ等の光学系、液晶パネル、DMD(デジタル・ミラー・デバイス)等の公知の投影装置を含む。   The communication unit 601 is a communication interface that receives an input of an image signal from an external device. For example, the communication unit 601 corresponds to a communication protocol such as HDMI, USB, and IEEE1394. The memory 602 stores moving image data, display image signals, compressed moving image data, and other information. The projection control unit 603 outputs a moving image and various types of information to the projection unit 604 in accordance with instructions from the control unit 606. The projection unit 604 includes a known projection device such as an optical system such as a zoom lens and a focus lens, a liquid crystal panel, and a DMD (digital mirror device).

なお、本実施形態では「装置から離れた位置にあるスクリーンに対して映像を投影する」というプロジェクタの性質に鑑みて「投影」という語を用いているが、視認可能な画像を観察者に対して提供するという点で「投影」と「表示」とは同じ概念を有する。本実施形態では説明のために「投影部」、「投影制御部」との文言を使用しているが、これらは基本的には「表示部」、「表示制御部」とみなすことができる。   In this embodiment, the word “projection” is used in view of the nature of the projector, “projecting an image onto a screen at a position away from the apparatus”. “Projection” and “Display” have the same concept in that they are provided in the same manner. In the present embodiment, the terms “projection unit” and “projection control unit” are used for explanation, but these can be basically regarded as “display unit” and “display control unit”.

信号処理部605は、外部装置から受信した動画データを復号し、情報量を伸張する。制御部606はマイコンやその他必要なメモリを有し、不図示の不揮発メモリに記憶されたプログラムに従いプロジェクタ600の各部の動作を制御する。操作部607は、ユーザにより操作可能な電源スイッチ、メニュースイッチ、入力切替スイッチ等の各種のスイッチを備える。制御部606は、操作部607からのユーザの指示を受け付ける。また、ユーザはメニュースイッチを操作して投影部604からメニュー画面を投影して、このメニュー画面を利用してプロジェクタ600の動作モード等を変更したり、設定を変更したりできる。   The signal processing unit 605 decodes the moving image data received from the external device, and expands the information amount. The control unit 606 includes a microcomputer and other necessary memory, and controls the operation of each unit of the projector 600 according to a program stored in a nonvolatile memory (not shown). The operation unit 607 includes various switches such as a power switch, a menu switch, and an input switch that can be operated by the user. The control unit 606 receives a user instruction from the operation unit 607. Further, the user can operate the menu switch to project a menu screen from the projection unit 604, and use this menu screen to change the operation mode or the like of the projector 600 or change the setting.

再生部608は、制御部606からの指示に従い、圧縮された動画データなど各種の情報を記録媒体609から再生する。記録媒体609はメモリカード等のランダムアクセス可能な記録媒体である。本実施形態では、記録媒体609はフラッシュメモリを内蔵した交換可能なメモリカードを想定している。また、記録媒体609は、不図示の装着、排出機構により、プロジェクタ600に対してユーザが容易に装着、排出可能な構成である。内部バス610は、プロジェクタ600の各部の間で、各種のデータやコマンドを転送するために用いられる。   The reproduction unit 608 reproduces various information such as compressed moving image data from the recording medium 609 in accordance with an instruction from the control unit 606. A recording medium 609 is a randomly accessible recording medium such as a memory card. In this embodiment, the recording medium 609 is assumed to be a replaceable memory card with a built-in flash memory. Further, the recording medium 609 is configured to be easily mounted and discharged by the user with respect to the projector 600 by a mounting and discharging mechanism (not shown). The internal bus 610 is used to transfer various data and commands between the units of the projector 600.

次に、プロジェクタ600による再生処理について説明する。外部装置から通信部601を介して提供される動画データを再生する場合、受信した動画データをメモリ602に記憶する。信号処理部605はメモリ602から動画データを読み出して復号し、再度メモリ602に記憶する。投影制御部603はメモリ602から復号された動画データを読み出し、投影部604に供給する。   Next, reproduction processing by the projector 600 will be described. When reproducing moving image data provided from an external device via the communication unit 601, the received moving image data is stored in the memory 602. The signal processing unit 605 reads out the moving image data from the memory 602, decodes it, and stores it in the memory 602 again. The projection control unit 603 reads the decoded moving image data from the memory 602 and supplies it to the projection unit 604.

次に、本実施形態における投影制御部603と投影部604について説明する。図6(b)は投影制御部603と投影部604の構成を示す図である。本実施形態では、外部装置が1画面が横1920画素×縦1080画素の動画データを出力する。また、外部装置から出力される動画データは、輝度信号Yと二種類の色差信号Cr,Cbの画素数の比が4:2:2である。信号処理部605は、この横1920画素×縦1080画素の動画データを復号する。また、投影部604における液晶パネル618の画素数も、横1920画素×縦1080画素である。   Next, the projection control unit 603 and the projection unit 604 in the present embodiment will be described. FIG. 6B is a diagram illustrating the configuration of the projection control unit 603 and the projection unit 604. In the present embodiment, the external device outputs moving image data having a horizontal screen of 1920 pixels × vertical 1080 pixels. In the moving image data output from the external device, the ratio of the number of pixels of the luminance signal Y and the two types of color difference signals Cr and Cb is 4: 2: 2. The signal processing unit 605 decodes the moving image data of horizontal 1920 pixels × vertical 1080 pixels. In addition, the number of pixels of the liquid crystal panel 618 in the projection unit 604 is also 1920 horizontal pixels × 1080 vertical pixels.

図6(b)における画面サイズ変換部611には、信号処理部605により復号された動画データが入力される。画面サイズ変換部611には輝度信号Yと色差信号Cr,Cbからなる動画データが入力される。画面サイズ変換部611は、入力された動画データの各フレームの輝度信号の画素数と、液晶パネルの表示画素数が一致しない場合、画素数を変換して一致させる。画素数が変換された動画データは多重処理部612に出力される。多重処理部612は、画面サイズ変換部611からの動画データに対し、各種のOSDデータなどの情報を多重してメモリ613に出力する。メモリ613に記憶された動画データは、色差処理部614に出力される。色差処理部614は、後述の様に、投影部604(プロジェクタ600)の向きに応じて輝度信号の出力タイミングを補正して出力する。送信部615は、色差処理部614からの輝度信号と色差信号をLVDSの形式で投影部604に出力する。   The moving image data decoded by the signal processing unit 605 is input to the screen size conversion unit 611 in FIG. The screen size converter 611 receives moving image data composed of a luminance signal Y and color difference signals Cr and Cb. When the number of pixels of the luminance signal of each frame of the input moving image data does not match the number of display pixels on the liquid crystal panel, the screen size conversion unit 611 converts the number of pixels to match. The moving image data in which the number of pixels is converted is output to the multiplex processing unit 612. The multiplex processing unit 612 multiplexes information such as various OSD data with respect to the moving image data from the screen size conversion unit 611 and outputs the multiplexed data to the memory 613. The moving image data stored in the memory 613 is output to the color difference processing unit 614. The color difference processing unit 614 corrects and outputs the output timing of the luminance signal according to the direction of the projection unit 604 (projector 600), as will be described later. The transmission unit 615 outputs the luminance signal and the color difference signal from the color difference processing unit 614 to the projection unit 604 in the LVDS format.

投影部604において、受信部616は、投影制御部603からの輝度信号と色差信号を受け取り、変換処理部617に送る。変換処理部617は、輝度信号と色差信号をRGBの信号に変換し、液晶パネル618に送る。液晶パネル618は、RGB信号に応じてバックライトからの入射光を制御して画像をスクリーンなどに投影する。また、方向検知部619は、投影部604の向き、即ちプロジェクタ600の向きを検出し、制御部606に出力する。向きの検出方法としては、例えばジャイロセンサを使うことができる。当該検出方法自体は公知の方法を用いることができるので、より詳細な説明は本明細書では省略する。なお、方向検知部619の配置位置は、投影部604内に限られるものではなく、プロジェクタ600内のいずれかの場所であればよい。   In the projection unit 604, the reception unit 616 receives the luminance signal and the color difference signal from the projection control unit 603 and sends them to the conversion processing unit 617. The conversion processing unit 617 converts the luminance signal and the color difference signal into RGB signals and sends them to the liquid crystal panel 618. The liquid crystal panel 618 controls the incident light from the backlight according to the RGB signals and projects an image on a screen or the like. In addition, the direction detection unit 619 detects the direction of the projection unit 604, that is, the direction of the projector 600 and outputs the detected direction to the control unit 606. For example, a gyro sensor can be used as the direction detection method. Since a known method can be used as the detection method itself, a more detailed description is omitted in this specification. The arrangement position of the direction detection unit 619 is not limited to the projection unit 604, and may be any location in the projector 600.

次に、色差処理部614による補正処理について説明する。図7はプロジェクタ600の外観を示す図である。図7では、被写体が移った映像を透過型スクリーンに投影している様子を示している。図7(a)はプロジェクタ600を床置きした状態を示している。投影部604の液晶パネル618の位置(向き)は、プロジェクタ600本体に対して変化することがないから、投影部604の向きは、そのままプロジェクタ600本体の向きに対応する。図7(a)の場合、プロジェクタ600は床置きされているので、液晶パネル618の向きも天地に対して非反転の状態にある。この状態での投影部604が向く方向を第1の方向と呼ぶことにする。これに対して図7(b)は天井から吊り下げた状態を示している。この場合、プロジェクタ600は裏返された状態となり、液晶パネル618の向きは、天地に対して上下反転した状態にある。この状態での投影部604が向く方向を第2の方向と呼ぶことにする。   Next, correction processing by the color difference processing unit 614 will be described. FIG. 7 is a diagram showing the external appearance of the projector 600. FIG. 7 shows a state in which an image of a moving subject is projected on a transmissive screen. FIG. 7A shows the projector 600 placed on the floor. Since the position (orientation) of the liquid crystal panel 618 of the projection unit 604 does not change with respect to the projector 600 main body, the orientation of the projection unit 604 directly corresponds to the orientation of the projector 600 main body. In the case of FIG. 7A, since the projector 600 is placed on the floor, the orientation of the liquid crystal panel 618 is also non-inverted with respect to the top and bottom. A direction in which the projection unit 604 faces in this state is referred to as a first direction. On the other hand, FIG.7 (b) has shown the state suspended from the ceiling. In this case, the projector 600 is turned over, and the orientation of the liquid crystal panel 618 is upside down with respect to the top and bottom. A direction in which the projection unit 604 faces in this state is referred to as a second direction.

プロジェクタ600は、投影レンズ701を有し、透過型スクリーン702に対して画像の投影を行う。床置きの場合、映像703がスクリーン702へ投影され、天井から吊り下げた状態では映像703bのように、上下左右が反転される。表示位置を映像703aのように表示するためには、上下左右逆に表示する必要があり、画像信号は上下左右逆に転送する。画像信号を上下左右に反転するに当たり、左右反転は図3で説明した通りである。上下反転については、画像信号の水平ラインの垂直方向における出力順序が逆順となる。なお、垂直方向のラインの出力順序の変更によっては、輝度信号と色差信号との重心のずれは生じないため、画素シフトや補間処理は不要である。   The projector 600 has a projection lens 701 and projects an image on the transmission screen 702. In the case of floor placement, the image 703 is projected onto the screen 702, and when it is suspended from the ceiling, it is inverted vertically and horizontally like the image 703b. In order to display the display position like the image 703a, it is necessary to display the image upside down, and the image signal is transferred upside down. When the image signal is inverted vertically and horizontally, the horizontal reversal is as described with reference to FIG. With respect to upside down, the output order in the vertical direction of the horizontal line of the image signal is reversed. Note that the shift of the center of gravity between the luminance signal and the color difference signal does not occur depending on the change in the output order of the lines in the vertical direction, so that pixel shift and interpolation processing are unnecessary.

次に、図8のフローチャートを参照して本実施形態における色差処理部614における処理を説明する。当該処理は、対応する処理プログラムを実行することにより色差処理部614において実行される。   Next, processing in the color difference processing unit 614 in this embodiment will be described with reference to the flowchart in FIG. This processing is executed in the color difference processing unit 614 by executing a corresponding processing program.

色差処理部614は、S801において投影部604の向きを方向検知部619からの検知結果を表す信号に基づいて判定する。なお、当該投影部604の向きはプロジェクタ600の向きでもある。投影部604が第1の向きを有する場合、S802の通常読み出しでメモリ113から、順次読み出しを行う。一方、S801で第2の向きと判定された場合、色差処理部614は、S803において上下左右反転読み出しでメモリ613から、データの読み出しを行う。またS804のYシフトと補間処理で、Y信号を所定画素分だけシフトすると同時に、欠損する画面右端の所定画素分のデータを、隣接する輝度データY0で補間する。   In step S <b> 801, the color difference processing unit 614 determines the orientation of the projection unit 604 based on a signal representing a detection result from the direction detection unit 619. Note that the direction of the projection unit 604 is also the direction of the projector 600. When the projection unit 604 has the first orientation, reading is sequentially performed from the memory 113 by the normal reading in S802. On the other hand, if the second direction is determined in S801, the color difference processing unit 614 reads out data from the memory 613 by upside down reading in S803. Further, the Y signal is shifted by a predetermined pixel by the Y shift and interpolation processing in S804, and at the same time, the data for the predetermined pixel at the right end of the screen to be lost is interpolated with the adjacent luminance data Y0.

このように、映像の走査方向を上下左右で入れ替える際に、輝度信号を、輝度信号と色差信号とのデータ量の比率に応じた所定画素分だけ水平方向でシフトして色差信号よりも先行させることで、色差信号と重心を合わせることが可能となる。これにより画像投影時の色にじみを効率的に防ぐことができる。   As described above, when the scanning direction of the image is switched between the upper, lower, left, and right directions, the luminance signal is shifted in the horizontal direction by a predetermined pixel corresponding to the data amount ratio between the luminance signal and the color difference signal to precede the color difference signal. This makes it possible to match the color difference signal and the center of gravity. This effectively prevents color bleeding during image projection.

なお、上記では透過型スクリーン702を用いた場合の上下左右反転の例を説明した。これ以外にも、プロジェクタ600は床置きの設置状態であって、使用するスクリーンを透過型と非透過型で変更した場合、非透過型の場合に対して透過型の場合は左右反転された画像が投影されることとなるので実施形態1と同様の処理を行うことになる。この場合は、上下反転は不要となる。   In the above description, the example of upside down and left and right reversal when the transmission type screen 702 is used has been described. In addition to this, when the projector 600 is installed on the floor and the screen to be used is changed between the transmissive type and the non-transmissive type, the image is reversed left and right in the case of the transmissive type compared to the non-transmissive type. Therefore, the same processing as in the first embodiment is performed. In this case, upside down is unnecessary.

[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
[Other Embodiments]
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

Claims (8)

輝度信号と色差信号とからなる画像信号を入力する入力手段と、
輝度信号と色差信号とからなる画像信号に基づいて表示を行う表示手段と、
前記表示手段の向きを検出する検出手段と、
前記入力手段により入力された画像信号を前記表示手段に出力する制御手段であって、前記検出手段が検出した前記表示手段の向きに応じて、前記画像信号の前記表示手段への出力順序を制御する制御手段と
を備え、
前記制御手段は、
前記検出手段が第1の向きを検出した場合には、前記輝度信号と色差信号との出力順序を予め定められた順序前記表示手段へ出力し、
前記検出手段が前記第1の向きとは逆向きとなる第2の向きを検出した場合に、前記出力順序を、前記画像信号の水平ライン毎に前記予め定められた順序とは逆順であって、かつ、前記入力された画像信号において色差信号に対応した所定の輝度信号の出力に対応したタイミングで、前記所定の輝度信号に対応した前記色差信号が出力されるように、前記輝度信号を時間方向に所定画素数分だけ前記色差信号よりも先行させた順序で前記表示手段へ出力する
ことを特徴とする画像処理装置。
An input means for inputting an image signal composed of a luminance signal and a color difference signal;
Display means for performing display based on an image signal composed of a luminance signal and a color difference signal;
Detection means for detecting the orientation of the display means;
Control means for outputting an image signal input by the input means to the display means, and controlling an output order of the image signals to the display means in accordance with the direction of the display means detected by the detection means. Control means for
The control means includes
It said detecting means when detecting the first orientation, and output to the luminance signal and the display means in a predetermined order to output order of the color difference signal,
When the detection unit detects a second direction that is opposite to the first direction, the output order is reverse to the predetermined order for each horizontal line of the image signal. In addition, the luminance signal is timed so that the color difference signal corresponding to the predetermined luminance signal is output at a timing corresponding to the output of the predetermined luminance signal corresponding to the color difference signal in the input image signal. An image processing apparatus for outputting to the display means in an order preceding the color difference signal by a predetermined number of pixels in the direction.
輝度信号と色差信号とからなる画像信号を入力する入力手段と、
輝度信号と色差信号とからなる画像信号に基づいて表示を行う表示手段と、
前記表示手段の向きを検出する検出手段と、
前記入力手段により入力された画像信号を前記表示手段に出力する制御手段であって、前記検出手段が検出した前記表示手段の向きに応じて、前記画像信号の前記表示手段への出力順序を制御する制御手段と
を備え、
前記制御手段は、
前記検出手段が第1の向きを検出した場合には、前記輝度信号と色差信号との出力順序を予め定められた順序で前記表示手段へ出力し、
前記検出手段が前記第1の向きとは逆向きとなる第2の向きを検出した場合に、前記出力順序を、前記画像信号の水平ライン毎に前記予め定められた順序とは逆順であって、かつ、前記輝度信号を時間方向に所定画素数分だけ前記色差信号よりも先行させた順序で前記表示手段へ出力し、
前記輝度信号を時間方向に前記所定画素数分だけ前記色差信号よりも先行させた結果として欠落した輝度信号を、前記欠落した輝度信号の位置に隣接して存在する輝度信号を用いて補間して前記表示手段に出力することを特徴とする画像処理装置。
An input means for inputting an image signal composed of a luminance signal and a color difference signal;
Display means for performing display based on an image signal composed of a luminance signal and a color difference signal;
Detection means for detecting the orientation of the display means;
Control means for outputting an image signal input by the input means to the display means, and controlling an output order of the image signals to the display means in accordance with the direction of the display means detected by the detection means. Control means to
With
The control means includes
When the detection unit detects the first direction, the output order of the luminance signal and the color difference signal is output to the display unit in a predetermined order,
When the detection unit detects a second direction that is opposite to the first direction, the output order is reverse to the predetermined order for each horizontal line of the image signal. And, the luminance signal is output to the display means in an order that precedes the color difference signal by a predetermined number of pixels in the time direction,
Wherein the missing luminance signal as a result of the ahead of the predetermined pixel by the number of the color difference signals the luminance signal to the time direction, by interpolation using the luminance signal which lies adjacent to the position of the missing luminance signal An image processing apparatus that outputs to the display means.
輝度信号と色差信号とからなる画像信号を入力する入力手段と、
輝度信号と色差信号とからなる画像信号に基づいて表示を行う表示手段と、
前記表示手段の向きを検出する検出手段と、
前記入力手段により入力された画像信号を前記表示手段に出力する制御手段であって、前記検出手段が検出した前記表示手段の向きに応じて、前記画像信号の前記表示手段への出力順序を制御する制御手段と
を備え、
前記制御手段は、
前記検出手段が第1の向きを検出した場合には、前記輝度信号と色差信号との出力順序を予め定められた順序で前記表示手段へ出力し、
前記検出手段が前記第1の向きとは逆向きとなる第2の向きを検出した場合に、前記出力順序を、前記画像信号の水平ライン毎に前記予め定められた順序とは逆順であって、かつ、前記輝度信号を時間方向に、前記輝度信号と前記色差信号との画素数の比率に応じて決定される所定画素数分だけ前記色差信号よりも先行させた順序で前記表示手段へ出力することを特徴とする画像処理装置。
An input means for inputting an image signal composed of a luminance signal and a color difference signal;
Display means for performing display based on an image signal composed of a luminance signal and a color difference signal;
Detection means for detecting the orientation of the display means;
Control means for outputting an image signal input by the input means to the display means, and controlling an output order of the image signals to the display means in accordance with the direction of the display means detected by the detection means. Control means to
With
The control means includes
When the detection unit detects the first direction, the output order of the luminance signal and the color difference signal is output to the display unit in a predetermined order,
When the detection unit detects a second direction that is opposite to the first direction, the output order is reverse to the predetermined order for each horizontal line of the image signal. The luminance signal is output to the display means in the order of the predetermined number of pixels determined in accordance with the ratio of the number of pixels of the luminance signal and the color difference signal in the time direction. An image processing apparatus.
前記表示手段の向きは、前記画像処理装置に対する向きであって、
前記第1の向きは、前記画像処理装置の背面の方向を向き、前記第2の向き、前記画像処理装置の正面の方向を向くことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
The direction of the display means is the direction with respect to the image processing apparatus,
Said first orientation, the orientation direction of the back of the image processing apparatus, the second orientation, any one of claims 1 to 3, wherein the facing direction of the front of the image processing apparatus An image processing apparatus according to 1.
前記表示手段の向きは前記画像処理装置の向きと対応し、前記第2の向きは、前記画像処理装置を裏返した向きであって、
前記制御手段は更に、前記検出手段が前記第2の向きを検出した場合に、前記画像信号の水平ラインの垂直方向の出力順序を更に逆順とすることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
The direction of the display means corresponds to the direction of the image processing device, and the second direction is a direction in which the image processing device is turned over,
Said control means further, when the detecting means detects the second orientation, one of claims 1 to 3, characterized in that a further reverse the output order of the vertical direction of the horizontal lines of the image signal The image processing apparatus according to claim 1.
前記画像信号は前記輝度信号と複数の種類の前記色差信号とを含み、前記画像信号における前記輝度信号の画素数は、複数の種類の前記色差信号それぞれの画素数よりも多いことを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。   The image signal includes the luminance signal and a plurality of types of color difference signals, and the number of pixels of the luminance signal in the image signal is greater than the number of pixels of each of the plurality of types of color difference signals. The image processing apparatus according to claim 1. 前記画像信号は、所定の位置の輝度信号と前記所定の位置の輝度信号に対応した色差信号との重心が合っている形式であることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。   7. The image signal according to claim 1, wherein the center of gravity of a luminance signal at a predetermined position and a color difference signal corresponding to the luminance signal at the predetermined position are matched. The image processing apparatus described. 画像処理装置の制御方法であって、
該画像処理装置は、
輝度信号と色差信号とからなる画像信号を入力する入力手段と、
輝度信号と色差信号とからなる画像信号に基づいて表示を行う表示手段と、
前記表示手段の向きを検出する検出手段と、
前記入力手段により入力された画像信号を前記表示手段に出力する制御手段であって、前記検出手段が検出した前記表示手段の向きに応じて、前記画像信号の前記表示手段への出力順序を制御する制御手段と
を備え、
前記画像処理装置の制御方法は、
前記制御手段が、
前記検出手段が第1の向きを検出した場合には、前記輝度信号と色差信号との出力順序を予め定められた順序前記表示手段へ出力する工程と、
前記検出手段が前記第1の向きとは逆向きとなる第2の向きを検出した場合に、前記出力順序を、前記画像信号の水平ライン毎に前記予め定められた順序とは逆順であって、かつ、前記入力された画像信号において色差信号に対応した所定の輝度信号の出力に対応したタイミングで、前記所定の輝度信号に対応した前記色差信号が出力されるように、前記輝度信号を時間方向に所定画素数分だけ前記色差信号よりも先行させた順序で前記表示手段へ出力する工程と
を含むことを特徴とする画像処理装置の制御方法。
A control method for an image processing apparatus, comprising:
The image processing apparatus includes:
An input means for inputting an image signal composed of a luminance signal and a color difference signal;
Display means for performing display based on an image signal composed of a luminance signal and a color difference signal;
Detection means for detecting the orientation of the display means;
Control means for outputting an image signal input by the input means to the display means, and controlling an output order of the image signals to the display means in accordance with the direction of the display means detected by the detection means. Control means for
The control method of the image processing apparatus is:
The control means is
A step wherein the detecting means when detecting the first orientation, to be outputted to the luminance signal and the display means in a predetermined order to output order of the color difference signal,
When the detection unit detects a second direction that is opposite to the first direction, the output order is reverse to the predetermined order for each horizontal line of the image signal. In addition, the luminance signal is timed so that the color difference signal corresponding to the predetermined luminance signal is output at a timing corresponding to the output of the predetermined luminance signal corresponding to the color difference signal in the input image signal. And a step of outputting to the display means in an order preceding the color difference signal by a predetermined number of pixels in the direction.
JP2012141464A 2012-06-22 2012-06-22 Image processing apparatus and control method thereof Active JP6032964B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012141464A JP6032964B2 (en) 2012-06-22 2012-06-22 Image processing apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012141464A JP6032964B2 (en) 2012-06-22 2012-06-22 Image processing apparatus and control method thereof

Publications (3)

Publication Number Publication Date
JP2014007529A JP2014007529A (en) 2014-01-16
JP2014007529A5 JP2014007529A5 (en) 2015-07-23
JP6032964B2 true JP6032964B2 (en) 2016-11-30

Family

ID=50104909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012141464A Active JP6032964B2 (en) 2012-06-22 2012-06-22 Image processing apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP6032964B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191392A (en) * 1996-10-29 1998-07-21 Sony Corp Image signal processor
JP2000295634A (en) * 1999-04-09 2000-10-20 Matsushita Electric Ind Co Ltd Image processor
JP4130885B2 (en) * 2002-09-13 2008-08-06 松下電器産業株式会社 Solid-state imaging device
JP2004260265A (en) * 2003-02-24 2004-09-16 Nikon Corp Pixel extracting circuit having pixel turning over function, and image pickup apparatus
JP5595176B2 (en) * 2010-08-19 2014-09-24 キヤノン株式会社 Electronics

Also Published As

Publication number Publication date
JP2014007529A (en) 2014-01-16

Similar Documents

Publication Publication Date Title
JP2015122734A (en) Imaging apparatus and imaging method
JP5938655B2 (en) Playback device, imaging device, and program
JP2007067730A (en) Imaging apparatus
US9706109B2 (en) Imaging apparatus having multiple imaging units and method of controlling the same
JP2007194804A (en) Photographing device and method, reproducing device and method, and program
JP2009065320A (en) Imaging device
JP2006287744A (en) Image processing method and device therefor
JP6032964B2 (en) Image processing apparatus and control method thereof
JP2013051640A (en) Image capturing device
JP4175729B2 (en) Electronic imaging device
JP6663282B2 (en) Imaging device, imaging system, imaging method, and program
JP2008005427A (en) Imaging apparatus and imaging method, and program
US9661217B2 (en) Image capturing apparatus and control method therefor
JP2012151708A (en) Imaging device
JP2015122731A (en) Video replay device and video replay method
JP7110985B2 (en) Image processing device, image processing method, and program
JP2014160927A (en) Imaging device
JP6545034B2 (en) Display device, display method and display system
JP4948637B2 (en) Image processing method and apparatus
JP2001230959A (en) Electronic camera apparatus
JP2018207424A (en) Information transfer device
JP2009210928A (en) Image display device
JP4637032B2 (en) Image recording apparatus and control method thereof
JP2009010746A (en) Image recording and reproducing apparatus
JP2017085338A (en) Imaging apparatus, control method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150608

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160229

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161025

R151 Written notification of patent or utility model registration

Ref document number: 6032964

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151