JP2010251818A - Video output device - Google Patents
Video output device Download PDFInfo
- Publication number
- JP2010251818A JP2010251818A JP2009095812A JP2009095812A JP2010251818A JP 2010251818 A JP2010251818 A JP 2010251818A JP 2009095812 A JP2009095812 A JP 2009095812A JP 2009095812 A JP2009095812 A JP 2009095812A JP 2010251818 A JP2010251818 A JP 2010251818A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- video
- data
- sub
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Studio Circuits (AREA)
Abstract
Description
本発明は、BDプレーヤーなどの映像出力装置に関するものである。 The present invention relates to a video output device such as a BD player.
BDプレーヤーは、BD−ROMディスクから映像データを読み出し、読み出した映像データを表示装置に出力する。表示装置では、入力された映像データを基に映像を表示する。BD−ROMディスクには、映像データが音声データなどと共に記録されている。 The BD player reads video data from a BD-ROM disc and outputs the read video data to a display device. The display device displays an image based on the input image data. Video data is recorded on the BD-ROM disc together with audio data and the like.
ここでBD−ROMディスクには、プライマリビデオと、セカンダリビデオと称される2種類の映像データを記録することが可能である(図15)。BDプレーヤーは、これらプライマリビデオとセカンダリビデオを取得し、これらビデオ信号を合成して、ピクチャインピクチャとして出力することができる(図16)。 Here, two types of video data called primary video and secondary video can be recorded on the BD-ROM disc (FIG. 15). The BD player can acquire these primary video and secondary video, synthesize these video signals, and output them as picture-in-picture (FIG. 16).
特許文献1に記載の映像出力装置では、プライマリビデオに対してセカンダリビデオを合成する場合、プライマリビデオに対してセカンダリビデオの合成位置を指定できるようにしている。
In the video output device described in
また、特許文献1の請求項3には、luma keying合成(以下、ルマキー合成と称する)により、プライマリビデオにセカンダリビデオを合成することが記載されている。
Further,
ところで、セカンダリビデオに画像処理を施した後に、ルマキー合成によりプライマリビデオにセカンダリビデオを合成すると、セカンダリビデオの合成品位が下がる。以下、具体的に説明する。 By the way, if the secondary video is synthesized with the primary video by luma key synthesis after performing image processing on the secondary video, the quality of the secondary video is lowered. This will be specifically described below.
ルマキー合成は、セカンダリビデオの輝度情報に基づいて、セカンダリビデオの一部を、プライマリビデオの一部と置き換えるものである。そのため、ルマキー合成を行なう前に、セカンダリビデオに画像処理が施されると、セカンダリビデオは、実際に表示されない領域の情報に基づいて、表示される領域の情報が生成されてしまう。例えば、図15のようなセカンダリビデオが存在したとする。このセカンダリビデオにおいて、領域Aが表示される領域、領域Bが表示されない領域であるとする。この場合、セカンダリビデオに拡大処理を施すと、領域Aと領域Bの境界付近の情報は、領域Bの画像データに影響を受ける。つまり、セカンダリビデオの境界付近の情報は、画像処理によって品位の低い映像になる。 The luma key composition is to replace a part of the secondary video with a part of the primary video based on the luminance information of the secondary video. For this reason, if image processing is performed on the secondary video before performing the luma key composition, information on the displayed area of the secondary video is generated based on information on the area that is not actually displayed. For example, assume that there is a secondary video as shown in FIG. In this secondary video, it is assumed that the area A is displayed and the area B is not displayed. In this case, when the enlargement process is performed on the secondary video, the information near the boundary between the region A and the region B is affected by the image data of the region B. That is, information near the boundary of the secondary video becomes a low-quality video by image processing.
特に、プライマリビデオとセカンダリビデオの映像フォーマット(例えば、解像度、ピクセルアスペクト比、アスペクト比)が異なる場合、合成境界でノイズが発生しやすい。なお、ピクセルアスペクト比は、画面を構成する1つの画素の縦横比であり、アスペクト比は、画面全体の縦横比である。これは、プライマリビデオとセカンダリビデオの映像フォーマットが異なることによって、ルマキー合成をする前に、セカンダリビデオの映像フォーマットをプライマリビデオの映像フォーマットに一致させることが、違和感のない表示をする上で必須になるからである。 In particular, when the video formats (for example, resolution, pixel aspect ratio, aspect ratio) of the primary video and the secondary video are different, noise is likely to occur at the synthesis boundary. The pixel aspect ratio is the aspect ratio of one pixel constituting the screen, and the aspect ratio is the aspect ratio of the entire screen. This is because the video format of the primary video is different from the video format of the secondary video, so it is essential to match the video format of the secondary video with the video format of the primary video before performing the luma key composition. Because it becomes.
具体的に説明する。プライマリビデオとセカンダリビデオのピクセルアスペクト比が異なる場合を例にして説明する。プライマリビデオの画素が正方画素であり、セカンダリビデオの画素が長方画素であるとする。映像出力装置は、プライマリビデオにセカンダリビデオを合成する場合、セカンダリビデオの画素の縦横比をプライマリビデオの画素の縦横比と一致させる必要がある(図17)。これは、セカンダリビデオをプライマリビデオの画素の縦横比と一致させずに合成すると、プライマリビデオに合成されたセカンダリビデオの映像が違和感のある映像になってしまうからである。 This will be specifically described. The case where the pixel aspect ratios of the primary video and the secondary video are different will be described as an example. Assume that the primary video pixel is a square pixel and the secondary video pixel is a square pixel. When synthesizing the secondary video with the primary video, the video output device needs to match the aspect ratio of the secondary video pixels with the aspect ratio of the primary video pixels (FIG. 17). This is because if the secondary video is synthesized without matching the aspect ratio of the pixels of the primary video, the video of the secondary video synthesized with the primary video becomes an uncomfortable video.
このようにセカンダリビデオをプライマリビデオに一致させる際、セカンダリビデオに対して画像処理が行われる。したがって、上記説明したように、ルマキー合成前に、画像処理が行われ、セカンダリビデオの合成品位が低下する原因となる。なお、プライマリビデオは、メイン画像データの一例、セカンダリビデオは、サブ画像データの一例、ルマキー合成は、サブ画像データの一部をメイン画像データに合成する一部合成の一例である。 Thus, when the secondary video is matched with the primary video, image processing is performed on the secondary video. Therefore, as described above, the image processing is performed before the luma key composition, which causes a deterioration in the composite quality of the secondary video. Note that the primary video is an example of main image data, the secondary video is an example of sub image data, and the luma key composition is an example of partial composition for composing a part of sub image data to main image data.
そこで本発明は、上記課題を解決するために、サブ画像データの一部をメイン画像データに合成する際において、サブ画像データの合成品位の低下をより軽減できる映像出力装置を提供することを目的とする。 SUMMARY OF THE INVENTION In order to solve the above problems, the present invention has an object to provide a video output device that can further reduce deterioration in the quality of sub image data when a part of sub image data is combined with main image data. And
すなわち、本発明は、表示装置と接続可能な映像出力装置であって、メイン画像データを取得する第1取得手段と、第1画像を示す第1領域と第2画像を示す第2領域とを有するサブ画像データを取得する第2取得手段と、前記取得したサブ画像データの前記第1領域と前記第2領域の境界を検出する境界検出手段と、前記検出した境界に基づいて、前記サブ画像データを当該サブ画像データと異なる画像データに変換する変換手段と、前記変換されたサブ画像データの少なくとも一部を、前記取得したメイン画像データと合成し、合成画像データを生成する合成手段と、前記合成画像データを前記表示装置に出力する出力手段と、を備える。 That is, the present invention is a video output device that can be connected to a display device, and includes a first acquisition unit that acquires main image data, a first region that indicates a first image, and a second region that indicates a second image. A second acquisition unit that acquires the sub image data, a boundary detection unit that detects a boundary between the first region and the second region of the acquired sub image data, and the sub image based on the detected boundary. Conversion means for converting data into image data different from the sub-image data, and at least a part of the converted sub-image data is combined with the acquired main image data to generate composite image data; Output means for outputting the composite image data to the display device.
このようにすれば、サブ画像データの一部をメイン画像データに合成する前に、サブ画像データに対して画像処理を行う場合であっても、第1領域と第2領域の境界に基づいて、サブ画像データを変換することができる。例えば、サブ画像データの一部(例えば、第1領域)の画像データを、第2領域のサブ画像データに基づいて生成されなくなる。 In this way, even when image processing is performed on the sub image data before combining a part of the sub image data with the main image data, the sub image data is based on the boundary between the first region and the second region. Sub image data can be converted. For example, image data of a part of the sub image data (for example, the first region) is not generated based on the sub image data of the second region.
また、好ましくは、前記変換手段は、前記検出した境界に基づいて取得される第1領域のサブ画像データを、当該サブ画像データよりも画素数の多い画像データに変換する。 Preferably, the conversion means converts the sub image data of the first region acquired based on the detected boundary into image data having a larger number of pixels than the sub image data.
また、好ましくは、前記変換手段は、前記検出した境界における前記第1領域と前記第2領域のサブ画像データの特徴情報の変化に応じて、第1領域のサブ画像データを用いるか、第1領域及び第2領域のサブ画像データを用いるかを選択し、当該選択した領域のサブ画像データを変換する。 Preferably, the conversion unit uses the sub image data of the first region according to a change in feature information of the sub image data of the first region and the second region at the detected boundary, It is selected whether to use the sub image data of the area and the second area, and the sub image data of the selected area is converted.
また、好ましくは、前記境界検出手段は、所定又は任意の特徴情報に基づいて前記取得したサブ画像データの前記第1領域と前記第2領域の境界を検出する。 Preferably, the boundary detection unit detects a boundary between the first region and the second region of the acquired sub-image data based on predetermined or arbitrary feature information.
また、好ましくは、前記合成手段は、前記変換されたサブ画像データの第1領域の画像データを、前記取得したメイン画像データと合成し、合成画像データを生成する。 Preferably, the synthesizing unit synthesizes the image data of the first area of the converted sub image data with the acquired main image data to generate synthesized image data.
また、好ましくは、前記変換手段は、前記第2領域の画像データに基づかず、前記第1領域の画像データに基づいて、サブ画像データを変換し、前記合成手段は、前記変換されたサブ画像データの第1領域の画像データを、前記取得したメイン画像データと合成し、合成画像データを生成する。 Preferably, the converting means converts sub image data based on the image data of the first area, not based on the image data of the second area, and the synthesizing means converts the converted sub image. The image data of the first area of the data is combined with the acquired main image data to generate combined image data.
本発明の映像出力装置によれば、サブ画像データの一部をメイン画像データに合成する際において、サブ画像データの合成品位の低下をより軽減できる。 According to the video output device of the present invention, when a part of the sub image data is combined with the main image data, it is possible to further reduce the deterioration of the composite quality of the sub image data.
以下、本発明の一実施の形態について、図面を参照して説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
本実施の形態では、図3における映像データ1に映像データ2をルマキー合成し、図5のような映像データを生成する場合において、映像データ2にノイズがなるべくのらないように実現した。
(実施例1)
<1.構成>
<1−1.映像出力装置の構成例>
図1は、映像出力装置の構成を示したブロック図である。プレーヤー1は、リモコン4により、ユーザーからの操作を受けつけると、ディスクドライブ2によりBD−ROMディスクから映像データを取得し、加工して、表示装置3に表示させるものである。以下、具体的に説明する。
In the present embodiment, the
Example 1
<1. Configuration>
<1-1. Configuration example of video output device>
FIG. 1 is a block diagram showing the configuration of the video output apparatus. When the
プレーヤー1は、フラッシュメモリ11、バッファメモリ12、コネクタ13、CPU14、赤外線センサー15等から構成される。フラッシュメモリ11は、プレーヤー1の動作を行うソフトウェアが格納されている。バッファメモリ12は、映像データをデコードしたり、拡大縮小などの加工をする際に必要なデータの記憶手段である。バッファメモリ12は、例えば、DRAMなどで実現可能である。
The
コネクタ13は、表示装置3に接続するためのデータを整えるものである。また、コネクタ13は、ディスクドライブ2と有線又は無線で接続されて、ディスクドライブ2とのデータの送受信を可能にする。
The
CPU14は、プレーヤー1の主たる動作を行う部分である。CPU14は、赤外線センサー15によって受信したユーザーの操作信号に基づき、ディスクドライブ2より、BD−ROMの映像データを取得し、表示装置3に出力できる形態に加工するものである。CPU14の構成を具体的に説明する。
The
CPU14は、ストリーム制御部141、デコーダ142、AV入出力部143等で構成されている。CPU14は、マイクロコンピュータで実現してもよいし、ハードワイヤードな回路で実現してもよい。CPU14は、集積回路であれば、どのような構成であってもよい。
The
ストリーム制御部141は、ディスクドライブ2のBD−ROMディスクから圧縮加工されている映像データを読み出し、取得する。デコーダ142は、ストリーム制御部141によって読み出された圧縮された映像データをデコードし、圧縮データから伸張し、映像データに戻すものである。
The
デコーダ142は、ディスクドライブ2に記憶された複数の映像データを取得し、デコードすることができるものである。
The
AV入出力部143は、映像データを加工し、合成等を行うものである。
The AV input /
ディスクドライブ2は、BDやDVD、CDなどから情報を読み出すディスクドライブである。ディスクドライブ2は、一般的な技術であるため、詳細は省略する。なお、本実施の形態では、ディスクドライブ2によって情報を読み出すようにしたが、これに限られず、HDドライブによってHDから情報を読み出すようにしてもかまわない。また、放送局から放送された放送波を受信して、映像データを取得してもかまわない。
The
表示装置3は、プレーヤー1によって出力された情報を表示するモニターである。表示装置3に用いられるパネルは、液晶パネル、有機ELパネル、又はPDPなどが考えられるが、これに限られない。
The
<1−2.映像データ1及び映像データ2>
図3は、ディスクドライブ2に記憶された映像データ1と映像データ2の一例を示した図である。
<1-2.
FIG. 3 is a diagram showing an example of
映像データ1は、例えば、プライマリビデオと呼ばれるものであり、映画鑑賞時などの本編の鑑賞用に主に用いられる。
The
デコーダ142によって圧縮を伸張した後の映像データ1の解像度は、例えば、水平1920画素、垂直1080画素の映像であり、水平、垂直の縦横比は、16:9の比率となっている。
The resolution of the
BD−ROMの規格では、プライマリビデオに対して、特典映像などをセカンダリビデオとして用意して、プライマリビデオと合成することが出来ることとなっている。 In the BD-ROM standard, a privilege video or the like is prepared as a secondary video for the primary video and can be combined with the primary video.
図3における映像データ2は、かかるセカンダリビデオの一例を示したものである。
デコーダ142によって圧縮伸張した後の映像データ2の解像度は、例えば、水平720画素、垂直480画素の映像である。映像の縦横比は例えば、3:2となっている。
The resolution of the
映像データ2は、その輝度レベルに応じて、映像データ1と合成されるので、合成後に表示したくない部分は、輝度を下げた色とされており、例えば、黒色などに加工されている。
Since the
<1−3.CPUの機能ブロック>
次に、CPU14の機能ブロックを説明する。CPU14は、映像データ2を拡大又は縮小加工した後に、映像データ2を映像データ1と合成する。以下、CPU14の構成を図2を用いて説明する。なお、図2は、CPU14の機能ブロックを示した図である。図4は、図3の映像データ2における、Aライン目の画素毎の輝度レベルを示す図である。ここで、図4は、図3の境界B付近を示している。
<1-3. CPU functional block>
Next, functional blocks of the
CPU14の各手段を説明する。各手段は、図1のAV入出力部143で実現可能である。
Each means of the
境界検出手段21は、映像データ2の輝度レベルに基づいて、映像データ2の合成境界を検出するものである。図4に示すように、映像データ2の輝度値は、表示すべき領域と、表示すべきでない領域を、輝度レベルで分けるようにしている。例えば、映像データ2の表示すべきでない部分は、輝度の低い黒色などに加工されている。したがって、境界検出手段21は、映像データ2を取得した後、所定の輝度レベルに基づいて、境界を検出することができる。
The
つまり、境界検出手段21は、輝度レベルに応じて、画素単位で、境界位置を検出できる。なお、境界検出手段21は、検出した境界位置を、SRAMなどの一次メモリに記憶し、次に利用できるようにしている。例えば、図3のような領域AとBの境界が検出される。なお、境界検出手段21によって検出された境界により、映像データ2における、映像データ1に合成されて、表示される領域と表示されない領域が決定される。
That is, the
画素リピート手段22は、図7に示すように、表示される領域の画素に基づいて、表示されない領域の画素を置き換えるものである。
As shown in FIG. 7, the
本実施の形態では、以下の方法で置き換えることが可能である。例えば、置き換えの方法は、図7のように、表示される領域の境界の値を利用して、表示されない領域の値を置き換える方法が考えられる。つまり、表示されない領域の画素が、表示される領域の境界の画素に置き換わる。また、他の方法としては、図9に示すように、境界線を鏡に見立てて、表示される領域の画素を、表示されない領域の画素として鏡状に順次置き換える方法も考えられる。 In the present embodiment, it can be replaced by the following method. For example, as a replacement method, as shown in FIG. 7, a method of replacing a value of a region that is not displayed by using a boundary value of the displayed region can be considered. That is, the pixels in the non-display area are replaced with the pixels at the boundary of the display area. As another method, as shown in FIG. 9, the boundary line is regarded as a mirror, and the pixels in the displayed region are sequentially replaced in a mirror shape as pixels in the non-displayed region.
フィルタ手段23は、画素リピート手段22によって画素が置き換えられた映像データ2に、拡大又は縮小処理を施すものである。より詳しくは、フィルタ手段23は、画素リピート手段22によって画素が置き換えられた映像データ2を、画素の補間を行って、拡大又は縮小する。例えば、フィルタ手段23は、図8に示すように、予め規定されたK0〜K3のフィルタ係数を用いて、補間データを作成する。すなわち、フィルタ手段23は、入力画素データをそれぞれ、K0〜K3倍し、相互に加算することにより、補間データ(図8の黒丸)を作成している。
The filter means 23 performs enlargement or reduction processing on the
ここで、映像データ1の縦横比は、例えば、16:9の映像であり、映像データ2の縦横比は、例えば、3:2の映像である。このため、縦横比を保ったまま、映像データ2を映像データ1に合成するには、水平方向に拡大して、16:9の比率になるところまで、拡大加工する必要がある。このような拡大加工を、一般的には、正方画素変換と呼んでいる。なお、映像データ2が、4:3の映像である場合、16:9の映像に合成するには、水平方向を、縮小する必要がある。ここで、フィルタ手段23は、表示される領域のみの画素を拡大又は縮小処理してもかまわない。このようにすれば、必要なデータのみを拡大又は縮小できるため、効率的である。
Here, the aspect ratio of the
いずれにしても、映像データ2と映像データ1の縦横比が異なる場合、映像データ2を映像データ1の解像度に合わせることが必要となる。したがって、映像データ2を拡大又は縮小の加工する際には、フィルタ手段23のような手段で画素補間を行う。
In any case, when the aspect ratios of the
映像合成手段24は、フィルタ手段23で加工された映像データ2の表示される領域を、映像データ1と合成するものである。映像合成手段24は、図8のように、加工された後の映像データ2を、映像データ1にルマキー合成する。具体的には、映像合成手段24は、加工された映像データ2における表示される領域の情報を、映像データ1の対応する領域と置き換える(入れ替える)。これによって、映像データ1に映像データ2の一部が合成された映像データを生成される。例えば、合成された映像データとしては、図5のような、映像データが生成される。例えば、図5にかかる合成をした映像の一例のスケッチ図を示すように、背景に対して、映像データ2を合成することができることとなる。
The
<2.動作>
次に、映像出力装置1における動作例を、図6を用いて説明する。
<2. Operation>
Next, an operation example in the
図6は、本実施例における映像出力装置1の動作例を示すフローチャートである。
FIG. 6 is a flowchart showing an operation example of the
図6において、CPU14は、先ず、ディスクドライブ2によって読み出したBD−ROMの圧縮映像データを取得する。CPU14は、取得した圧縮映像データをデコードして、伸張する。CPU14は、伸張した映像データをバッファメモリ12に記録する。バッファメモリ12に記録される映像データは、映像データ1及び映像データ2を含む映像データである。
In FIG. 6, the
CPU14は、バッファメモリ12に記録された映像データ2を取得する(S501)。CPU14は、予め規定された輝度レベルに基づいて、映像データ2の境界を検出する(S502)。次に、CPU14は、検出した境界位置の情報をバッファメモリ12に記憶する(S503)。
The
CPU14は、検出した境界に基づいて、表示されない領域のデータを表示される領域のデータで置き換える(S504)。CPU14は、S504で置き換えられた映像データ2を、バッファメモリ12に記憶した境界位置に基づき拡大又は縮小処理する(S505)。具体的には、CPU14は、バッファメモリ12に記憶した境界位置に基づいて、表示される領域を拡大又は縮小処理する。
Based on the detected boundary, the
CPU14は、映像データ1を取得し、映像データ2の表示される領域のデータを、映像データ1の映像データと置き換える。これによって映像データ1に映像データ2が合成される(S506、S507)。
The
CPU14は、合成された映像データを表示装置2に出力する(S508)。
The
<3.本発明と実施の形態の対応付け>
プレーヤー1は、本発明の映像出力装置の一例である。表示装置3は、表示装置の一例である。プライマリデータは、メイン画像データの一例である。セカンダリデータは、サブ画像データの一例である。セカンダリデータにおいて、プライマリデータに合成される領域は、第1領域の一例であり、合成されない領域は、第2領域の一例である。CPU14は、第1の取得手段、第2の取得手段、境界検出手段、変換手段、合成手段、及び出力手段の一例である。
<3. Association between the present invention and the embodiment>
The
<4.まとめ>
表示装置3と接続可能な映像出力装置1であって、プライマリデータを取得するCPU14と、第1画像を示す第1領域と第2画像を示す第2領域とを有するセカンダリデータを取得するCPU14と、前記取得したセカンダリデータの第1領域と第2領域の境界を検出するCPU14と、CPU14が検出した境界に基づいて、セカンダリデータを変換するCPU14と、変換されたセカンダリデータの少なくとも一部を、取得したプライマリデータと合成し、合成画像データを生成するCPU14と、合成画像データを表示装置3に出力するCPU14と、を備える。
<4. Summary>
A
このようにすれば、プレーヤー1は、セカンダリデータの一部をプライマリデータに合成する前に、セカンダリデータに対して画像処理を行う場合であっても、第1領域と第2領域の境界に基づいて、セカンダリデータを変換することができる。例えば、プレーヤー1は、セカンダリデータの第2領域の画像データを用いずに、第1領域の画像データを拡大または縮小できる。
In this way, the
すなわち、本実施の形態によれば、境界検出手段21によって映像データ2の合成境界を検出し、画素リピート手段22によって表示される領域の画素データで、表示されない領域の画素データを置き換える。そして、ディスクドライブ23によって映像データ2の拡大又は縮小を行なった後、映像合成手段24によって映像データ2を映像データ1と合成する。これによって、映像データ2の合成輪郭にリンギングと呼ばれるような波うちノイズを軽減でき、より美しく、合成することが可能となる。
That is, according to the present embodiment, the
もし、表示されない領域の画像データを基に、表示される領域の画像データを拡大又は縮小補間すると、補間後の表示される領域の画像データが表示されない領域の画像データの影響を受けることになる。例えば、表示されない領域の輝度が、黒色に塗られている場合、図10のように、画素補間後の画素が、表示されない画素の影響を受けて、大きく波打つこととなる。このため、映像データ1に合成された映像データ2の画像データにおける合成境界に、輪郭ノイズが発生することとなる。
(実施例2)
<1.構成>
次に実施例2について説明する。なお、実施例2において、実施例1と同様の構成については、説明を省略する。
If the image data of the displayed area is enlarged or reduced based on the image data of the non-displayed area, the image data of the displayed area after the interpolation is affected by the image data of the non-displayed area. . For example, when the luminance of a region that is not displayed is painted black, the pixel after pixel interpolation is greatly waved under the influence of the pixel that is not displayed as shown in FIG. For this reason, contour noise is generated at the synthesis boundary in the image data of the
(Example 2)
<1. Configuration>
Next, Example 2 will be described. In the second embodiment, the description of the same configuration as that of the first embodiment is omitted.
図11は、実施例2における、CPU14の機能ブロックを示した図である。
FIG. 11 is a diagram illustrating functional blocks of the
図11において、境界検出手段21は、予め規定された輝度レベルに基づいて、映像データ2の合成境界を検出するものである。画素リピート手段22は、境界検出手段21の検出した境界で、表示されない部分の画素を、表示される画素を用いて作成した画素に置き換えるものである。フィルタ手段23は、画素リピート手段22で、合成後に表示される領域の映像データで置き換えられた映像を用いて、フィルタ拡大縮小を行うものであり、映像合成手段24は、以上のように加工された映像データ2と、映像データ1を合成するものである。実施例1と同様の機能ブロックは、同じ番号を付けて記載している。
In FIG. 11, the boundary detection means 21 detects the composite boundary of the
実施例1と異なる点は、相関検出手段25と、選択手段26を有する点で、相関検出手段25は、境界検出手段21で検出した境界位置情報に基づいて、境界の前後の輝度の相関を検出する手段である。
The difference from the first embodiment is that a
相関は、例えば、前後の画素データの差分による、輝度の傾斜を検出するものである。 The correlation is, for example, for detecting a gradient of luminance due to a difference between preceding and subsequent pixel data.
図12に示すように、BD−ROMから読み出された映像データ2は、表示されない領域のデータの輝度を低下させる加工をしていないものもあり、例えば、自然画のように、表示される領域と、表示されない領域がなだらかにつながっている場合もある。
As shown in FIG. 12, the
この場合には、輝度の傾斜は、境界付近でも小さいものとなる。 In this case, the luminance gradient is small even near the boundary.
実施例1で記載したような、表示されない領域を黒色で塗りつぶしたような、映像データ2は、図12の破線で示すように、境界で、輝度の相関が急に無くなることを示し、輝度に急な段差が生じ、輝度傾斜も、大きく変化する。
As shown in the first embodiment, the
この変化を利用して、選択手段26により、画素リピート手段22の出力と、加工していない映像データ2を選択して、フィルタ手段23に入力している。
Using this change, the selection means 26 selects the output of the pixel repeat means 22 and the
図12で示すような自然画の場合、表示される領域の画素データに置き換えて、補間して拡大縮小すると、輪郭が必要以上にシャープに目立ってしまうことがあるため、境界がなだらかにつながっている場合には、表示される領域の画素データに置き換えをせずに、表示されない領域のデータも用いて、フィルタ拡大縮小を行うことができる。 In the case of a natural image as shown in FIG. 12, if the pixel data of the displayed area is replaced with interpolation and enlarged / reduced, the outline may be noticeably sharper than necessary, so the boundary is gently connected. If it is, the filter enlargement / reduction can be performed using the data of the non-display area without replacing the pixel data of the display area.
<2.動作>
次に、かかる実施例2の動作を説明する。
<2. Operation>
Next, the operation of the second embodiment will be described.
図13は、実施例2の動作を説明するフローチャートである。 FIG. 13 is a flowchart for explaining the operation of the second embodiment.
図13において、CPU14は、ディスクドライブ2より、読み出したBD−ROMの映像データをデコードして、映像データ1および、映像データ2を取得する(S501)。
In FIG. 13, the
CPU14は、輝度レベルに基づいて、映像データ2の境界を検出する(S502)。次に、CPU14は、検出した境界位置の情報をメモリに記憶する(S503)。
The
CPU14は、検出した境界に基づいて、表示されない領域のデータを表示される領域のデータで置き換える(S504)。一方で、CPU14は、検出した境界に基づいて、境界位置の前後の画素の相関を検出する(S508)。CPU14は、検出した相関に基づき、相関が大きい場合、映像データ2を画素補間しながら、拡大縮小(S510)する。一方CPU14は、相関が小さい場合、表示される領域の映像データおよび置き換えた映像データ2を画素補間は、記憶した合成境界位置に基づき拡大縮小する(S505)。(S509)
映像データ1と、映像データ2の表示される領域のデータを映像データ1の表示位置の映像データと置き換えることにより、映像を合成する(S506)。
Based on the detected boundary, the
The video is synthesized by replacing the data in the area where the
合成された映像データを表示装置に出力する(S507)。 The synthesized video data is output to the display device (S507).
<3.まとめ>
実施例2によれば、相関検出手段25により、合成境界の前後の相関を検出し、相関の大小によって選択手段26により、表示される画素のみに置き換えたデータでフィルタ拡大縮小するか、置き換える前のデータで拡大縮小するかを選択することにより、表示されない領域のデータを意図的に輝度レベルを落とした場合には、表示されない領域のデータの影響を無くすことで、輪郭のリンギングノイズを低減し、表示される領域のデータと表示されない領域のデータとが、なだらかにつながる場合には、表示されない領域のデータも用いて、補間してフィルタ拡大縮小を行うことにより、輪郭の不要な強調を抑えることができることとなり、より美しく、合成することが可能となる。
<3. Summary>
According to the second embodiment, the
なお、実施例では、映像データ2を映像データ1の縦横比に合わせる時の拡大縮小を例に説明したが、BD−ROMでは、映像データ2を1/2以下に縮小して合成することも許されており、この場合にも、適応できるものである。
In the embodiment, the enlargement / reduction when the
また、画素同士の演算を行うことで不要信号を除去するような、ノイズリダクションを
行う場合にも適応できる。
(他の実施の形態)
上記実施の形態では、本発明をBDプレーヤー1に適用した場合の例を実施例1及び2として、説明した。しかし、これに限られず、本発明は様々な形態に適用可能である。以下、他の形態について、一例を説明する。
It can also be applied to noise reduction that eliminates unnecessary signals by performing pixel-to-pixel calculations.
(Other embodiments)
In the above embodiment, the example in which the present invention is applied to the
上記実施例1及び2では、ステップ502において、CPU14は、予め規定された輝度レベルに基づいて、映像データ2の境界を検出するようにしたが、これに限られない。例えば、映像データ2の全体の明るさに基づいて、任意の輝度レベルを算出し、この算出した輝度レベルに基づいて、映像データ2の境界を検出してもよい。このようにすれば、映像データ2の表示すべき領域の一部が表示されないといったことを軽減できる。
In the first and second embodiments, in
また、上記実施の形態に限られず、図14のように構成してもよい。図14は、画像データの一部を拡大した図である。図14は、図の上から順にN−3ライン目、N−2ライン目、N−1ライン目、・・・となっている。つまり、上記実施例では、例えば、Aライン目の画素を、拡大又は縮小して画素補間する場合、Aライン目の画そを用いて補間するようにした。しかし、図14のように、N−1ライン目の画そを補間する際、N−1ライン目及びNライン目の画素を用いて補間してもよい。このようにすれば、境界付近の映像がギザギザしてしまうといったことをより軽減できる。 Moreover, it is not restricted to the said embodiment, You may comprise as FIG. FIG. 14 is an enlarged view of a part of the image data. FIG. 14 shows the N-3rd line, the N-2th line, the N-1th line,. That is, in the above-described embodiment, for example, when the pixel of the A line is enlarged or reduced and the pixel interpolation is performed, the interpolation is performed using the image line of the A line. However, as shown in FIG. 14, when interpolating the N−1 line image, the interpolation may be performed using the N−1 line and N line pixels. In this way, it is possible to further reduce the jaggedness of the video near the boundary.
また、上記実施例1及び2では、合成境界を境目にして、表示される領域のデータを用いて、拡大縮小の補間データを作成したが、ルマキー合成の合成境界は、輝度レベルで決まるので、輝度のレベルをもとに、輝度レベルが、ルマキー閾値よりも低い画素データを使わないという方法でも同等の効果を得ることができる。 In the first and second embodiments, the interpolation data for enlargement / reduction is created using the data of the displayed area with the synthesis boundary as the boundary, but the synthesis boundary of the luma key synthesis is determined by the luminance level. The same effect can be obtained by a method in which pixel data whose luminance level is lower than the luma key threshold is not used based on the luminance level.
本発明は、BD−ROMに限らず、テレビジョンや、ゲーム機など、同じ背景画に異なった映像を重ねて表示したい用途など、映像を加工して別の映像に合成する用途に適用できる。 The present invention is not limited to the BD-ROM, and can be applied to applications such as televisions and game machines that process different images on the same background image and combine them with other images.
1 プレーヤー
2 ディスクドライブ
3 表示装置
4 リモコン
11 フラッシュメモリ
12 バッファメモリ
13 コネクタ
14 CPU
15 赤外線センサー
141 ストリーム制御部
142 デコーダ
143 AV入出力部
21 境界検出手段
22 画素リピート手段
23 フィルタ手段
24 映像合成手段
25 相関検出手段
26 選択手段
DESCRIPTION OF
DESCRIPTION OF
Claims (7)
メイン画像データを取得する第1取得手段と、
第1画像を示す第1領域と第2画像を示す第2領域とを有するサブ画像データを取得する第2取得手段と、
前記取得したサブ画像データの前記第1領域と前記第2領域の境界を検出する境界検出手段と、
前記検出した境界に基づいて、前記サブ画像データを当該サブ画像データと異なる画像データに変換する変換手段と、
前記変換されたサブ画像データの少なくとも一部を、前記取得したメイン画像データと合成し、合成画像データを生成する合成手段と、
前記合成画像データを前記表示装置に出力する出力手段と、
を備える映像出力装置。 A video output device connectable with a display device,
First acquisition means for acquiring main image data;
Second acquisition means for acquiring sub-image data having a first region indicating a first image and a second region indicating a second image;
Boundary detection means for detecting a boundary between the first region and the second region of the acquired sub-image data;
Conversion means for converting the sub-image data into image data different from the sub-image data based on the detected boundary;
Combining means for combining at least a part of the converted sub image data with the acquired main image data to generate combined image data;
Output means for outputting the composite image data to the display device;
A video output device comprising:
請求項1に記載の映像出力装置。 The conversion means converts the sub image data of the first region acquired based on the detected boundary into image data having a larger number of pixels than the sub image data.
The video output device according to claim 1.
請求項1に記載の映像出力装置。 The conversion means uses the sub image data of the first area or the first area and the second area according to a change in feature information of the sub image data of the first area and the second area at the detected boundary. Select whether to use the sub image data of the selected area, and convert the sub image data of the selected area.
The video output device according to claim 1.
請求項1に記載の映像出力装置。 The boundary detection means detects a boundary between the first region and the second region of the acquired sub-image data based on predetermined or arbitrary feature information;
The video output device according to claim 1.
請求項1に記載の映像出力装置。 The synthesizing unit synthesizes the image data of the first region of the converted sub image data with the acquired main image data, and generates synthesized image data.
The video output device according to claim 1.
前記合成手段は、前記変換されたサブ画像データの第1領域の画像データを、前記取得したメイン画像データと合成し、合成画像データを生成する、
請求項1に記載の映像出力装置。 The converting means converts the sub image data based on the image data of the first area, not based on the image data of the second area,
The synthesizing unit synthesizes the image data of the first region of the converted sub image data with the acquired main image data, and generates synthesized image data.
The video output device according to claim 1.
請求項1に記載の映像出力装置。 The main image data and the sub image data have different formats for video recording.
The video output device according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009095812A JP2010251818A (en) | 2009-04-10 | 2009-04-10 | Video output device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009095812A JP2010251818A (en) | 2009-04-10 | 2009-04-10 | Video output device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010251818A true JP2010251818A (en) | 2010-11-04 |
Family
ID=43313708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009095812A Pending JP2010251818A (en) | 2009-04-10 | 2009-04-10 | Video output device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010251818A (en) |
-
2009
- 2009-04-10 JP JP2009095812A patent/JP2010251818A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010041336A (en) | Image processing unit and image processing method | |
US9001272B2 (en) | Image synthesizing device, coding device, program, and recording medium | |
JP4996725B2 (en) | Video processing device | |
JP2010041337A (en) | Image processing unit and image processing method | |
JP2007279220A (en) | Image display device | |
KR102176474B1 (en) | Apparatus for Displaying Image and Driving Method Thereof, and Method for Displaying Image | |
JP2005033741A (en) | Television character information display device, and television character information display method | |
JPWO2009037818A1 (en) | Digital image processing device | |
JP2007180765A (en) | Video processor, video display device and video processing method | |
JP4878628B2 (en) | Video processing apparatus and video processing method | |
JP2010212991A (en) | Image processing unit, and method of processing image | |
JP5161935B2 (en) | Video processing device | |
JP4548518B2 (en) | Video signal display system, video signal reproduction apparatus, and video signal display method | |
JP2010073075A (en) | Image signal processing apparatus, image signal processing method | |
EP1848203B2 (en) | Method and system for video image aspect ratio conversion | |
JP2010130643A (en) | Image processor and image processing method | |
JP2010251818A (en) | Video output device | |
JP4991884B2 (en) | Image processing apparatus and image processing method | |
JP2010010778A (en) | Video processing apparatus and method for controlling the video processing apparatus | |
JP2008053965A (en) | Image reproduction system, image reproduction device, and image display device | |
JP4869302B2 (en) | Image processing apparatus and image processing method | |
JP2014045425A (en) | Electronic device and control method of the same | |
JP2009145600A (en) | Display control device, method, and program | |
JP2008294714A (en) | Video signal processor | |
JP2006222564A (en) | Gradation interpolation circuit and gradation interpolation method |