CN102111631B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN102111631B
CN102111631B CN2010106088770A CN201010608877A CN102111631B CN 102111631 B CN102111631 B CN 102111631B CN 2010106088770 A CN2010106088770 A CN 2010106088770A CN 201010608877 A CN201010608877 A CN 201010608877A CN 102111631 B CN102111631 B CN 102111631B
Authority
CN
China
Prior art keywords
captions
caption data
data
right eye
left eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010106088770A
Other languages
English (en)
Other versions
CN102111631A (zh
Inventor
浜田俊也
坂口龙己
北里直久
胜股充
铃木博之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102111631A publication Critical patent/CN102111631A/zh
Application granted granted Critical
Publication of CN102111631B publication Critical patent/CN102111631B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals

Abstract

本发明公开了一种图像处理装置、图像处理方法以及程序。所述图像处理装置用于向显示器上显示的左眼和右眼显示图案所产生的三维(3D)图像添加字幕。所述图像处理装置可包括视频解码器,其被配置为接收代表内容左眼和内容右眼显示图案的视频内容数据。所述图像处理装置还可包括音频解码器,其被配置为接收表示音频音量级的声音数据。此外,所述图像处理装置可包括字幕解码器,其被配置为接收表示字幕显示图案的字幕数据,以及基于所述声音数据修改所述字幕数据。所述图像处理装置还可包括叠加单元,其被配置为将所修改的字幕数据与所述视频内容数据合成,以生成代表合成左眼和合成右眼显示图案的合成图案数据。

Description

图像处理装置和图像处理方法
相关申请的交叉引用 
本申请要求2009年12月28日提交的日本专利申请No.2009-297546的优先权,其全部内容通过引用而合并于此。 
技术领域
本发明涉及一种图像处理装置、图像处理方法以及程序,并具体地涉及一种能够以更好效果显示如3D字幕的子图像的图像处理装置、图像处理方法以及程序。 
背景技术
尽管电影等内容主要使用2D图像,但近年来3D图像已吸引人们的关注。 
作为再生3D内容的再生装置,存在将3D电影等主图像与3D字幕图像进行合成并显示的装置。注意,此处字幕图像是指包括要在一幅画面中显示的全部字幕在内的矩形区域的图像。 
这样的再生装置将左眼用主图像与左眼用字幕图像进行合成以显示在左眼用画面上,并将右眼用主图像与右眼用字幕图像进行合成以显示在右眼用画面上。 
具体地,当输入包括左眼用字幕图像的图像数据和该字幕图像的左上角在画面上的x-y坐标系上的显示位置(Lx,Ly)在内的左眼用字幕数据、以及包括右眼用字幕图像的图像数据和该字幕图像的左上角在画面上的x-y坐标系上的显示位置(Rx,Ry)在内的右眼用字幕数据时,再生装置如图1所示,基于左眼用字幕数据生成将左眼用字幕图像布置在显示位置(Lx,Ly)处的画面的图像数据即左眼用字幕平面,并基于右眼用字幕数据生成将右眼用字幕图像布置在显示位置(Rx,Ry)处的画面的图像数据即右眼用字幕平面。 
接着,如图1所示,再生装置将左眼用字幕平面叠加在作为左眼用主图像的画面的图像数据的左眼用视频平面上,以生成作为左眼用画面的图像数据的左眼用平面。而且,如图1所示,再生装置将右眼用字幕平面叠加在作为右眼用主图像的画面的图像数据的右眼用视频平面上,以生成作为右眼用画面的图像数据的右眼用平面。 
另一方面,当输入包括2D显示用字幕图像的图像数据以及该字幕图像的左上角在画面上的x-y坐标系上的显示位置(x,y)在内的2D显示用字幕数据时,再生装置如图2所示,首先生成将2D显示用字幕图像的左上角布置在从显示位置(x,y)起在x坐标正方向上移位了偏移量“offset”的位置(x+offset,y)处的画面的图像数据作为左眼用字幕平面。接着,再生装置将左眼用字幕平面叠加在左眼用视频平面上,以生成左眼用平面。 
而且,再生装置生成将字幕图像的左上角布置在从显示位置(x,y)起在x坐标的负方向上移位了偏移量“offset”的位置(x-offset,y)处的画面的图像数据作为右眼用字幕平面。接着,再生装置将右眼用字幕平面叠加在右眼用视频平面上,以生成右眼用平面。 
注意,图1和图2中,在与左眼用字幕平面对应的画面中以及与右眼用字幕平面对应的画面中、未布置字幕图像的区域内,图像是透明的,并且主图像布置在与左眼用平面和右眼用平面对应的画面中的相应区域。 
当以上述方式生成左眼用平面和右眼用平面时,基于左眼用平面将左眼用画面显示在显示设备上,以显现给用户的左眼,并基于右眼用平面将右眼用画面显示在显示设备上,以显现给用户的右眼。相应地,用户可观看合成有3D字幕的3D主图像。 
例如,如图3A所示,当将左眼用字幕图像在右方向上移位偏移量“offset”并将右眼用字幕图像在左方向上移位偏移量“offset”时,焦点位置相对于显示设备表面向前(用户侧)移位,导致字幕图像显得凸出。 
另一方面,如图3B所示,当将左眼用字幕图像在左方向上移位偏移量“offset”并将右眼用字幕图像在右方向上移位偏移量“offset”时,焦点位置相对于显示设备表面向后移位,导致字幕图像显得凹进。注意,图3A和图3B示出了从上方看到的、观看显示设备上显示的图像的用户。 
作为再生3D内容的再生装置,还存在利用自动反射式幻灯机合成和显示3D主图像的装置(例如参见日本未审查专利申请公开No.10-327430)。 
发明内容
对于上述再生装置,字幕图像的显示状态如字幕的色彩、透明度、以及与画面垂直的方向即进深方向上的位置等并不响应于合成有该字幕图像的主图像所对应的声音的音量或变化而改变。 
因而,期望通过响应于主图像所对应的声音的音量或变化而改变与主图像合成的字幕图像的显示状态,来以更好的效果显示字幕。 
期望以更好的效果显示子图像,如3D字幕。 
相应地,公开了一种向显示器上显示的左眼和右眼显示图案所产生的三维(3D)图像添加字幕的处理装置。所述处理装置可包括视频解码器,所述视频解码器被配置为接收代表内容左眼和内容右眼显示图案的视频内容数据。所述处理装置还可包括音频解码器,所述音频解码器被配置为接收表示音频音量级的声音数据。此外,所述处理装置可包括字幕解码器,所述字幕解码器被配置为接收表示字幕显示图案的字幕数据,以及基于所述声音数据修改所述字幕数据。所述处理装置还可包括叠加单元,所述叠加单元被配置为将所修改的字幕数据与所述视频内容数据合成,以生成代表合成左眼和合成右眼显示图案的合成图案数据。 
还公开了一种向显示器上显示的左眼和右眼显示图案所产生的三维(3D)图像添加字幕的方法。所述方法可包括接收代表内容左眼和内容右眼显示图案的视频内容数据。所述方法还可包括接收表示音频音量级的声音数据。此外,所述方法可包括接收表示字幕显示图案的字幕数据。所述方法还可包括基于所述声音数据修改所述字幕数据。此外,所述方法可包括将所修改的字幕数据与所述视频内容数据合成,以生成代表合成左眼和合成右眼显示图案的合成图案数据。 
根据本发明的实施例,能够以更好的效果显示子图像,如3D字幕。 
附图说明
图1示出了生成左眼用平面和右眼用平面的方法; 
图2示出了生成左眼用平面和右眼用平面的另一种方法; 
图3A和图3B示出了如何观看3D字幕图像; 
图4是示出了根据本发明的一个实施例的图像处理装置的配置示例的方框图; 
图5是示出了图4的图像处理装置所做的字幕转换处理的流程图; 
图6是表示根据本发明的另一实施例的图像处理装置的配置示例的方框图; 
图7是示出了图6的图像处理装置所做的字幕转换处理的流程图;以及 
图8示出了根据一个实施例的计算机的配置示例。 
具体实施方式
<实施例> 
[根据一个实施例的图像处理装置的配置示例] 
图4是示出了根据本发明的一个实施例的图像处理装置的配置示例的方框图。 
图4的图像处理装置10包括视频解码器11、字幕解码器12、叠加单元13、显示单元14、音频解码器15以及扬声器16。 
从蓝光盘(Blu-ray 
Figure BSA00000400772700042
Disc)(BD)等记录介质读出的、或经过网络等从外部装置接收到的3D显示用主图像的视频数据、3D显示用字幕数据、以及声音数据作为3D内容数据输入到图像处理装置10。图像处理装置10使用该3D内容数据执行合成有字幕图像的主图像的3D显示并输出与该主图像对应的声音。 
具体地,图像处理装置10的视频解码器11对视频内容数据(即,所输入的3D显示用主图像的视频数据)进行解码,并将作为结果的左眼显示图案(即,左眼用视频平面)和作为结果的右眼显示图案(即,右眼用视频平面)提供叠加单元13。 
字幕解码器12对所输入的3D显示用字幕数据(即,表示字幕显示图案的字幕数据)执行解码处理。注意,3D显示用字幕数据包括右眼用字幕数据和左眼用字幕数据,而各眼用的字幕数据包括:包含各眼用的字幕图像的各像素的像素值的图像数据(例如位图图像数据)、各眼用的字幕图像在画面上的显示位置、以及代表各眼用的字幕图像与主图像的合成 比率的α混合值。 
注意各眼用的字幕数据可包括描述各眼用的字幕的字符码的字符串以及调色板编号等色彩信息,而不是包括各眼用的字幕图像的图像数据。在这种情形下,字幕解码器12还执行从各眼用的字符串和色彩信息生成各眼用的字幕图像的图像数据的处理。 
字幕解码器12基于从音频解码器15提供的、代表输入的声音数据所对应的音频音量级(即,声音的音量)的信息即声音信息,来改变作为解码处理结果获得的3D显示用字幕数据。接着,字幕解码器12基于作为结果的3D显示用字幕数据,生成左眼字幕显示图案(即,左眼用字幕平面)以及右眼字幕显示图案(即,右眼用字幕平面),并将这些平面提供给叠加单元13。进而,字幕解码器12将左眼用字幕数据中包括的左眼用α混合值和右眼用字幕数据中包括的右眼用α混合值提供给叠加单元13。 
叠加单元13以左眼用α混合值将从字幕解码器12提供的左眼用字幕平面叠加在从视频解码器11提供的左眼用视频平面上,以生成合成的左眼显示图案(即,左眼用平面)。而且,叠加单元13以右眼用α混合值将从字幕解码器12提供的右眼用字幕平面叠加在从视频解码器11提供的右眼用视频平面上,以生成合成的右眼显示图案(即,右眼用平面)。接着,叠加单元13将左眼用平面和右眼用平面提供给显示单元14。 
显示单元14基于从叠加单元13提供的左眼用平面和右眼用平面,例如以分时方式显示左眼用画面和右眼用画面。此时,例如用户戴着与左眼用画面和右眼用画面的切换同步的快门眼镜,仅以左眼来观看左眼用画面并仅以右眼来观看右眼用画面。相应地,用户能够观看合成有3D字幕的3D主图像。 
音频解码器15对输入的声音数据执行解码处理,并将作为结果的声音数据位数作为声音信息提供字幕解码器12。而且,音频解码器15将作为解码处理结果获得的声音数据提供给扬声器16。 
扬声器16输出与从音频解码器15提供的声音数据对应的声音。相应地,用户能够听见与显示单元14所显示的图像对应的声音。 
[图像处理装置的处理的说明] 
图5是示出了图4的图像处理装置10所做的字幕转换处理的流程图。该字幕转换处理例如在3D内容数据输入到图像处理装置10时开始。 
在步骤S11中,音频解码器15对所输入的声音数据执行解码处理, 测量作为结果的声音数据的位数作为声音信息V,并将该声音信息V提供字幕解码器12。 
在步骤S12中,字幕解码器12判断从音频解码器15提供的声音信息V是否大于音量阈值(例如阈值Vth)。该阈值Vth例如包括在字幕数据中。字幕解码器12对3D显示用字幕数据执行解码处理,并从作为结果的左眼用字幕数据或右眼用字幕数据获取阈值Vth。 
当在步骤S12中判断为声音信息V大于阈值Vth时,处理前进至步骤S13。在步骤S13中,字幕解码器12将作为解码处理的结果所得的左眼用字幕数据和右眼用字幕数据中包括的字幕图像的图像数据中的字幕的图像数据改变为红色的图像数据。具体地,字幕解码器12将作为字幕的图像数据的调色板编号、RGB值、YCbCr值或YPbPr值改变为红色的值。注意,当可显示的色彩的数量是256时,调色板编号是8位值。RGB值、YCbCr值和YPbPr值是例如24(即8×3)位的值。 
由于以这种方式在步骤S13中将字幕的色彩改变为红色,因此字幕的视觉印象得到加强。 
在步骤S14中,字幕解码器12增大在作为解码处理的结果所得的左眼用字幕数据和右眼用字幕数据中包括的α混合值。 
注意α混合值是从0到1的值;α混合值越大则表示透明度越低,α混合值越小则表示透明度越高。例如,当α混合值为1时,与该α混合值对应的图像数据被完全不透明地合成。当α混合值为0时,与该α混合值对应的图像数据被完全透明地合成。 
因此,作为步骤S14的处理结果,左眼用字幕平面和右眼用字幕平面的透明度降低。相应地,字幕可比主图像看得更清晰,因此加强了视觉印象。 
在步骤S15中,字幕解码器12将在作为解码处理的结果所得的左眼用字幕数据中包括的显示位置(Lx,Ly)在水平方向上移位声音信息V所对应的移位量“shift”到显示位置(Lx+shift,Ly),并将在右眼用字幕数据中包括的显示位置(Rx,Ry)在水平方向上移位移位量“-shift”到显示位置(Rx-shift,Ry)。即,字幕解码器12使得左眼用字幕图像的显示位置和右眼用字幕图像的显示位置进一步分离。相应地,用户可观看向用户侧进一步凸出的3D字幕。在步骤S15的处理后,处理前进至步骤S16。 
另一方面,当在步骤S12中判断为声音信息V不大于阈值Vth时, 处理前进至步骤S16。即,在这种情形下,不执行步骤S13至S15的处理,不改变作为解码处理的结果所得的左眼用字幕数据和右眼用字幕数据。 
在步骤S16中,字幕解码器12基于在步骤S13至S15中改变的左眼用字幕数据或作为解码处理的结果所得的字幕数据而生成左眼用字幕平面,并基于在步骤S13至S15中改变的右眼用字幕数据或作为解码处理的结果所得的字幕数据而生成右眼用字幕平面。 
在步骤S17中,音频解码器15判断3D内容数据的输入是否结束,例如,是否不再输入声音数据。当在步骤S17中判断为3D内容数据的输入没有结束时,处理返回步骤S11并执行随后的处理。 
另一方面,当在步骤S17中判断为3D内容数据的输入结束时,处理终止。 
以上述方式执行图5所示的字幕转换处理。相应地,当声音的音量大时,与该声音同时显示的字幕的色彩改变为具有降低的透明度的红色,并向用户侧凸出地显示。即,当声音的音量增大时,字幕突出显示。因此,用户能够更好地欣赏声音的变化。这样,图像处理装置10能够以更好的效果显示3D字幕。 
<另一实施例> 
[根据另一实施例的图像处理装置的配置示例] 
图6是示出了根据本发明的另一实施例的图像处理装置的配置示例的方框图。 
在图6中,与图4的部件相同的部件以相同的标号指示。相应地省略冗余的说明。 
图6的图像处理装置50的配置与图4的配置的不同主要在于:提供了字幕解码器51而不是字幕解码器12,以及新提供了缓冲52和3D字幕生成单元53。 
将添加了偏移量“offset”以及左眼用和右眼用偏移方向作为偏移信息的2D显示用字幕数据而不是3D显示用字幕数据输入到图6的图像处理装置50。注意,偏移方向是指一个水平(左或右)方向,左眼用偏移方向和右眼用偏移方向是相反的方向。2D显示用字幕数据包括:2D显示用字幕图像的图像数据、2D显示用字幕图像在画面上的显示位置、以及2D显示用字幕图像的α混合值。 
字幕解码器51对所输入的2D显示用字幕数据执行解码处理。字幕解码器51基于从音频解码器15提供的声音信息改变作为解码处理的结果所得的2D显示用字幕数据、以及添加到该2D显示用字幕数据的偏移信息。接着,字幕解码器51将改变后的2D显示用字幕数据和偏移信息相关联,并将该数据和信息提供给缓冲52。缓冲52将从字幕解码器51提供的2D显示用字幕数据和偏移信息相关联并暂时地保存。 
3D字幕生成单元53从缓冲52读取2D显示用字幕数据和偏移信息。3D字幕生成单元53将所读取的2D显示用字幕数据中包括的显示位置在偏移信息中包括的左眼用偏移方向和右眼用偏移方向上分别移位偏移量。3D字幕生成单元53生成将2D显示用字幕图像布置在作为结果的显示位置处的画面的图像数据作为左眼字幕显示图案(即,左眼用字幕平面)和右眼字幕显示图案(即,右眼用字幕平面)。接着,3D字幕生成单元53将左眼用字幕平面和右眼用字幕平面提供给叠加单元13。另外,3D字幕生成单元53将2D显示用字幕数据中包括的α混合值提供给叠加单元13作为左眼用和右眼用α混合值。 
由于图像处理装置50以上述方式使用2D显示用字幕数据来执行字幕的3D显示,因此与不支持字幕的3D显示的现有技术的装置兼容。 
注意,在图像处理装置50中也可不提供缓冲52。 
[图像处理装置的处理的说明] 
图7是示出了图6的图像处理装置50所做的字幕转换处理的流程图。该字幕转换处理例如在3D内容数据输入到图像处理装置50时开始。 
由于图7的步骤S31和S32的处理与图5的步骤S11和S12的处理类似,因而省略其说明。 
当在步骤S32中判断为声音信息V大于阈值Vth时,在步骤S33中,字幕解码器51将作为解码处理的结果所得的2D显示用字幕数据中包括的字幕图像的图像数据中的字幕的图像数据改变为红色的图像数据。 
在步骤S34中,字幕解码器51增大作为解码处理的结果所得的2D显示用字幕数据中包括的α混合值。 
在步骤S35中,字幕解码器51将被添加至2D显示用字幕数据的偏移信息中包括的偏移量“offset”与声音信息V所对应的移位量“shift”相加而获得偏移量“offset+shift”。即,字幕解码器51使左眼用字幕图像的显示位置和右眼用字幕图像的显示位置在各眼用的偏移方向上移位 移位量“shift”。接着,字幕解码器51将在步骤S33和S34中改变的2D显示用字幕数据以及偏移量“offset”被改变为偏移量“offset+shift”的偏移信息提供给缓冲52以被保存。 
在步骤S36中,3D字幕生成单元53从缓冲52读取2D显示用字幕数据和偏移信息,并生成将字幕图像布置在从该2D显示用字幕数据中包括的显示位置(x,y)起在偏移方向上移位了偏移信息中包括的偏移量“offset+shift”的显示位置(x+(offset+shift),y)处的画面的图像数据作为左眼用字幕平面。 
此外,3D字幕生成单元53生成将字幕图像布置在从显示位置(x,y)起在偏移方向上移位了在偏移信息中包括的偏移量“offset+shift”的显示位置(x-(offset+shift),y)处的画面的图像数据作为右眼用字幕平面。接着,3D字幕生成单元53将左眼用字幕平面和右眼用字幕平面提供给叠加单元13,并将在2D显示用字幕数据中包括的、且在步骤S34中改变的α混合值提供叠加单元13作为左眼用和右眼用α混合值。 
另一方面,当在步骤S32中判断为声音信息V不大于阈值Vth时,在步骤S37中,3D字幕生成单元53从缓冲52读取2D显示用字幕数据和偏移信息,并生成将字幕图像布置在从该2D显示用字幕数据中包括的显示位置(x,y)起在偏移方向上移位了偏移信息中包括的偏移量“offset”的显示位置(x+offset),y)处的画面的图像数据作为左眼用字幕平面。 
此外,3D字幕生成单元53还生成将字幕图像布置在从显示位置(x,y)起在偏移方向上移位了偏移信息中包括的偏移量“offset”的显示位置(x-offset,y)处的画面的图像数据作为右眼用字幕平面。接着,3D字幕生成单元53将左眼用字幕平面和右眼用字幕平面提供给叠加单元13,并将2D显示用字幕数据中包括的α混合值提供给叠加单元13作为左眼用和右眼用的α混合值。 
在步骤S36的处理后、或当在步骤S32中判断为声音信息V不大于阈值Vth时在步骤S37的处理后,处理前进至步骤S38。由于步骤S38的处理与图5的步骤S17的处理类似,因而省略其说明。 
以上述方式执行图7中的字幕转换处理。相应地,当声音的音量大时,与该声音同时显示的字幕的色彩改变为具有降低的透明度的红色,并向用户侧凸出地显示。即,当声音的音量增大时,字幕突出显示。因此,用户可更好地欣赏声音的变化。因此,图像处理装置50能够以更好的效果显 示3D字幕。 
注意,在上述图5或图7所示的字幕转换处理中,当声音的音量大时,字幕的色彩、透明度和进深方向上的位置全部改变。然而可改变字幕的色彩、透明度和进深方向上的位置中的至少一个。另外,改变后作为结果的字幕的色彩、透明度和进深方向上的位置不限于上述说明。 
进而,当声音的音量大时,要改变的字幕图像的显示状态不限于字幕的色彩、透明度和进深方向上的位置。例如,当声音的音量大时,可改变3D字幕在水平方向上的位置。 
尽管在上述图5或图7所示的字幕转换处理中仅提供1个声音信息V的阈值,但是可提供多个阈值。在这种情形下,可根据声音信息V的值来变动改变后的字幕的色彩或透明度的改变程度。例如,可根据声音信息V的值逐步地改变改变后的字幕的色彩或透明度。注意移位量“shift”可固定为恒定量,而不是与声音信息V相对应地设定。 
进而,尽管在上述说明中响应于声音信息V的值来改变字幕图像的显示状态,但是可响应于声音信息V的值的变化来改变字幕图像的显示状态。例如,当音量的增大或减小极端时(即,当第一音量级和第二音量级之间的差超过音量变化阈值时)改变字幕图像的显示状态。 
字幕图像可以是以单个字符为单位的字幕的图像,而不是具有包括要在一幅画面中显示的全部字幕在内的矩形区域的图像。 
此外,尽管在上述说明中偏移信息被添加至2D显示用字幕数据并被提供,但是偏移信息可预先存储在图像处理装置10(50)内的存储单元(未示出)。在这种情形下,3D字幕在进深方向上的位置固定为恒定。 
上述的本发明的实施例不仅可应用于将主图像与字幕图像合成的情况,还可应用于将主图像与字幕图像以外的子图像(例如菜单图像)合成的情况。 
[根据本发明的实施例的计算机的说明] 
上述一系列的处理可由硬件执行,也可由软件执行。当这一系列的处理由软件来进行时,软件中包括的程序安装在通用计算机等上。 
图8表示根据安装有要执行上述一系列处理的程序的实施例的计算机的配置示例。 
程序可预先记录在作为内置于计算机的记录介质的存储单元208或 只读存储器(ROM)202中。 
或者,程序可存储(记录)在可移动介质211中。可移动介质211可作为所谓的软件包提供。可移动介质211的示例包括软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、磁盘以及半导体存储器。 
注意,程序可经通信网络或广播网络下载至计算机并安装至内置的存储单元208,而不是从上述可移动介质211经驱动器210安装至计算机。即,例如,程序可从下载站点经用于数字卫星广播的卫星通过无线通信传送至计算机,或可经过局域网(LAN)或因特网等网络通过有线通信传送至计算机。 
计算机包括中央处理单元(CPU)201。CPU201经总线204连接至输入输出接口205。 
当用户通过操作输入单元206等经输入输出接口205输入指令时,CPU 201相应地执行ROM 202中存储的程序。或者,CPU 201将存储单元208中存储的程序载入随机访问存储器(RAM)203中并执行该程序。 
相应地,CPU 201执行根据上述流程图的处理、或执行采用上述方框图所示配置所执行的处理。CPU 201使得处理结果例如经输入输出接口205按需要从输出单元207输出、从通信单元209发送、或存储在存储单元208中。 
输入单元206包括键盘、鼠标和麦克风。输出单元207包括液晶显示器(LCD)和扬声器。 
在本说明书中,由计算机根据程序执行的处理可以按照、或可以不按照流程图所记载的顺序按时间顺序执行。即,由计算机根据程序执行的处理可包括并行或单独执行的处理(例如,使用并行处理或对象的处理)。 
程序可由1台计算机(处理器)执行,或可由使用多台计算机的分布式处理执行。进而,程序可被传送至远程计算机并由远程计算机执行。 
另外,本发明的实施例不限于上述那些实施例,在本发明的范围内各种修改都有可能。 

Claims (11)

1.一种用于向显示器上显示的左眼和右眼显示图案所产生的三维(3D)图像添加字幕的处理装置,包括:
视频解码器,被配置为接收代表内容左眼和内容右眼显示图案的视频内容数据;
音频解码器,被配置为接收表示音频音量级的声音数据;
字幕解码器,被配置为:
接收表示字幕显示图案的字幕数据;以及
基于所述声音数据修改所述字幕数据;以及
叠加单元,被配置为将所修改的字幕数据与所述视频内容数据合成,以生成代表合成左眼和合成右眼显示图案的合成图案数据;
其中所述字幕解码器被配置为:
将所述音量级与音量阈值比较;以及
当所述音量级超过所述音量阈值时,修改所述字幕数据。
2.根据权利要求1所述的处理装置,其中所述字幕数据表示所述音量阈值。
3.根据权利要求1所述的处理装置,其中所述字幕解码器被配置为:
将所述音量级与第一音量阈值比较;
将所述音量级与比所述第一音量阈值更高的第二音量阈值比较;
当所述音量级超过所述第一音量阈值但未超过所述第二音量阈值时,以第一方式修改所述字幕数据;以及
当所述音量级超过所述第二音量阈值时,以第二方式修改所述字幕数据。
4.根据权利要求1所述的处理装置,其中:
所述音量级为第一音量级;
所述声音数据也表示第二音量级;以及
所述字幕解码器被配置为:
将所述第一音量级和所述第二音量级之间的差与音量变化阈值比较;以及
当所述第一音量级和所述第二音量级之间的所述差超过所述音量变化阈值时,修改所述字幕数据。
5.根据权利要求1所述的处理装置,其中修改所述字幕数据包括改变所述字幕显示图案的色彩。
6.根据权利要求1所述的处理装置,其中:
所述字幕数据还表示用于对显示所述合成左眼和合成右眼显示图案所产生的合成3D图像中的字幕3D图像的透明度进行控制的混合值;以及
修改所述字幕数据包括修改所述混合值。
7.根据权利要求1所述的处理装置,其中:
所述字幕数据还表示用于对显示所述合成左眼和合成右眼显示图案所产生的合成3D图像中的字幕3D图像的位置进行控制的位置值;以及
修改所述字幕数据包括修改所述位置值。
8.根据权利要求7所述的处理装置,其中所述位置值控制所述合成3D图像中的所述字幕3D图像的进深。
9.根据权利要求7所述的处理装置,其中:
所述字幕显示图案是字幕左眼显示图案;
所述字幕数据还表示字幕右眼显示图案;
所述位置值是用于对所述合成左眼显示图案中的所述字幕左眼显示图案的位置进行控制的第一位置值;
所述字幕数据还表示用于对所述合成右眼显示图案中的所述字幕右眼显示图案的位置进行控制的第二位置值;以及
修改所述字幕数据包括修改所述第一和第二位置值。
10.根据权利要求1所述的处理装置,进一步包括3D字幕生成单元,所述3D字幕生成单元被配置为基于所述字幕显示图案生成字幕左眼和字幕右眼显示图案,其中所述叠加单元被配置为:
将所述字幕左眼显示图案叠加在所述内容左眼显示图案上,以生成所述合成左眼显示图案;以及
将所述字幕右眼显示图案叠加在所述内容右眼显示图案上,以生成所述合成右眼显示图案。
11.一种用于向显示器上显示的左眼和右眼显示图案所产生的三维(3D)图像添加字幕的方法,包括:
接收代表内容左眼和内容右眼显示图案的视频内容数据;
接收表示音频音量级的声音数据;
接收表示字幕显示图案的字幕数据;
基于所述声音数据修改所述字幕数据;以及
将所修改的字幕数据与所述视频内容数据合成,以生成代表合成左眼和合成右眼显示图案的合成图案数据;
其中所述基于所述声音数据修改所述字幕数据包括:
将所述音量级与音量阈值比较;以及
当所述音量级超过所述音量阈值时,修改所述字幕数据。
CN2010106088770A 2009-12-28 2010-12-21 图像处理装置和图像处理方法 Expired - Fee Related CN102111631B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-297546 2009-12-28
JP2009297546A JP2011139261A (ja) 2009-12-28 2009-12-28 画像処理装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN102111631A CN102111631A (zh) 2011-06-29
CN102111631B true CN102111631B (zh) 2013-11-20

Family

ID=44175634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010106088770A Expired - Fee Related CN102111631B (zh) 2009-12-28 2010-12-21 图像处理装置和图像处理方法

Country Status (3)

Country Link
US (1) US8922622B2 (zh)
JP (1) JP2011139261A (zh)
CN (1) CN102111631B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012141448A (ja) * 2010-12-28 2012-07-26 Toshiba Corp 画像処理装置及び表示制御方法
KR20130011506A (ko) * 2011-07-21 2013-01-30 삼성전자주식회사 3d 디스플레이 장치 및 컨텐츠 출력 방법
KR101830656B1 (ko) * 2011-12-02 2018-02-21 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP6102181B2 (ja) * 2012-10-29 2017-03-29 カシオ計算機株式会社 画像処理装置、プログラム及び画像処理方法
CN103281565A (zh) * 2012-11-23 2013-09-04 四度空间株式会社 插入3d广告影像并输出的3d内容提供系统和方法
CN103220500B (zh) * 2013-03-20 2015-12-02 积成电子股份有限公司 电网设备监控图像与业务分析图像叠加展示方法
US9967631B2 (en) 2015-11-11 2018-05-08 International Business Machines Corporation Automated audio-based display indicia activation based on viewer preferences
CN106101681A (zh) * 2016-06-21 2016-11-09 青岛海信电器股份有限公司 三维图像显示处理方法、信号输入设备及电视终端
JP6956533B2 (ja) * 2017-06-22 2021-11-02 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理装置の制御方法および情報処理システム
KR102067446B1 (ko) * 2018-06-04 2020-01-17 주식회사 엔씨소프트 자막 생성 방법 및 시스템
CN112330707A (zh) * 2020-11-17 2021-02-05 武汉联影医疗科技有限公司 图像处理方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5640171A (en) * 1994-09-06 1997-06-17 Olympus Optical Company, Ltd. Image display system
CN1607840A (zh) * 2003-08-05 2005-04-20 三星电子株式会社 用于利用空间划分方法产生3d图像信号的设备和方法
EP1909509A2 (en) * 2006-09-29 2008-04-09 Seiko Epson Corporation Display device, image processing method, and electronic apparatus

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0888018B1 (en) * 1996-02-28 2006-06-07 Matsushita Electric Industrial Co., Ltd. Optical disk having plural streams of digital video data recorded thereon in interleaved manner, and apparatuses and methods for recording on, and reproducing from, the optical disk
JP3423189B2 (ja) 1997-05-27 2003-07-07 三洋電機株式会社 ディジタル立体放送によるテロップ表示装置
AU2009205250B2 (en) * 2008-01-17 2013-02-21 Panasonic Corporation Recording medium on which 3D video is recorded, recording medium for recording 3D video, and reproducing device and method for reproducing 3D video
KR20100002032A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5640171A (en) * 1994-09-06 1997-06-17 Olympus Optical Company, Ltd. Image display system
CN1607840A (zh) * 2003-08-05 2005-04-20 三星电子株式会社 用于利用空间划分方法产生3d图像信号的设备和方法
EP1909509A2 (en) * 2006-09-29 2008-04-09 Seiko Epson Corporation Display device, image processing method, and electronic apparatus

Also Published As

Publication number Publication date
CN102111631A (zh) 2011-06-29
US20110157307A1 (en) 2011-06-30
US8922622B2 (en) 2014-12-30
JP2011139261A (ja) 2011-07-14

Similar Documents

Publication Publication Date Title
CN102111631B (zh) 图像处理装置和图像处理方法
CN102257825B (zh) 用于在3d视频上覆盖3d图形的方法和设备
CN102438157B (zh) 图像处理装置和方法
KR101377736B1 (ko) 3차원 그래픽 데이터의 생성
CN103763541B (zh) 信息处理设备、信息处理方法、重放设备、重放方法、程序和记录介质
CN102318355B (zh) 播放设备和播放方法
JP2015038730A (ja) 動的メニューボタンを表示する方法
CN102292994A (zh) 用于在视频接口上发送以及用于合成3d视频与3d覆盖的方法和系统
JPWO2003092303A1 (ja) マルチメディア情報生成装置およびマルチメディア情報再生装置
CN102164299A (zh) 图像处理装置、图像处理方法及程序
CN103024408A (zh) 立体图像转换装置和方法、立体图像输出装置
TWI364987B (en) Using supplementary information of bounding boxes in multi-layer video composition
JP2011023902A (ja) 画像処理装置および画像処理方法
JP2005267655A (ja) コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラム、コンテンツ再生プログラムを記録した記録媒体、および携帯通信端末
CN105075283B (zh) 再现装置、再现方法以及发送装置
CN102282859A (zh) 数据结构、记录介质、播放设备和播放方法以及程序
WO2013046281A1 (ja) 映像処理装置及び映像処理方法
KR20070050639A (ko) 액티브 디스플레이 링크 기능을 포함하는 디지털 단말기
JP2005108105A (ja) 画像処理装置及び方法
CN102111630B (zh) 图像处理设备、图像处理方法
CN101883228A (zh) 再现字幕的设备和方法
WO2012014489A1 (ja) 映像信号処理装置及び映像信号処理方法
TW200535686A (en) Decoder for BD-ROM, and method for generating image signals
WO2004030375A1 (ja) 画像データ生成装置、画像データ再生装置、画像データ生成方法、画像データ再生方法、画像データ又は画像処理プログラムを記録した記録媒体および画像データ記録装置
JP2013168821A (ja) ビデオ信号発生装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131120

Termination date: 20171221

CF01 Termination of patent right due to non-payment of annual fee