CN113597640A - 图像处理设备、图像处理方法和显示设备 - Google Patents

图像处理设备、图像处理方法和显示设备 Download PDF

Info

Publication number
CN113597640A
CN113597640A CN202080022488.1A CN202080022488A CN113597640A CN 113597640 A CN113597640 A CN 113597640A CN 202080022488 A CN202080022488 A CN 202080022488A CN 113597640 A CN113597640 A CN 113597640A
Authority
CN
China
Prior art keywords
subtitle
image
information
responsible
display panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080022488.1A
Other languages
English (en)
Inventor
镰田洸
三岛朗史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113597640A publication Critical patent/CN113597640A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/109Font handling; Temporal or kinetic typography
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42653Internal components of the client ; Characteristics thereof for processing graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4356Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen by altering the spatial resolution, e.g. to reformat additional data on a handheld device, attached to the STB
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/02Composition of display devices
    • G09G2300/026Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/20Details of the management of multiple sources of image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

该图像处理设备包括:获取字幕信息的字幕信息获取单元;字幕处理单元,其基于由字幕信息获取单元获取的字幕信息以显示面板的整个图像的分辨率执行字幕的渲染,以生成在显示面板中划分的多个显示区域中的负责区域的字幕图像;负责图像生成单元,生成负责区域的图像信号;以及合成单元,将由字幕处理单元生成的字幕图像与由负责图像生成单元生成的图像信号进行合成,以生成带有字幕的图像信号。

Description

图像处理设备、图像处理方法和显示设备
技术领域
本技术涉及图像处理设备、图像处理方法和显示设备,并且特别地涉及在提供多个显示区域的图像并且显示整个图像的情况下的字幕显示的技术领域。
背景技术
已知一种技术,其中在一个图像被划分为多个区域的状态下的各个图像信号由多个服务器生成并提供给显示面板,例如,使得执行其中图像被连接的大屏幕显示。
同时,一般的字幕显示技术的示例包括在下面的PTL 1中描述的技术。
[引用列表]
[专利文献]
[PLT 1]
WO 2017/130804
发明内容
[技术问题]
顺便提及,当在如大平铺显示中那样使用多个服务器(播放器)显示一个图像的情况下考虑字幕显示时,存在构成字幕的文本质量劣化的担忧。
例如,在假设垂直和水平布置4K(3840像素×2160像素)图像,并且进行8K(7680像×4320像素)图像显示的情况下,当图像上叠加的字幕根据屏幕尺寸被放大时,字幕字符变成带有明显边角的图像。
为了让观众在大屏幕显示中容易感知字符的质量,需要具有尽可能美观的字符的字幕显示。
因此,本技术的目的是提高字幕显示的质量。
[问题的解决方案]
根据本技术的图像处理设备包括:字幕信息获取单元,被配置为获取字幕信息;字幕处理单元,被配置为基于由字幕信息获取单元获取的字幕信息以显示面板的整个图像的分辨率执行字幕的渲染,以生成在显示面板中划分的多个显示区域中的负责区域的字幕图像;负责图像生成单元,被配置为生成负责区域的图像信号;以及合成单元,被配置为将由字幕处理单元生成的字幕图像与由负责图像生成单元生成的图像信号进行合成,以生成带有字幕的图像信号。
在这种情况下,假设显示面板被划分为例如多个显示区域,并且在每个区域中执行基于来自负责每个区域的图像处理设备(服务器)的图像信号的显示。例如,假设使用四个图像处理设备执行其中垂直和水平布置四个显示区域的大屏幕显示的显示面板。
具有上述配置的图像处理设备可以被用作与其一个显示区域对应的图像处理设备。
在根据上述本技术的图像处理设备中,可以想到字幕信息获取单元获取负责其它显示区域的图像处理设备的字幕信息获取单元共用的字幕信息。
例如,当假设图像信号由四个图像处理设备提供给显示面板的四个显示区域的系统时,共用字幕信息被提供给四个图像处理设备。
在根据上述本技术的图像处理设备中,可以想到字幕信息获取单元获取包括字幕字符串的文本数据、字幕位置信息和字体尺寸信息的字幕文件作为字幕信息,字幕文件是与负责其它显示区域的图像处理设备的字幕信息获取单元的字幕文件相同内容的字幕文件。
即,具有相同内容的字幕字符串的文本数据、字幕位置信息和字体信息的共用字幕文件被提供给各个图像处理设备。
在根据上述本技术的图像处理设备中,可以想到字幕处理单元使用与显示面板的整个图像的分辨率对应的存储区域来执行字幕的渲染并裁剪负责区域以生成字幕图像。当假设向例如显示面板的四个显示区域提供图像信号的系统时,准备与所有四个显示区域对应的存储区域并执行渲染。
在根据上述本技术的图像处理设备中,可以想到字幕处理单元判定负责区域内的字幕部分,并以整个图像的分辨率执行字幕部分的渲染以生成字幕图像。在假设与显示面板的多个显示区域中的每一个对应的图像处理设备提供图像信号的系统的情况下,当每个图像处理设备可以判定图像处理设备负责的显示区域中包括的字幕部分时,图像处理设备执行字幕部分的渲染以生成字幕图像。
负责区域内的字幕部分是指构成字幕等的字符串当中的负责区域内显示的部分。
在根据上述本技术的图像处理设备中,可以想到字幕处理单元使用显示面板的整个图像的分辨率下的字幕起点、显示面板的整个图像的分辨率下的字体尺寸、负责区域内的字幕起始位置,以及关于负责区域内的字幕部分的信息来执行负责区域的图像尺寸的渲染。
可以根据整个图像的分辨率下的字幕起点和字体尺寸来判定构成整个字幕的每个字符的处置。这使得可以判定负责区域内的字幕起始位置和字幕部分。
在根据上述本技术的图像处理设备中,可以想到字幕信息获取单元获取包括字体尺寸信息的字幕文件,并且还获取关于显示面板的整个图像的分辨率的信息作为字幕信息,并且字幕处理单元使用关于显示面板的整个图像的分辨率的信息和关于字幕文件的字体尺寸信息,确定根据显示面板的整个图像的分辨率的字幕的字体尺寸。
即,计算与整个图像的分辨率对应的字幕的字体尺寸。
在根据上述本技术的图像处理设备中,可以想到字幕信息获取单元获取包括字幕字符串的文本数据、字幕位置信息和字体尺寸信息的字幕文件作为字幕信息,并且还获取关于显示面板的整个图像的分辨率的信息和关于负责区域的信息,并且字幕处理单元使用关于显示面板的整个图像的分辨率的信息、关于负责区域的信息和字幕文件的字幕位置信息,确定根据显示面板的整个图像的分辨率的字幕起始位置和负责区域中的字幕起始位置。
当可以判定字幕在整个图像的分辨率中的处置,并且可以判定其自身对应的区域时,可以计算出负责区域的字幕起始位置。
在根据上述本技术的图像处理设备中,可以想到字幕处理单元获得构成字幕的各个字符的尺寸,并从负责区域中的字幕起始位置执行负责区域内的字幕部分的渲染以生成字幕图像。
知道字符的尺寸和字幕起始位置使得可以执行负责区域的字幕渲染。
在根据上述本技术的图像处理设备中,可以想到图像处理设备包括输出单元,该输出单元被配置为将由合成单元生成的负责区域的带有字幕的图像信号输出到包括显示面板的显示设备。
即,图像处理设备将通过合成字幕获得的带有字幕的图像信号(其是带有用于其自身负责部分的字幕的图像信号)提供给包括显示面板的显示设备,使得显示带有字幕的图像。
在根据上述本技术的图像处理设备中,可以想到负责图像生成单元获取要在整个显示面板上显示的图像内容的图像信号,将作为其一部分的负责区域的图像进行裁剪并且放大以生成负责区域的图像内容的图像信号。
即,当提供具有要在整个显示面板上显示的内容的图像信号时,其一部分被裁剪和放大,使得生成其自身负责区域的图像信号。
在根据上述本技术的图像处理设备中,可以想到负责图像生成单元获取整个显示面板上显示的图像内容中仅负责区域的图像内容的图像信号,并执行放大以生成负责区域的图像内容的图像信号。
即,当提供负责区域的作为具有要在整个显示面板上显示的内容的图像信号的一部分的图像信号时,执行放大使得生成其自身负责区域的图像信号。
根据本技术的图像处理方法是一种图像处理方法,包括:获取字幕信息;基于获取的字幕信息以显示面板的整个图像的分辨率执行字幕的渲染,以生成显示面板中划分的多个显示区域当中的负责区域的字幕图像;以及生成负责区域的图像信号;以及将负责区域的图像信号与负责区域的字幕图像合成以生成带有字幕的图像信号。
因此,当显示面板的显示区域之一被设置为负责区域时,生成通过与以显示面板的分辨率级别渲染的字幕图像合成而获得的带有字幕的图像信号。
根据本技术的显示设备包括显示面板,该显示面板被划分为多个显示区域,从分别被分配一个显示区域作为对应区域的多个图像处理设备被提供带有字幕的图像信号,由此使得执行图像显示。这种情况下的图像处理设备具有上述配置。
附图说明
图1是根据本技术的实施例的显示系统配置的框图。
图2是实施例中假设的显示设备和多个服务器的说明图。
图3是实施例的服务器的框图。
图4是实施例的服务器的负责区域中的图像信号生成的说明图。
图5是实施例的服务器的负责区域中的图像信号生成的说明图。
图6是实施例的服务器的负责区域中的图像信号生成的说明图。
图7是字幕处理的说明图。
图8是比较例中的字幕处理的说明图。
图9是实施例的第一字幕处理示例的说明图。
图10是实施例的第二字幕处理示例的说明图。
图11是实施例的第三字幕处理示例的说明图。
图12是实施例的第三字幕处理示例的处理过程的说明图。
具体实施方式
在下文中,将按以下顺序描述实施例。
<1.系统配置>
<2.服务器配置>
<3.服务器的图像处理>
<4.服务器的字幕处理>
[4-1:字幕处理概述和比较例]
[4-2:第一字幕处理示例]
[4-1:第二字幕处理示例]
[4-1:第三字幕处理示例]
<5.结论和变形例>
将描述说明中分辨率(像素数量)的符号。
一般地,“2K”、“4K”和“8K”是例如在水平和垂直方向上
2K:1920像素×1020像素
4K:3840像素×2160像素
8K:7680像素×4320像素
(这里,分辨率不一定限于这个像素数)。
在说明和附图中,将表示“2K”、“4K”、“8K”等符号,但作为说明中的示例,当在图像或屏幕的水平方向上表示“2K”、“4K”和“8K”符号时,“2K”、“4K”和“8K”分别意味着1920像素、3840像素和2160像素,并且当在图像或屏幕的垂直方向上表示“2K”、“4K”和“8K”符号时,“2K”、“4K”和“8K”分别意味着1020像素、2160像素和4320像素。
此外,为了便于说明,“8K4K”等符号表示图像信号或显示面板的屏幕尺寸,但这指示在“水平和垂直方向”上像素的数量,并且意味着在水平方向上8K(7680像素)并且在垂直方向上4K(2160像素)的尺寸。
上述具体像素数量是用于说明的示例,并且本技术不限于这些像素数量。
<1.系统配置>
图1是图示实施例的显示系统的配置示例的框图。
该显示系统包括图像源1、多个服务器2(例如,服务器2A、2B、2C、2D)、显示设备3和控制器4。
当统一引用各个服务器2A、2B、2C和2D而没有任何特别区别时,使用符号“服务器2”。
图像源1指示将作为显示目标的图像信号和与其相关联的字幕信息提供给服务器2的单元。
图像源1的具体示例是存储运动图像或静止图像的图像信号的存储设备。此外,用于从外部设备接收通过有线或无线传输的图像数据的设备也是图像源1的示例。
此外,例如,从诸如存储卡、光盘或磁带以及硬盘驱动器(HDD)之类的存储介质读取图像信号的回放设备也是图像源1的示例。
这里,图像源1将包括作为运动图像或静止图像的图像信号的视频文件FL0提供给服务器2。
此外,图像源1将字幕文件FL1和字体文件FL2作为字幕信息提供给每个服务器2。下面将描述字幕文件FL1或字体文件FL2的内容。
服务器2A、2B、2C和2D中的每一个是解码视频文件FL0的信息以生成再现图像并将再现图像提供给显示设备3(即播放器)的设备。
这里,作为示例,假设各个服务器2A、2B、2C和2D是相同的设备,并且是4K兼容的播放器。即,服务器2A、2B、2C和2D中的每一个将作为4K图像的图像信号提供给显示设备3。
显示设备3包括显示面板3a,并且执行用于合成来自服务器2A、2B、2C和2D的图像信号并将结果图像显示在显示面板3a上的处理。
这里,包括分辨率为8K4K的显示区域的显示面板被示为显示面板3a。显示面板3a被划分为4K2K显示区域AR1、AR2、AR3和AR4,并且各个显示区域AR1、AR2、AR3和AR4被分配给服务器2A、2B、2C和2D。
即,服务器2A使用显示区域AR1作为负责区域、生成要在显示区域AR1中显示的图像信号,并将图像信号提供给显示设备3。
服务器2B使用显示区域AR2作为负责区域、生成要在显示区域AR2中显示的图像信号,并将图像信号提供给显示设备3。
服务器2C使用显示区域AR3作为负责区域、生成要在显示区域AR3中显示的图像信号,并将图像信号提供给显示设备3。
服务器2D使用显示区域AR4作为负责区域、生成要在显示区域AR4中显示的图像信号,并将图像信号提供给显示设备3。
显示设备3在各个显示区域AR1、AR2、AR3和AR4中显示如上所述来自服务器2A、2B、2C和2D的各个负责区域的图像信号,从而实现具有例如8K4K的分辨率的大屏幕显示。
换句话说,由于一个服务器2负责的显示区域具有4K2K尺寸,因此可以使用4K兼容的播放器作为每个服务器2。
作为示例,显示面板3a被设置为8K4K。例如,图2图示了使用16个4K兼容的服务器2来执行显示16K8K显示面板3a的示例。
如在本示例中,例如,可以使用所需数量的4K兼容的播放器的服务器2来构建与具有各种尺寸的显示面板3a对应的显示系统。
虽然未示出,但是例如可以使用两个服务器2来构建在水平和垂直方向上具有4K4K显示面板或8K2K显示面板的显示系统。
此外,例如,可以使用四个服务器2来构建除了图示的8K4K之外还具有4K8K或16K2K的显示面板的显示系统。
此外,例如,可以使用6个服务器2来构建具有4K6K的显示面板或12K2K的显示面板的显示系统。
此外,例如,可以使用9个服务器2来构建具有12K6K的显示面板的显示系统。
此外,可以假设各种显示系统。
在图1中,控制器4被配置为例如包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)、闪存等的计算机设备。
该控制器4能够与服务器2通信,并且向每个服务器2提供例如系统设置信息CI。
假设用于服务器2中的字幕生成的一条字幕信息,即显示面板3a的整个图像信息CI1或指示服务器2A、2B、2C和2D中的每一个的负责区域的负责区域信息CI2,作为系统设置信息CI的示例。
整个图像信息CI1是关于整个显示面板3a,即,作为显示区域AR1、AR2、AR3和AR4的总和的区域的分辨率(图像尺寸)的信息。
显示系统可以被配置为没有控制器4。例如,可以将与控制器4对应的功能内置到每个服务器2中,并且操作者等可以将控制器4的设置信息(例如,整个图像信息CI1或负责区域信息CI2)输入到各个服务器2A、2B、2C和2D。
<2.服务器配置>
服务器2的配置示例如图3中所示。
服务器2包括字幕信息获取单元11、字幕处理单元12、图像获取单元21、负责图像生成单元22、合成单元30和输出单元31。
字幕信息获取单元11从图像源1中获取字幕文件FL1和字体文件FL2、对其文件内容进行解码,并将文件内容发送到字幕处理单元12。
此外,字幕信息获取单元11例如从控制器4获取整个图像信息CI1和负责区域信息CI2,并将该信息发送到字幕处理单元12。
整个图像信息CI1和负责区域信息CI2可以由操作者例如在系统构建时设置并输入到服务器2,而不是如上所述来自控制器4。
字幕处理单元12执行处理,以基于由字幕信息获取单元11获取的字幕信息(字幕文件FL1、字体文件FL2、整个图像信息CI1、负责区域信息CI2)以显示面板3a的整个图像的分辨率(例如,8K4K)对字幕执行渲染,并在显示面板3a中划分的多个显示区域AR1、AR2、AR3和AR4中生成其自身负责区域的字幕图像TBM。下面将描述具体示例。
图像获取单元21从图像源1获取视频文件FL0、将视频文件FL0中包含的内容,即例如每一帧的图像数据(或静止图像数据)解码为运动图像,并将内容发送到负责图像生成单元22。
负责图像生成单元22执行处理,以在显示面板3a的显示区域AR1、AR2、AR3、AR4中生成其自身负责区域的图像信号VD。
例如,当图像获取单元21获取要在整个显示面板3a上显示的图像内容的图像信号时,负责图像生成单元22对作为图像信号的一部分的图像信号的图像进行裁剪和放大,以生成用于负责区域的图像内容的图像信号。
替代地,例如,当图像获取单元21获取整个显示面板3a上显示的图像内容中仅负责区域的图像内容的图像信号时,负责图像生成单元22将该图像信号的图像放大以生成用于负责区域的图像内容的图像信号。
当然,也假设可以使用其它方法生成用于负责区域的图像内容的图像信号。
合成单元30将由字幕处理单元12生成的字幕图像与由负责图像生成单元22生成的图像信号合成以生成带有字幕的图像信号VDt。
输出单元31将由合成单元30生成的负责区域的带有字幕的图像信号VDt输出到显示设备3。
由于各个负责区域的带有字幕的图像信号VDt从各个服务器2A、2B、2C和2D的输出单元31提供给显示设备3,因此其中图像被垂直和水平部署的大屏幕显示在显示面板3a中执行。
<3.服务器的图像处理>
将描述在上述服务器2中执行的图像处理的各种示例。即,这些将是生成其自身负责区域的图像信号VD的方案,其由服务器2的图像获取单元21和负责图像生成单元22执行。
图4图示了使用四个4K兼容的服务器2在8K4K显示面板3a上以8K显示作为4K素材的图像信号的情况的示例。
图像源1向各个服务器2A、2B、2C和2D提供包括4K2K图像信号的视频文件FL0。
每个服务器2的图像获取单元21获取该视频文件FL0并对其进行解码。
负责图像生成单元22在解码的图像信号中裁剪并放大其自身负责区域(图4中的阴影部分)的图像。裁剪的负责区域的图像为2K1K,并且负责图像生成单元22将图像放大至4K2K尺寸,并将结果得到的图像作为其自身负责区域的图像信号VD。
服务器2A、2B、2C和2D中的每一个生成其中由阴影部分指示的负责区域的图像被放大到4K2K尺寸的图像信号VD,并且将该图像信号VD提供给显示设备3。显示设备3将图像信号VD合成为各个显示区域AR1、AR2、AR3和AR4的图像,并将结果得到的图像显示在显示面板3a上,从而显示8K4K图像。
图5也是使用四个4K兼容的服务器2在8K4K显示面板3a上以8K显示作为4K素材的图像信号的情况的示例。
图像源1向各个服务器2A、2B、2C和2D提供包括通过将4K2K图像划分为2K1K区域而获得的图像的视频文件FL0A、FL0B、FL0C和FL0D。
各个服务器2A、2B、2C和2D的图像获取单元21获取对应的视频文件FL0(FL0A、FL0B、FL0C和FL0D)并对其进行解码。
解码的图像信号是2K1K图像信号。因此,负责图像生成单元22将该图像信号放大至4K2K尺寸,以获得其自身负责区域的图像信号VD。
服务器2A、2B、2C和2D中的每一个如上所述生成放大至4K2K尺寸的负责区域的图像信号VD,并将该图像信号VD提供给显示设备3。显示设备3将图像信号VD合成为各个显示区域AR1、AR2、AR3和AR4的图像,并将结果得到的图像显示在显示面板3a上,从而显示8K4K图像。
图6是使用四个4K兼容的服务器2在8K4K显示面板3a上以8K显示最初由8K素材制成的图像信号的情况的示例。
图像源1向各个服务器2A、2B、2C和2D提供包括通过将8K4K图像划分为4K2K区域而获得的图像的视频文件FL0A、FL0B、FL0C、FL0D。
各个服务器2A、2B、2C和2D的图像获取单元21获取对应的视频文件FL0(FL0A、FL0B、FL0C和FL0D)并对其进行解码。
解码的图像信号已经是4K2K图像信号。因此,负责图像生成单元22使用该图像信号作为其自身负责区域的图像信号VD。
如上所述,各个服务器2A、2B、2C和2D向显示设备3提供具有4K2K尺寸的负责区域的图像信号VD。显示设备3将图像信号VD合成为各个显示区域AR1、AR2、AR3和AR4的图像,并将结果得到的图像显示在显示面板3a上,从而显示8K4K图像。
<4.服务器的字幕处理>
[4-1:字幕处理概述及比较例]
接下来,将描述服务器2的字幕处理。首先,将参考图7描述字幕处理的概述。
图7A将一组文件图示为从图像源1提供给服务器2的包。即,该组包括视频文件FL0、字幕文件FL1和字体文件FL2。
当如上所述对应于视频文件FL0提供字幕文件FL1和字体文件FL2时,服务器2执行字幕处理,从而在图像显示上执行字幕显示。
在示例中,提供字幕文件FL1和字体文件FL2作为字幕信息。
作为包,字幕图像可以作为便携式网络图形(PNG)文件提供给服务器2,或者PNG文件可以与字幕文件FL1和字体文件FL2一起提供给服务器2。
在本实施例中,描述了使用字幕文件FL1和字体文件FL2的示例。
字幕文件FL1例如可以是可扩展标记语言(XML)文件,其内容可以说明:
·文本数据(TX)
·垂直参考位置(RP1)和水平参考位置(RP2)
·垂直偏移(OF1)和水平偏移(OF2)
·字体尺寸(FTS)。
文本数据(TX)是实际成为字幕的字符串的文本数据。图7B图示了“abcde”的字符串的字幕。
垂直参考位置(RP1)是指示作为显示图像中字幕位置的参考的垂直位置的信息,并且是诸如“TOP”(屏幕顶部)或“BOTTOM”(屏幕底部)之类的信息。
水平参考位置(RP2)是指示作为显示图像中字幕位置的参考的水平位置的信息,并且是诸如“LEFT”(屏幕左端)或“RIGHT”(屏幕右端)之类的信息。
垂直偏移(OF1)是显示图像内的字幕起始位置,并且是指示在垂直方向上从垂直参考位置(RP1)的偏移量的信息,并且被表示为相对于图像的垂直尺寸的比率,诸如“80%”。
水平偏移(OF2)是显示图像内的字幕起始位置,并且是指示在水平方向上从水平参考位置(RP2)的偏移量的信息,并且被表示为相对于图像的水平尺寸的比率,诸如“40%”。
字体尺寸(FTS)将字体尺寸指示为相对于显示图像的尺寸的比率。
在字体文件FL2中描述了形成字幕的字符的字体。
图7B的上部图示了通过其中使用了字幕文件FL1和字体文件FL2的字幕处理生成的字幕图像。
例如,字幕图像是字符串“abcde”的字幕被布置为从使用垂直参考位置(RP1:TOP)、水平参考位置(RP2:LEFT)、垂直偏移(OF1)和水平偏移(OF2)确定的字幕起始位置的字幕图像。
在图7B的下部图示了从视频文件FL0解码的字幕被合成的图像。
合成图7B的上部和下部中的图像,从而生成如图7C中所示的作为字幕合成图像的图像信号。
在本实施例的服务器2的情况下,负责图像生成单元22生成与图7B的下部中的图像对应的图像信号VD,字幕处理单元12生成与图7B的上部中的图像对应的字幕图像TBM,并且合成单元30将这些合成以生成带有字幕VDt的图像信号。
这里,将参考图8描述如上所述由每个服务器2划分负责区域的情况下的字幕处理的示例。这是作为相对于本实施例的字幕处理的比较例给出的处理示例。
假设准备了其中假设8K4K的图像尺寸的字幕信息并将其提供给每个服务器2。即,这是假设具有如图8A中所示的8K4K尺寸的字幕图像并且生成负责区域的字幕图像的情况。
在这种情况下,如图8B中所示,每个4K兼容的服务器2临时执行渲染以缩小到4K2K尺寸。
在这种情况下,负责图像中阴影部分HT3的服务器2(例如,服务器2C)裁剪阴影部分HT3的2K1K区域并将该区域放大至4K2K尺寸。因此,生成负责区域的字幕图像,如图8C中所示。
此外,在负责阴影部分HT4的服务器2(例如,服务器2D)中,阴影部分HT4的2K1K区域被裁剪并放大至4K2K尺寸。因此,生成负责区域的字幕图像,如图8D中所示。
当每个服务器2如上所述生成字幕图像、将字幕图像与负责区域的图像信号合成,并将结果信号提供给显示设备3时,即使在多个服务器2A、2B、2C和2D负责各个显示区域AR1、AR2、AR3和AR4的系统中也可以执行字幕显示。
但是,在该比较例的情况下,包括放大如图8B中所示的临时缩小的字幕图像的处理。因此,构成字幕的字符的显示质量变差。即,字符被显示为有角的(锯齿状的)字符。
因此,作为本实施例,执行下面将描述的诸如第一、第二和第三字幕处理示例的字幕处理。
[4-2:第一字幕处理示例]
将参考图9描述实施例的第一字幕处理示例。这是字幕处理单元12使用与显示面板3a的整个图像的分辨率对应的存储区域(工作存储器)来执行字幕的渲染并裁剪负责区域以生成字幕图像TBM的示例。在这种情况下,4K兼容的服务器2包括8K4K兼容的工作存储器。
图9示意性地图示了服务器2C和2D的字幕处理单元12的处理。
字幕处理单元12基于由字幕信息获取单元11获取的字幕信息执行字幕图像的渲染以生成如图9中所示的具有8K4K尺寸的字幕图像TBMr。在这种情况下,在具有8K4K尺寸的工作存储器上生成字幕图像TBMr。
其自身的负责区域是从字幕图像TBMr中裁剪的。
即,在服务器2C的情况下,作为负责区域的阴影部分HT3被裁剪并用作字幕图像TBM。此字幕图像TBM具有4K2K尺寸。
在服务器2D的情况下,作为负责区域的阴影部分HT4被裁剪并用作具有4K2K尺寸的字幕图像TBM。
在这个示例中,对于服务器2A和2B,由于负责区域中不存在字幕,因此没有示出字幕,但类似地,从以8K4K渲染的字幕图像TBMr中裁剪其自身的负责区域并生成字幕图像TBM。
每个服务器2如上所述生成字幕图像TBM、将字幕图像TBM与图像信号VD合成以生成带有字幕的图像信号VDt,并将带有字幕的图像信号VDt输出到显示设备3。因此,执行具有8K4K尺寸的带有字幕的图像的显示。
在这种情况下,由于字幕不涉及图8的比较例中的放大处理,因此执行了高质量的字符显示。
[4-1:第二字幕处理示例]
将参考图10描述实施例的第二字幕处理示例。这是为各个服务器2A、2B、2C和2D准备各个专用字幕文件FL1的示例。
在图10中,字幕文件FL1a、FL1b、FL1c和FL1d使用由字幕文件生成的字幕图像的图像来图示。字幕文件FL1a被提供给服务器2A,字幕文件FL1b被提供给服务器2B,字幕文件FL1c被提供给服务器2C,并且字幕文件FL1d被提供给服务器2D。
各个服务器2A、2B、2C和2D的字幕处理单元12分别基于所提供的字幕文件FL1a、FL1b、FL1c和FL1d生成对应于8K4K分辨率的字幕图像TBM。在这种情况下,字幕图像TBM可以仅是字幕部分的图像(字幕图像TBM不必是整个负责区域的图像)。
如上所述,每个服务器2生成字幕图像TBM、将字幕图像TBM与图像信号VD合成以生成带有字幕VDt的图像信号,并且将带有字幕VDt的图像信号输出到显示设备3。因此,执行具有8K4K尺寸的带有字幕的图像的显示。
在这种情况下,由于字幕不涉及图8的比较例中的放大处理,因此也执行了高质量的字符显示。
[4-1:第三字幕处理示例]
将参考图11和12描述实施例的第三字幕处理示例。这是字幕处理单元12判定负责区域内的字幕部分并以整个图像的分辨率执行字幕部分的渲染以生成字幕图像TBM的示例。
负责区域内的字幕部分是指构成字幕的字符串等中被显示在负责区域内的部分。
在上述第一字幕处理示例中,虽然每个服务器2都支持4K,但是服务器2需要8K4K的工作存储器,这增加了存储器容量负担,而在第三字幕处理示例中,每个服务器2都可以在4K2K的工作存储器中生成字幕图像TBM,4K2K的工作存储器通常在服务器2支持4K时都包含。
此外,在第二字幕处理示例中,必须为每个服务器2准备专用字幕文件FL1,增加了字幕创建者的负担,并且必须根据显示面板3a的分辨率来改变字幕文件FL1,这在系统构建的灵活性方面是缺点。另一方面,在第三字幕处理示例中,共用字幕文件FL1可以被提供给各个服务器2并且可以被使用而不管显示面板3a的分辨率如何。
将参考图11描述第三字幕处理示例的概述。
字幕信息获取单元11获取字幕文件FL1和字体文件FL2。此外,例如,字幕信息获取单元11获取从控制器4预先提供(或预先由操作者操作等设置)的整个图像信息CI1和显示面板3a的负责区域信息CI2。字幕处理单元12基于该信息执行字幕处理,如下所述。
图11示意性地图示了服务器2D的处理,其中阴影部分HT4是负责区域。
如图11A中所示,字幕处理单元12首先确定字幕起始位置SP。这是为了在作为显示面板3a的整个图像的分辨率的8K4K的区域中获得从字幕的第一个字符开始部署的位置。
该字幕起始位置SP可以根据字幕文件FL1中的垂直参考位置RP1、水平参考位置RP2、垂直偏移OF1和水平偏移OF2计算出。
此外,字幕处理单元12计算从字幕起始位置SP到其自身负责区域的距离。如图11中所示,在服务器2D的情况下,距离是从字幕起始位置SP到阴影部分HT4的左端的距离d1。
字幕处理单元12计算字幕的每个字符的尺寸,并确定其自身负责区域的起始位置和第一个字符。
字符尺寸的示例如图11D中所示。例如,字符“a”的尺寸被指定为水平x1和垂直y1,字符“b”的尺寸为水平x2和垂直y2,并且字符“c”的尺寸为水平x3和垂直y3。
如上所述,可以通过指定各个字符的尺寸来指定整个字符串的垂直和水平尺寸。虽然空格等可能被包括在字符串的字符之间,但是计算了包括空格等的字符串的尺寸。
从各个字符的尺寸获得字符串的尺寸,从而可以判定在其自身负责区域中部署的字符串或第一个字符的结束位置。
即,可以判定部署在负责区域中的字幕部分(整个字幕在负责区域中的部署部分)。
此外,可以根据字幕起始位置SP和距离d1计算其自身负责区域中的字幕起始位置SPt。
例如,图11B图示了在服务器2D的情况下负责区域中的第一个字符是“c”(准确地说是“c”的右半部分)的情况。
由上可知,当字幕的字符串为“abcde”时,服务器2D的字幕处理单元12可以生成包含“cde”的字幕图像(这里,仅示出了“c”的右半部分)。
因此,服务器2D的字幕处理单元12以从第一字符(的一部分)开始的顺序执行渲染以生成字幕图像TBM作为其自身负责区域中的字符的位图数据,如图11E中所示。
图11C图示了其中作为位图数据的字幕图像TBM以8K4K尺寸被叠加的状态。
以上处理将在图12中详细说明。图12图示了各个处理步骤的流程和关系。
可以想象,图12中的步骤S101至S107为字幕信息获取单元11的处理,步骤S110、S111、S120、S122、S123为字幕处理单元12的处理,并且步骤S124为合成单元的处理30。但是,这种处理分类是示例。
步骤S101指示字幕信息获取单元11获取关于在字幕文件FL1中描述的字体尺寸FTS的信息。
步骤S102指示字幕信息获取单元11获取字幕文件FL1中描述的文本数据TX,即关于字幕的字符串的信息。
步骤S103指示字幕信息获取单元11获取字幕位置信息。即,字幕信息获取单元11获取字幕文件FL1中描述的垂直参考位置RP1、水平参考位置RP2、垂直偏移OF1和水平偏移OF2。
步骤S105指示字幕信息获取单元11获取关于字体文件FL2的信息。
步骤S106指示字幕信息获取单元11获取显示面板3a上显示的图像的整个图像信息CI1,并将该整个图像信息CI1设置为用于字幕处理的信息。
步骤S107指示字幕信息获取单元11获取显示面板3a中的负责区域信息CI2。
字幕处理单元12在步骤S110中确定字幕的字体尺寸。由于字幕文件FL1中的字体尺寸FS被描述为与整个图像的分辨率(图像尺寸)的比率,因此使用关于整个图像信息CI1和字体尺寸FS的信息获得实际字体尺寸。
在步骤S111中,字幕处理单元12使用所判定的字体尺寸和文本数据TX,以及关于字体文件FL2的信息,创建关于每个字符的尺寸的信息和位图数据。
另一方面,在步骤S120中,字幕处理单元12确定以整个图像的分辨率的字幕起始位置SP。这可以根据整个图像信息CI1、垂直参考位置RP1、水平参考位置RP2、垂直偏移OF1和水平偏移OF2计算出。
在步骤S122中,字幕处理单元12计算负责区域的字幕起始位置SPt和结束位置。字幕处理单元12使用负责区域信息CI2判定具有作为例如8K4K的整个图像的分辨率的其自身负责区域。因此,如上所述,可以根据字幕起始位置SP和距离d1计算出其自身负责区域中的字幕起始位置SPt。
此外,字幕处理单元12可以接收从字幕的各个字符的尺寸、字幕起始位置SP和距离d1获得的字符串的尺寸,并计算负责区域内的字幕结束位置。
基于步骤S122和S111中的信息,字幕处理单元12可以判定负责区域内的字幕部分和负责区域中的字幕起始位置SPt。因此,在步骤S123中,字幕处理单元12基于步骤S122和S111中的信息生成其自身负责区域的字幕位图数据。字幕位图数据作为字幕图像TBM提供给合成单元30。
在步骤S124中,合成单元30将图像信号VD与字幕图像TBM合成并输出具有字幕VDt的图像信号。
每个服务器2生成字幕图像TBM、将字幕图像TBM与图像信号VD合成以生成带有字幕的图像信号VDt,并且如上所述将带有字幕的图像信号VDt输出到显示设备3,从而在显示面板3a中执行具有8K4K尺寸的带有字幕的图像的显示。
在这种情况下,由于字幕不涉及图8的比较例中的放大处理,因此也执行了高质量的字符显示。
<5.结论和变形例>
根据上述实施例,可以获得以下效果。
本实施例的服务器2(图像处理设备)包括获取字幕信息的字幕信息获取单元11,以及基于由字幕信息获取单元11获取的字幕信息以显示面板3a的整个图像的分辨率执行字幕渲染,以生成显示面板3a中划分的多个显示区域AR1、AR2、AR3和AR4中的负责区域的字幕图像TBM的字幕处理单元12。此外,服务器2包括生成负责区域的图像信号VD的负责图像生成单元22,以及将由字幕处理单元生成的字幕图像TBM与由负责图像生成单元22生成的图像信号VD合成,以生成带有字幕的图像信号VDt的合成单元30。
在这种情况下,字幕图像TBM(例如,字幕位图数据)是通过以显示面板3a的整个图像的分辨率对字幕执行渲染而获得的,并且具有根据该分辨率的字符图像质量。例如,当显示面板3a的整个图像的分辨率为8K4K时,字幕图像具有8K4K级别的质量。因此,实现了易于阅读和高质量的字幕显示。
特别地,在字符与图像不同的情况下,当通过放大将尺寸调整到显示屏幕时,图像会变成有角的图像(锯齿状的图像),并且字符的质量会下降,而在本实施例的技术中,没有获得这样的字符图像,而是获得了与显示面板3a的分辨率相匹配的平滑字符。
此外,当考虑上述效果时,本实施例的技术是能够高效且优美地进行字符描绘的字幕处理方案,例如,在如在大平铺显示中使用多个服务器2(播放器)显示一个图像的情况下,诸如在使用四个4K兼容的服务器2在8K4K显示面板3a上执行显示的情况。
在第一和第三实施例中,已经给出了服务器2的字幕信息获取单元11获取负责其它显示区域的其它服务器2的字幕信息获取单元11共用的字幕信息的示例。
即,共用的字幕信息(字幕文件FL1和字体文件FL2)从图像源1提供给多个各自使用的服务器2(例如,服务器2A、2B、2C、2D)。
在这种情况下,图像创建者或图像提供者不需要单独创建与各个服务器2对应的字幕文件FL1或字体文件FL2。因此,用于创建字幕信息的时间和工作不会过多。
此外,因为字幕信息是共用的,因此共用的字幕信息可以被使用4个服务器2的系统、使用9个服务器2的系统、使用16个服务器2的系统等使用。因此,可以实现系统配置的灵活性,并且不会发生用于根据系统配置创建字幕信息的时间和工作。
在第一和第三实施例中,已经给出了其中字幕信息获取单元11获取具有与另一个服务器2中相同内容的字幕文件作为包括关于字幕字符串的文本数据TX的信息的字幕文件FL1,字幕位置信息(字幕文件FL1中的垂直参考位置RP1、水平参考位置RP2、垂直偏移OF1和水平偏移OF2)和字体尺寸FS作为字幕信息的示例。
作为字幕文件FL1的内容,具体而言,参考显示面板3a的输出图像来描述字幕字符串的文本数据、字幕位置信息和字体信息。各个服务器2(例如,服务器2A、2B、2C、2D)可以基于这样的显示面板的整个图像的分辨率获取共用的字幕文件FL1,并使用该共用的字幕文件FL1以整个图像的分辨率执行字幕的渲染。
在第一实施例中,已经给出了其中字幕处理单元12使用与显示面板3a的整个图像的分辨率对应的存储区域(工作存储器)执行字幕渲染,并裁剪负责区域以生成字幕图像TBM的示例。
多个使用的服务器2(例如,服务器2A、2B、2C和2D)中的每一个使用用于显示面板3a的整个图像的分辨率(例如,8K4K)的工作存储器来执行字幕的渲染。这使得可以生成分辨率级别为8K4K尺寸的字幕图像,并且例如即使当服务器2与4K2K兼容时也可以提高字幕显示的质量。特别地,由于不包括字符的诸如放大或缩小之类的处理,因此字符不会被显示为有角的字符,并且可以执行漂亮的字符显示。
在第三实施例中,已经给出了其中字幕处理单元12判定负责区域内的字幕部分并以整个图像的分辨率执行字幕部分的渲染以生成字幕图像的示例。
因此,由于服务器2可以在不需要超过其自身负责区域的工作存储器(例如,4K2K)的工作存储器的情况下执行处理,因此可以减轻服务器2的存储器区域的负担。在这种情况下,由于不包括字符的诸如放大或缩小之类的处理,因此字符不会被显示为有角的字符,并且可以生成高质量的字符图像。
此外,可以简单地通过对部署在负责区域中的字幕部分执行渲染来减少处理负担。
此外,负责区域内的字幕部分、字幕起始位置SP等的判定可以通过共用的计算来执行,并且服务器2的软件不需要根据负责区域而改变。
此外,当要显示的图像的分辨率(屏幕尺寸)改变时,可以使用相同的字幕文件。
在第三实施例中,已经给出了其中字幕处理单元12使用以显示面板3a的整个图像的分辨率的字幕起始点SP、以显示面板的整个图像的分辨率的字体尺寸(在步骤S110中确定的字体尺寸)、负责区域内的字幕起始位置SPt,以及关于负责区域内的字幕部分的信息执行负责区域的图像尺寸的渲染的示例(参见步骤S111、S122和S123)。
服务器2可以判定其自身负责区域中的字幕的起始位置和字幕部分(构成部署在负责区域内的字幕的字符串的一部分),使得可以执行负责区域的字幕图像的渲染。
在第三实施例中,字幕信息获取单元11获取包括字体尺寸FS的字幕文件FL1,并且还获取显示面板3a的整个图像信息CI1。字幕处理单元12使用关于显示面板3a的整个图像的分辨率和字幕文件FL1的字体尺寸FS的信息,根据显示面板的整个图像的分辨率判定字幕的字体尺寸(参见步骤S101、S102、S103、S106和S110)。
由于关于与整个图像的分辨率的比例的信息作为字幕文件FL1中关于字体尺寸FS的信息,因此可以获得根据整个图像的分辨率的字体尺寸,并且可以在系统构建的情况下根据整个图像的分辨率渲染字幕。换句话说,可以灵活地支持字幕渲染处理,而不管显示面板3a的整个图像的分辨率如何。
在第三实施例中,字幕信息获取单元11获取包括字幕字符串的文本数据TX、字幕位置信息(RP1、RP2、OF1和OF2)和字体尺寸FS的字幕文件FL1作为字幕信息,并且获取显示面板3a的整个图像信息CI1和负责区域信息CI2。已经给出了其中字幕处理单元12使用显示面板3a的整个图像信息CI1和负责区域信息CI2以及字幕文件FL1的字幕位置信息(RP1、RP2、OF1和OF2)确定根据显示面板3a的整个图像的分辨率(例如,8K4K)的字幕起始位置SP和负责区域中的字幕起始位置SPt的示例(参见步骤S120和S122)。
这使得可以根据整个图像的分辨率执行字幕的渲染,即针对其自身负责区域的字幕渲染。
在第三实施例中,已经给出了其中字幕处理单元12获得构成字幕的各个字符的尺寸,并从负责区域中的字幕起始位置SPt开始执行负责区域内的字幕部分的渲染以生成字幕图像的示例(参见步骤S111和S123)。
这使得即使这是根据整个图像的分辨率的字幕渲染,也可以使用其自身负责区域的工作存储器区域来执行字幕渲染。
本实施例的服务器2包括输出单元31,该输出单元31将由合成单元30生成的负责区域的带有字幕的图像信号VDt输出到具有显示面板3a的显示设备3。
在这种情况下,每个服务器2将其自身负责区域的带有字幕的图像信号VDt提供给显示设备3,并且其图像被分配到各个显示区域并显示在显示设备3中。因此,在大屏幕上以良好的字符质量执行带有字幕的图像的显示。
已经给出了其中在本实施例的服务器2中,负责图像生成单元22获取具有要在整个显示面板上显示的图像内容的图像信号、裁剪负责区域的图像作为图像信号的一部分,并放大图像以生成具有负责区域的图像内容的图像信号的示例(参见图4)。
每个服务器2可以对其自身负责区域的图像进行裁剪和放大,从而可以在显示面板3a上以更高分辨率执行大屏幕显示。
已经给出了其中在本实施例的服务器2中,负责图像生成单元22获取整个显示面板上显示的图像内容中具有仅负责区域的图像内容的图像信号,并对该图像信号执行放大以生成具有负责区域的图像内容的图像信号的示例(参见图5)。
每个服务器2将输入的图像放大以生成其自身负责区域的图像,从而可以在显示面板3a上以更高分辨率执行大屏幕显示。
本说明书中描述的效果仅是示例而非限制,并且可以获得其它效果。
本技术还可以采用以下配置。
(1)
一种图像处理设备,包括:
字幕信息获取单元,被配置为获取字幕信息;
字幕处理单元,被配置为基于由字幕信息获取单元获取的字幕信息以显示面板的整个图像的分辨率执行字幕的渲染,以生成在显示面板中划分的多个显示区域中的负责区域的字幕图像;
负责图像生成单元,被配置为生成负责区域的图像信号;以及
合成单元,被配置为将由字幕处理单元生成的字幕图像与由负责图像生成单元生成的图像信号进行合成,以生成带有字幕的图像信号。
(2)
根据(1)所述的图像处理设备,其中字幕信息获取单元获取与负责其它显示区域的图像处理设备的字幕信息获取单元共用的字幕信息。
(3)
根据(1)或(2)所述的图像处理设备,其中字幕信息获取单元获取包括字幕字符串的文本数据、字幕位置信息和字体尺寸信息的字幕文件作为字幕信息,字幕文件是与负责其它显示区域的图像处理设备的字幕信息获取单元相同内容的字幕文件。
(4)
根据(1)至(3)中的任一项所述的图像处理设备,其中字幕处理单元使用与显示面板的整个图像的分辨率对应的存储区域来执行字幕的渲染,并裁剪负责区域以生成字幕图像。
(5)
根据(1)至(3)中的任一项所述的图像处理设备,其中字幕处理单元判定负责区域内的字幕部分,并以整个图像的分辨率执行字幕部分的渲染以生成字幕图像。
(6)
根据(5)所述的图像处理设备,其中字幕处理单元使用以显示面板的整个图像的分辨率的字幕起始点、按照显示面板的整个图像的分辨率的字体尺寸、负责区域内的字幕起始位置以及关于负责区域内的字幕部分的信息来执行负责区域的图像尺寸的渲染。
(7)
根据(5)或(6)所述的图像处理设备,
其中字幕信息获取单元获取包括字体尺寸信息的字幕文件,并且还获取关于显示面板的整个图像的分辨率的信息作为字幕信息,以及
字幕处理单元使用关于显示面板的整个图像的分辨率的信息和关于字幕文件的字体尺寸的信息,确定根据显示面板的整个图像的分辨率的字幕的字体尺寸。
(8)
根据(5)至(7)中的任一项所述的图像处理设备,
其中字幕信息获取单元获取包括字幕字符串的文本数据、字幕位置信息和字体尺寸信息的字幕文件作为字幕信息,并且还获取关于显示面板的整个图像的分辨率的信息和关于负责区域的信息,以及
字幕处理单元使用关于显示面板的整个图像的分辨率的信息、关于负责区域的信息和字幕文件的字幕位置信息来判定根据显示面板的整个图像的分辨率的字幕起始位置和负责区域中的字幕起始位置。
(9)
根据(5)至(8)中的任一项所述的图像处理设备,其中字幕处理单元求出构成字幕的各个字符的尺寸,并从负责区域中的字幕起始位置执行负责区域内的字幕部分的渲染,以生成字幕图像。
(10)
根据(1)至(9)中的任一项所述的图像处理设备,包括:
输出单元,被配置为将由合成单元生成的负责区域的带有字幕的图像信号输出到包括显示面板的显示设备。
(11)
根据(1)至(10)中的任一项所述的图像处理设备,其中负责图像生成单元获取要在整个显示面板上显示的图像内容的图像信号,将作为其一部分的负责区域的图像进行裁剪并放大以生成负责区域的图像内容的图像信号。
(12)
根据(1)至(10)中的任一项所述的图像处理设备,其中负责图像生成单元获取整个显示面板上显示的图像内容中仅负责区域的图像内容的图像信号,并进行放大,以生成负责区域的图像内容的图像信号。
(13)
一种图像处理方法,包括:
获取字幕信息;
基于获取的字幕信息,以显示面板的整个图像的分辨率执行字幕的渲染,以生成在显示面板中划分的多个显示区域中的负责区域的字幕图像;
生成负责区域的图像信号;以及
将负责区域的图像信号与负责区域的字幕图像合成以生成带有字幕的图像信号。
(14)
一种显示设备,包括显示面板,该显示面板被划分为多个显示区域,从分别被分配一个显示区域作为对应区域的多个图像处理设备被提供带有字幕的图像信号,由此使得执行图像显示,并且
所述图像处理设备包括:
字幕信息获取单元,被配置为获取字幕信息;
字幕处理单元,被配置为基于由字幕信息获取单元获取的字幕信息以显示面板的整个图像的分辨率执行字幕的渲染,以生成在显示面板中划分的多个显示区域中的负责区域的字幕图像;
负责图像生成单元,被配置为生成负责区域的图像信号;以及
合成单元,被配置为将由字幕处理单元生成的字幕图像与由负责图像生成单元生成的图像信号进行合成,以生成带有字幕的图像信号。
[参考符号列表]
1 图像源
2,2A,2B,2C,2D 服务器
3 显示设备
3a 显示面板
4 控制器
11 字幕信息获取单元
12 字幕处理单元
21 图像获取单元
22 负责图像生成单元
30 合成单元
31 输出单元
TBM 字幕位图数据
VD 图像信号
VDt 带有字幕的图像信号
FL0 视频文件
FL1 字幕文件
FL2 字体文件

Claims (14)

1.一种图像处理设备,包括:
字幕信息获取单元,所述字幕信息获取单元被配置为获取字幕信息;
字幕处理单元,所述字幕处理单元被配置为基于由所述字幕信息获取单元获取的字幕信息以显示面板的整个图像的分辨率执行字幕的渲染,以生成在所述显示面板中划分的多个显示区域中的负责区域的字幕图像;
负责图像生成单元,所述负责图像生成单元被配置为生成所述负责区域的图像信号;以及
合成单元,所述合成单元被配置为将由所述字幕处理单元生成的字幕图像与由所述负责图像生成单元生成的图像信号进行合成,以生成带有字幕的图像信号。
2.根据权利要求1所述的图像处理设备,其中字幕信息获取单元获取与负责其它显示区域的图像处理设备的字幕信息获取单元共用的字幕信息。
3.根据权利要求1所述的图像处理设备,其中所述字幕信息获取单元获取包括字幕字符串的文本数据、字幕位置信息和字体尺寸信息的字幕文件作为所述字幕信息,所述字幕文件是与负责其它显示区域的图像处理设备的字幕信息获取单元相同内容的字幕文件。
4.根据权利要求1所述的图像处理设备,其中所述字幕处理单元使用与所述显示面板的整个图像的分辨率对应的存储区域来执行字幕的渲染,并裁剪所述负责区域以生成字幕图像。
5.根据权利要求1所述的图像处理设备,其中所述字幕处理单元判定所述负责区域内的字幕部分,并以整个图像的分辨率执行所述字幕部分的渲染以生成字幕图像。
6.根据权利要求5所述的图像处理设备,其中所述字幕处理单元使用以所述显示面板的整个图像的分辨率的字幕起始点、按照所述显示面板的整个图像的分辨率的字体尺寸、所述负责区域内的字幕起始位置以及关于所述负责区域内的字幕部分的信息来执行所述负责区域的图像尺寸的渲染。
7.根据权利要求5所述的图像处理设备,
其中所述字幕信息获取单元获取包括字体尺寸信息的字幕文件,并且还获取关于所述显示面板的整个图像的分辨率的信息作为字幕信息,以及
所述字幕处理单元使用关于所述显示面板的整个图像的分辨率的信息和关于所述字幕文件的字体尺寸的信息,确定根据所述显示面板的整个图像的分辨率的字幕的字体尺寸。
8.根据权利要求5所述的图像处理设备,
其中所述字幕信息获取单元获取包括字幕字符串的文本数据、字幕位置信息和字体尺寸信息的字幕文件作为字幕信息,并且还获取关于所述显示面板的整个图像的分辨率的信息和关于所述负责区域的信息,以及
所述字幕处理单元使用关于所述显示面板的整个图像的分辨率的信息、关于所述负责区域的信息和所述字幕文件的字幕位置信息来确定根据所述显示面板的整个图像的分辨率的字幕起始位置和所述负责区域中的字幕起始位置。
9.根据权利要求5所述的图像处理设备,其中所述字幕处理单元求出构成字幕的各个字符的尺寸,并且从所述负责区域中的字幕起始位置执行所述负责区域内的字幕部分的渲染,以生成字幕图像。
10.根据权利要求1所述的图像处理设备,包括:
输出单元,所述输出单元被配置为将由所述合成单元生成的所述负责区域的带有字幕的图像信号输出到包括显示面板的显示设备。
11.根据权利要求1所述的图像处理设备,其中所述负责图像生成单元获取要在整个显示面板上显示的图像内容的图像信号,将作为其一部分的负责区域的图像进行裁剪并且放大以生成所述负责区域的图像内容的图像信号。
12.根据权利要求1所述的图像处理设备,其中所述负责图像生成单元获取整个显示面板上显示的图像内容中仅所述负责区域的图像内容的图像信号,并进行放大,以生成所述负责区域的图像内容的图像信号。
13.一种图像处理方法,包括:
获取字幕信息;
基于所获取的字幕信息,以显示面板的整个图像的分辨率执行字幕的渲染,以生成在所述显示面板中划分的多个显示区域当中的负责区域的字幕图像;
生成所述负责区域的图像信号;以及
将所述负责区域的图像信号与所述负责区域的字幕图像合成以生成带有字幕的图像信号。
14.一种显示设备,包括显示面板,所述显示面板被划分为多个显示区域,从分别被分配一个显示区域作为负责区域的多个图像处理设备被提供带有字幕的图像信号,由此使得执行图像显示,所述图像处理设备包括:
字幕信息获取单元,所述字幕信息获取单元被配置为获取字幕信息;
字幕处理单元,所述字幕处理单元被配置为基于由所述字幕信息获取单元获取的字幕信息以显示面板的整个图像的分辨率执行字幕的渲染,以生成在所述显示面板中划分的多个显示区域当中的负责区域的字幕图像;
负责图像生成单元,所述负责图像生成单元被配置为生成所述负责区域的图像信号;以及
合成单元,所述合成单元被配置为将由所述字幕处理单元生成的字幕图像与由所述负责图像生成单元生成的图像信号进行合成,以生成带有字幕的图像信号。
CN202080022488.1A 2019-03-25 2020-02-03 图像处理设备、图像处理方法和显示设备 Pending CN113597640A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-056050 2019-03-25
JP2019056050 2019-03-25
PCT/JP2020/003883 WO2020195169A1 (ja) 2019-03-25 2020-02-03 画像処理装置、画像処理方法、表示装置

Publications (1)

Publication Number Publication Date
CN113597640A true CN113597640A (zh) 2021-11-02

Family

ID=72610180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080022488.1A Pending CN113597640A (zh) 2019-03-25 2020-02-03 图像处理设备、图像处理方法和显示设备

Country Status (5)

Country Link
US (1) US20220159346A1 (zh)
EP (1) EP3951767A4 (zh)
CN (1) CN113597640A (zh)
TW (1) TW202103490A (zh)
WO (1) WO2020195169A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023029049A1 (zh) * 2021-09-06 2023-03-09 深圳市大疆创新科技有限公司 字幕切换方法、终端设备及存储介质
CN117274461A (zh) * 2023-10-10 2023-12-22 山东能源集团西北矿业有限公司 一种tbm巷道形成过程的回放方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07261721A (ja) * 1994-03-18 1995-10-13 Fujitsu General Ltd マルチ映像システム
CN101663640A (zh) * 2007-06-27 2010-03-03 国际商业机器公司 提供合成显示的系统和方法
CN101897178A (zh) * 2008-10-10 2010-11-24 松下电器产业株式会社 视频输出设备和视频输出方法
JP2012159716A (ja) * 2011-02-01 2012-08-23 Sharp Corp マルチディスプレイシステム
JP2013171054A (ja) * 2012-02-17 2013-09-02 Jvc Kenwood Corp 表示制御装置及び表示制御方法
CN105554589A (zh) * 2015-12-14 2016-05-04 武汉兴图新科电子股份有限公司 一种后端显示的字幕叠加方法
CN107736032A (zh) * 2015-06-30 2018-02-23 索尼公司 接收装置、接收方法、传输装置和传输方法
CN107852525A (zh) * 2015-07-09 2018-03-27 索尼公司 接收装置、接收方法、发送装置和发送方法
JP2018059980A (ja) * 2016-10-03 2018-04-12 パナソニックIpマネジメント株式会社 マルチディスプレイ装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7930419B2 (en) * 2005-12-04 2011-04-19 Turner Broadcasting System, Inc. System and method for delivering video and audio content over a network
JP2018037765A (ja) * 2016-08-30 2018-03-08 パナソニックIpマネジメント株式会社 映像信号処理装置
US10643298B2 (en) * 2018-02-14 2020-05-05 Realtek Semiconductor Corporation Video processing system and processing chip

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07261721A (ja) * 1994-03-18 1995-10-13 Fujitsu General Ltd マルチ映像システム
CN101663640A (zh) * 2007-06-27 2010-03-03 国际商业机器公司 提供合成显示的系统和方法
CN101897178A (zh) * 2008-10-10 2010-11-24 松下电器产业株式会社 视频输出设备和视频输出方法
JP2012159716A (ja) * 2011-02-01 2012-08-23 Sharp Corp マルチディスプレイシステム
JP2013171054A (ja) * 2012-02-17 2013-09-02 Jvc Kenwood Corp 表示制御装置及び表示制御方法
CN107736032A (zh) * 2015-06-30 2018-02-23 索尼公司 接收装置、接收方法、传输装置和传输方法
CN107852525A (zh) * 2015-07-09 2018-03-27 索尼公司 接收装置、接收方法、发送装置和发送方法
CN105554589A (zh) * 2015-12-14 2016-05-04 武汉兴图新科电子股份有限公司 一种后端显示的字幕叠加方法
JP2018059980A (ja) * 2016-10-03 2018-04-12 パナソニックIpマネジメント株式会社 マルチディスプレイ装置

Also Published As

Publication number Publication date
US20220159346A1 (en) 2022-05-19
WO2020195169A1 (ja) 2020-10-01
EP3951767A4 (en) 2022-05-11
TW202103490A (zh) 2021-01-16
EP3951767A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
KR101969864B1 (ko) 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법
CN107615770B (zh) 应用程序的处理方法及终端设备
US6657655B1 (en) Stereoscopic-image display apparatus
EP0827615B1 (en) Dynamic image resizing
EP1628477A1 (en) Reproduction device and program
CN107645620B (zh) 编辑预览影像的系统、装置及相关方法
US8922622B2 (en) Image processing device, image processing method, and program
JP2007271908A (ja) マルチ画像生成装置
CN113597640A (zh) 图像处理设备、图像处理方法和显示设备
JP2014090388A (ja) 放送受信装置、及び方法
KR20030046713A (ko) 영상 표시 장치 및 그 운용방법
JP2005134479A (ja) 描画装置及び方法、コンピュータプログラム並びに描画表示システム
US8255802B2 (en) Method for enabling efficient navigation of video
JP2024513380A (ja) 字幕の処理方法、装置、機器及び記憶媒体
JP2005033741A (ja) テレビジョン用文字情報表示装置およびテレビジョン用文字情報表示方法
EP1528512A2 (en) Graphic decoder, image reproduction apparatus and method for graphic display acceleration based on commands
JP2012215779A (ja) 表示制御装置、画像表示システム、及び画像表示装置の制御方法
JP5868048B2 (ja) 制御装置及びその制御方法
KR20050040712A (ko) 명령어 기반 그래픽 출력 가속 기능이 포함된 2차원그래픽 디코더, 그 그래픽 출력 가속 방법 및 영상 재생장치
JP6661339B2 (ja) 表示制御装置、マルチディスプレイシステム、およびマルチディスプレイシステムの表示方法
JP3872295B2 (ja) データ表示方法、記録媒体、及びプロセッサ・ベース・システム
KR100390028B1 (ko) 동영상 재생장치의 온 스크린 디스플레이 제어시스템 및제어방법
JP5520890B2 (ja) 画像処理装置、画像データ生成装置、画像処理方法、画像データ生成方法、および画像ファイルのデータ構造
JP2007108499A (ja) 画像データ生成装置および方法、プログラム並びに記録媒体
JP4717287B2 (ja) 表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination