CN118043877A - 信息处理系统和信息处理方法 - Google Patents
信息处理系统和信息处理方法 Download PDFInfo
- Publication number
- CN118043877A CN118043877A CN202280066068.2A CN202280066068A CN118043877A CN 118043877 A CN118043877 A CN 118043877A CN 202280066068 A CN202280066068 A CN 202280066068A CN 118043877 A CN118043877 A CN 118043877A
- Authority
- CN
- China
- Prior art keywords
- unit
- vertical blanking
- video
- blanking period
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 52
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000003384 imaging method Methods 0.000 claims description 164
- 238000000034 method Methods 0.000 claims description 54
- 238000005096 rolling process Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 20
- 238000012545 processing Methods 0.000 description 86
- 238000010586 diagram Methods 0.000 description 72
- 230000008569 process Effects 0.000 description 51
- 238000004891 communication Methods 0.000 description 22
- 230000005540 biological transmission Effects 0.000 description 20
- 238000003491 array Methods 0.000 description 12
- 238000009826 distribution Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
- G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
- G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2300/00—Aspects of the constitution of display devices
- G09G2300/02—Composition of display devices
- G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2310/00—Command of the display device
- G09G2310/08—Details of timing specific for flat panels, other than clock recovery
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Details Of Television Scanning (AREA)
- Studio Devices (AREA)
- Facsimiles In General (AREA)
Abstract
本技术涉及信息处理系统和信息处理方法,利用该信息处理系统和信息处理方法,能够防止在拍摄显示单元时发生黑带。垂直消隐时段控制单元的控制单元基于拍摄视频墙的摄像机的曝光时间来控制在视频墙中显示的视频的垂直消隐时段。例如,本技术可应用于在虚拟制作中使用的再捕获系统,其中,针对作为背景的LED显示器上显示的视频执行再捕获,或者应用于构成再捕获系统的PC、视频墙控制器、视频墙和摄像机。
Description
技术领域
本技术涉及信息处理系统和信息处理方法,并且更具体地,涉及能够防止在显示部被成像的情况下出现黑带的信息处理系统和信息处理方法。
背景技术
近年来,诸如发光二极管(LED)显示器的直视显示器的市场正在扩大。例如,其中通过在内容制作地点处的LED显示器上显示背景来再现背景(诸如风景)并且通过照相机对背景和对象进行成像(再成像)的虚拟制作已经迅速增长。
在这种虚拟制作中,当通过照相机中的卷帘快门式图像传感器执行再成像时,由于照相机的曝光时间与LED显示器的发光周期之间的非对应关系,在再捕获的图像中可能出现带状亮度不均匀的黑色带。黑色带是具有比其他区域低的亮度的带状区域,并且黑色带的颜色是各种浓度的黑色。
为了降低黑色带的可见性,已经设计了缩短LED显示器的发光周期,即,增加在曝光时段中的LED的发光次数(参见,例如,专利文献1)。
然而,在专利文献1中描述的发明中,能够降低黑色带的可见性,但是难以防止黑色带本身出现。
此外,包括在摄像机的曝光时段中的在LED显示器上显示的视频的垂直消隐时段的数量根据行而变化,由此可能发生黑色带。
引用列表
专利文献
专利文件1:WO 2018/164105 A
发明内容
本发明要解决的问题
如上所述,期望在对显示部进行成像的情况下防止出现黑色带,但是这种需求没有被充分满足。
鉴于这种情况做出本技术,并且其目的是防止在对显示部进行成像的情况下出现黑带。
问题的解决方案
根据本技术的一个方面的信息处理系统是包括控制单元的信息处理系统,该控制单元基于对显示部进行成像的成像单元的曝光时间来控制显示部上显示的视频的垂直消隐时段。
根据本技术的一个方面的信息处理方法是包括信息处理系统的控制步骤的信息处理方法,该信息处理系统基于对显示部进行成像的成像单元的曝光时间来控制显示部上显示的视频的垂直消隐时段。
在本技术的一方面,基于对显示部进行成像的成像单元的曝光时间来控制在显示部上显示的视频的垂直消隐时段。
注意,信息处理系统可以是独立的装置、结合在另一装置中的模块或多个装置。
根据本技术的一个方面的信息处理系统可以通过使计算机执行程序来实现。
此外,为了实现根据本技术的一个方面的信息处理系统,由计算机执行的程序可以通过经由传输介质传输或者记录在记录介质上来提供。
附图说明
图1是示出应用本技术的再成像系统的第一实施方式的概要的示图。
图2是示出由图1中的摄像机再捕获的视频的示图。
图3是示出图1中的再成像系统的配置示例的示图。
图4是示出图3中的摄像机的配置示例的框图。
图5是示出图3中的PC的硬件配置示例的框图。
图6是示出图5中的CPU的功能配置示例的框图。
图7是示出视频墙控制器的配置示例的框图。
图8是示出显示单元的详细配置示例的框图。
图9是示出LED阵列的配置示例的示图。
图10是用于描述LED阵列的发光操作的示图。
图11是用于描述LED阵列的发光周期的示图。
图12是用于描述黑色带的出现原因的示图。
图13是示出发生黑带的再捕获的视频的示例的视图。
图14是用于描述控制单元的刷新率控制的示图。
图15是示出图4中的摄像机的成像过程的流程图。
图16是用于描述刷新率控制处理的流程图。
图17是示出视频信号处理的流程图。
图18是示出显示控制信号生成处理的流程图。
图19是示出显示处理的流程图。
图20是用于描述通过传统方法降低黑色带的可见性的再成像系统的示例的示图。
图21是示出其中黑色带的可见性降低的再捕获的视频的示例的视图。
图22是示出应用本技术的再成像系统的第二实施方式的配置示例的示图。
图23是示出垂直消隐时段控制单元的配置示例的框图。
图24是示出图22中的显示单元的详细配置示例的框图。
图25是用于描述垂直消隐时段的示图。
图26是用于描述黑色带束的出现原因的示图。
图27是用于描述由图22的PC进行的控制的示图。
图28是示出垂直消隐时段控制处理的流程图。
图29是示出应用本技术的再成像系统的第三实施方式的配置示例的示图。
图30是示出垂直消隐时段控制单元的配置示例的框图。
图31是示出图29中的显示单元的详细配置示例的框图。
图32是用于描述垂直消隐时段的示图。
图33是用于描述曝光时间和垂直消隐时段的示图。
图34是用于描述黑色带束的出现原因的示图。
图35是用于描述控制模式的示图。
图36是用于描述控制模式的示图。
图37是示出垂直消隐时段控制处理的流程图。
图38是用于描述刷新率控制处理的示图。
图39是用于描述刷新率控制处理的示图。
图40是用于描述垂直消隐时段的控制的示图。
具体实施方式
在下文中描述用于执行本技术的模式(在下文中,称为实施方式)。注意,将按照以下顺序进行描述。
1.第一实施方式(控制刷新率的再成像系统的配置示例)
2.第二实施方式(同样控制垂直消隐时段的再成像系统的配置示例)
3.第三实施方式(考虑曝光时段包括垂直消隐时段的情况的再成像系统的配置示例)
另外,在以下的说明所参照的附图中,对相同或类似的部分标注相同或类似的标号。
<第一实施方式>
<再成像系统的概要>
图1是用于描述包括应用本技术的信息处理系统的再成像系统的第一实施方式的概要的示图。
如图1所示,再成像系统10例如是用于虚拟制作的系统,并且包括摄像机11和视频墙12。摄影师21使用摄像机11以在安装在摄影棚(studio)22中的视频墙12上显示的视频23作为背景对(作为对象的)摩托车24再成像。
<再捕获的视频的示例>
图2是示出了由图1中的摄影机11再捕获的视频的示图。
如图2所示,由摄像机11再捕获的视频30是仿佛摩托车24存在于捕获视频23处的地方的视频。如上所述,摄影师21使用再成像系统10执行再成像,使得像摩托车24存在于捕获视频23的地方的视频30可以由摄影棚22捕获。
<再成像系统的配置示例>
图3是示出了再成像系统10的配置示例的示图。
如图3所示,再成像系统10(信息处理系统)除了摄像机11和视频墙12之外,还包括视频服务器61、个人计算机(PC)62和视频墙控制器63。
摄影机11是通过卷帘快门系统执行成像的成像装置。摄像机11从摄影师21接收输入,并设置曝光时间(打开角度)等。此外,摄影机11根据来自摄影师21的成像开始指令以设置的曝光时间拍摄显示在视频墙12上的视频作为背景。要注意的是,在再成像系统10中,可使用均类似于摄影机11的多个摄影机。
视频墙12(显示部)是大型LED显示器,其中n(n是正整数)个显示单元(机柜)41-1至41-n以瓦片形状布置。图3示出了n是6×24的情况。注意,在下文中,在不需要单独区分显示单元41-1至41-n的情况下,它们被简称为显示单元41。
显示单元41包括m(m是正整数)个LED阵列51-1至51-m,其中,对应于相应像素的LED(未示出)以瓦片形状布置在矩阵(二维阵列)中。图3示出了m是4×3的情况。注意,在下文中,在不需要单独地区分LED阵列51-1至51-m的情况下,它们被简称为LED阵列51。
视频墙12的每个显示单元41连接到视频墙控制器63。视频墙12基于以帧为单位的视频信号和用于控制从视频墙控制器63提供的视频墙12的显示的显示控制信号,以帧为单位显示与视频信号对应的视频。具体地,提供每个显示单元41的视频信号是对应于显示单元41在视频墙12上的位置的视频信号。每个显示单元41根据显示控制信号显示基于视频信号的视频,由此在整个视频墙12上显示一帧的视频。
视频服务器61包括例如服务器计算机等,并且以帧(诸如视频内容)为单位将视频信号提供至视频墙控制器63。代替视频服务器61,可从诸如PC或蓝光盘(BD)(注册商标)的记录介质将以帧为单位的视频信号提供至视频墙控制器63。
PC 62(信息处理系统)是通用计算机。PC 62通过生成用于控制视频墙控制器63的控制命令并将该控制命令传输到视频墙控制器63来控制视频墙控制器63。
例如,PC 62获取从摄影机11传输的曝光时间。PC 62确定视频墙12的刷新率,使得曝光时间对应于视频墙12的LED的发光周期。注意,刷新率是在一秒内LED发光的次数。PC62通过向视频墙控制器63传输刷新率命令来控制刷新率,该刷新率命令是表示所确定的刷新率的控制命令。
视频墙控制器63以帧为单位对从视频服务器61提供的视频信号执行预定信号处理。视频墙控制器63根据每个显示单元41的位置将所得视频信号以帧为单位分割为n个片段,以将分割的视频信号传输到每个显示单元41。视频墙控制器63还基于从PC 62提供的刷新率命令将指示由刷新率命令指示的刷新率等的显示控制信号传输到每个显示单元41。
在如上所述配置的再成像系统10中,各个装置通过Gen Lock信号进行帧同步。因此,例如,摄像机11中的每帧的曝光起始时间与视频墙12中的每帧的显示起始时间同步。
注意,视频墙控制器63和视频墙12可以具有集成配置,并且可以是它们集成在其中的显示装置。此外,PC 62、视频墙控制器63和视频墙12可以具有集成配置,并且可以是其中集成它们的显示装置。
<摄像机的配置示例>
图4是示出图3中的摄影机11的配置示例的框图。
图4中的摄影机11包括输入单元81、设置单元82、驱动单元83、光学系统84、成像单元85、信号处理单元86、监视器87、视频输出单元88以及存储器89。
输入单元81从摄影师21接收输入并且生成指示输入内容的输入信号。例如,当光(的强度)在成像单元85中被转换成信号电荷(的量)时,考虑到动态范围的限制,摄影师21操作输入单元81以输入适当的曝光时间。在这种情况下,输入单元81生成表示曝光时间的输入信号并将该输入信号提供至设置单元82。在摄影师21操作输入单元81以输入成像开始指令的情况下,输入单元81生成指示成像开始的输入信号并且将输入信号提供至驱动单元83。
设置单元82基于来自输入单元81的输入信号来设置作为与成像有关的各种信息的成像信息,例如,由输入信号表示的曝光时间。设置单元82将摄像信息提供驱动单元83,通过同轴线缆等线将摄像信息的曝光时间传输到PC 62。
驱动单元83基于来自设置单元82的摄像信息、来自输入单元81的摄像开始指示等,生成用于驱动以矩阵状配置在成像单元85的受光面上的各个像素单元的控制信号(即,驱动信号),并输出到成像单元85。
光学系统84包括一个或多个透镜,将来自对象等的光(入射光)引导至成像单元85,并且在成像单元85的光接收面上形成图像。
成像单元85包括互补金属氧化物半导体(CMOS)图像传感器等。成像单元85根据从驱动单元83提供的驱动信号驱动每个像素单元,并且通过卷帘快门系统执行成像。具体地,根据从驱动单元83提供的驱动信号,成像单元85以行为单位输出与积累在每个像素单元中的电荷对应的电信号。然后,成像单元85开始积累与经由光学系统84以行为单位入射在每个像素单元上的光对应的电荷。根据从驱动单元83提供的驱动信号,成像单元85以行为单位读取与在由设置单元82设置的曝光时间内累积的电荷对应的电信号,并且以列为单位将电信号传输给信号处理单元86。如上所述,成像单元85以由设置单元82设置的曝光时间进行拍摄。
信号处理单元86根据从成像单元85传输的电荷对电信号执行各种类型的信号处理,并且以预定数字视频格式的帧为单位将电信号转换成视频信号。以帧为单位的视频信号被提供监视器87和视频输出单元88,或者被提供存储器89并存储(记录)。监视器87基于从信号处理单元86提供的帧为单位的影像信号,以帧单位显示影像。视频输出单元88将以从信号处理单元86提供的帧为单位的视频信号输出至摄影机11的外部。
<PC的配置示例>
图5是示出图3中的PC 62的硬件配置示例的框图。
在图5的PC 62中,中央处理单元(CPU)101、只读存储器(ROM)102和随机存取存储器(RAM)103通过总线104相互连接。
总线104进一步与输入/输出接口105连接。输入单元106、输出单元107、存储单元108、通信单元109和驱动110连接至输入/输出接口105。
输入单元106包括键盘、鼠标、麦克风等。输出单元107包括显示器、扬声器等。存储单元108包括硬盘、非易失性存储器等。通信单元109包括网络接口等。驱动110驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质111。
在如上所述配置的PC 62中,例如,CPU 101经由输入/输出接口105和总线104将存储在存储单元108中的程序加载到RAM 103中并执行该程序,从而执行各种处理。例如,CPU101进行控制通信单元109的刷新率控制处理,以便生成刷新率命令以将刷新率传输到视频墙控制器63。
例如,通过PC 62(CPU 101)执行的程序可以通过记录在作为封装介质等的可移除介质111中来提供。此外,可经由有线或无线传输介质(诸如局域网、互联网或数字卫星广播)提供程序。
在PC 62中,通过将可移除介质111附接至驱动110,可以经由输入/输出接口105将程序安装在存储单元108中。此外,程序可以由通信单元109经由有线或无线传输介质接收并且安装在存储单元108上。此外,程序可以预先安装在ROM 102或存储单元108上。
注意,由PC 62执行的程序可以是处理按照本说明书中描述的顺序按时间序列执行的程序,或者可以是处理并行或在诸如当进行调用时的必要定时执行的程序。
<刷新率控制单元的配置示例>
图6是示出图5的CPU 101进行刷新率控制处理的情况下的CPU 101的功能配置示例的框图。
在执行刷新率控制处理的情况下,CPU 101用作图6中的刷新率控制单元130。刷新率控制单元130包括获取单元131、控制单元132和传输控制单元133。
获取单元131获取从摄影机11的设置单元82传输并且经由通信单元109接收的曝光时间。获取单元131将曝光时间提供控制单元132。
控制单元132确定视频墙12的刷新率,使得从获取单元131提供的曝光时间对应于视频墙12的LED的发光周期。控制单元132通过生成作为表示刷新率的控制命令(控制信号)的刷新率命令来控制刷新率。控制单元132将刷新率命令输出至传输控制单元133。
传输控制单元133将从控制单元132提供的刷新率命令提供通信单元109,并指示将刷新率命令传输给视频墙控制器63。结果,通信单元109经由诸如局域网(LAN)线缆等的配线将刷新率命令传输(输出)至视频墙控制器63。
<视频墙控制器的配置示例>
图7是示出图3的视频墙控制器63的配置示例的框图。
视频墙控制器63包括LAN端子151、高清多媒体接口(HDMI)(注册商标)端子152、显示端口(DP)端子153、数字视频接口(DVI)端子154、网络接口(IF)155、微处理器(MPU)156、信号输入IF 157、信号处理单元158、动态随机存取存储器(DRAM)159、分配单元160和信号输出IF 161-1至161-n。
LAN端子151是LAN线缆的连接端子,并且连接至与PC 62的通信单元109连接的LAN线缆。LAN端子151经由LAN线缆接收诸如刷新率命令的控制命令,并且经由网络IF 155将该控制命令提供MPU 156。
MPU 156根据经由网络IF 155提供的刷新率命令来生成显示控制信号。此外,MPU156根据作为与经由网络IF 155提供的视频信号的调整相关的控制命令的视频调整命令,生成指示视频信号的调整的视频调整信号。MPU 156将显示控制信号和调节信号提供信号处理单元158。
HDMI端子152、DP端子153和DVI端子154都是视频信号的输入端子。在图7的示例中,视频服务器61和HDMI端子152连接,并且从视频服务器61提供的以帧为单位的视频信号输入至作为输入单元的HDMI端子152并且通过HDMI端子152获取。输入到HDMI端子152的以帧为单位的视频信号被提供至信号输入IF 157。
注意,在图7的示例中,视频服务器61和HDMI端子152连接,但是由于所有的HDMI端子152、DP端子153和DVI端子154仅具有不同的标准并且基本上具有类似的功能,所以根据需要选择和连接它们中的任何一个。
信号输入IF 157将从HDMI端子152提供的以帧为单位的视频信号转换为预定视频格式的以帧为单位的视频信号,并且将视频信号提供信号处理单元158。
信号处理单元158基于从MPU 156提供的视频调整信号,对经由信号输入IF 157提供的以帧为单位的视频信号执行整个视频墙12所需的信号处理,同时根据需要与DRAM 159交换数据。具体地,信号处理单元158基于视频调整信号来调整视频信号的色温、对比度、亮度等。信号处理单元158将调整的以帧为单位的视频信号和从MPU 156提供的显示控制信号提供至分配单元160。
分配单元160将从信号处理单元158提供的以帧为单位的视频信号分配给分别连接到显示单元41-1至41-n的信号输出IF 161-1至161-n。具体地,分配单元160(分割单元)根据相应的显示单元41的位置将视频信号以帧为单位分割为n个片段,并将分割的视频信号提供至连接到显示单元41的信号输出IF 161-1至161-n中的任一个。注意,在下文中,在不需要单独区分信号输出IF 161-1至161-n的情况下,它们被简称为信号输出IF 161。分配单元160将从信号处理单元158提供的显示控制信号提供至每个信号输出IF 161。
信号输出IF 161(输出单元)将以帧为单位的视频信号和从分配单元160提供的显示控制信号传输到与其连接的显示单元41。用于该传输的传输介质可以是有线的(诸如LAN线缆),或者可以是无线的。
注意,这里,假定从PC 62自动传输控制命令,但可以响应于来自视频墙控制器63的请求而传输控制命令。
<显示单元的详细配置示例>
图8是示出显示单元41的详细配置示例的框图。
如图8所示,显示单元41包括驱动器控制单元191和LED块192。
驱动器控制单元191包括信号输入IF 211、信号处理单元212、DRAM 213以及信号输出IF 214-1至214-m。
信号输入IF 211接收以帧为单位的视频信号和从视频墙控制器63传输的显示控制信号,并且将视频信号和显示控制信号提供至信号处理单元212。
当需要与DRAM 213交换数据时,信号处理单元212对从信号输入IF 211提供的以帧为单位的视频信号单独地执行其自身的显示单元41所需的信号处理。具体地,信号处理单元212使用存储在DRAM 213中的颜色矩阵查找表(LUT)等以帧为单位校正视频信号的显示单元41所需的颜色或亮度。信号处理单元212根据各LED阵列51在其显示单元41上的位置,在信号处理之后将以帧为单位的视频信号分成m个片段。对于每个LED阵列51,信号处理单元212基于信号处理之后的以帧为单位的视频信号,生成用于设置构成LED阵列51的每个LED的发光强度的以帧为单位的显示信号。
分别与LED阵列51-1至51-m对应的信号输出IF 214-1至214-m连接到信号处理单元212。注意,在下文中,在不需要单独区分信号输出IF 214-1至214-m的情况下,它们被简称为信号输出IF 214。信号处理单元212将每个LED阵列51的显示信号提供至与LED阵列51对应的信号输出IF 214。信号处理单元212还将从信号输入IF 211提供的显示控制信号提供每个信号输出IF 214。
信号输出IF 214将从信号处理单元212提供的显示信号和显示控制信号传输至LED块192。
LED块192包括LED驱动器221-1至221-m和LED阵列51-1至51-m。
LED驱动器221-1至221-m分别连接到驱动器控制单元191的信号输出IF 214-1至214-m,并且LED驱动器221-1至221-m分别连接到LED阵列51-1至51-m。此外,以下,在不需要对LED驱动器221-1至221-m分别进行区分的情况下,简称为LED驱动器221。
LED驱动器221通过基于从连接到LED驱动器221的信号输出IF 214传输的显示控制信号和显示信号,对构成(连接到LED驱动器221的)LED阵列51的每个LED的发光执行脉冲宽度调制(PWM)控制来驱动每个LED 241。具体地,LED驱动器221生成作为数字信号的PWM信号,使得LED阵列51的每个LED 241以基于与LED 241对应的显示信号的强度以一秒内由显示控制信号指示的刷新率发光,并且将PWM信号提供每个LED 241。因此,LED阵列51显示与从视频服务器61输出的以帧为单位的视频信号对应的视频中的视频墙12上的LED阵列51的位置相对应的视频。
<LED阵列的配置示例>
图9是示出图8的LED阵列51的配置示例的示图。
如图9所示,LED阵列51的光发射由无源矩阵驱动系统控制。
具体地,LED阵列51包括p×p(p为正数)个LED 241、亮度控制线(信号线)251和行选择线(扫描线)252。LED 241是共阴极型LED。p×p个LED 241以矩阵布置,其中,在行方向(垂直方向)上设置p个LED并且在列方向(横向方向)上设置p个LED。在图9的示例中,在行方向上的LED 241的数量和在列方向上的LED的数量是相同的p,但是在行方向上的LED 241的数量和在列方向上的LED的数量可以是不同的。
亮度控制线251按每一列的LED 241设置,同一亮度控制线251与每一列的LED 241连接。行选择线252按每一行LED 241设置,同一行选择线252与每一行的LED 241连接。
基于从信号输出IF 214提供的显示控制信号,LED驱动器221控制每行中的LED241的发光定时,使得LED 241在对应于由显示控制信号指示的刷新率的发光周期中为每行发光。
具体地,LED驱动器221执行参考时钟的频率的调整或直到下一行的发光的间隔的调整中的至少一个,使得LED 241从上一行以行为单位顺序地发光,并且以与显示控制信号所指示的刷新率对应的间隔执行发光。由此,LED驱动器221在各行的LED 241的发光定时,对与各行对应的行选择线252施加预定的固定电位。注意,预定的固定电位通常是GND电位(0V电位),但不限于此。
LED驱动器221还基于从信号输出IF 214提供的以帧为单位的显示信号,在每行的LED 241的发光定时,将每行的每个LED 241的PWM信号输入至与LED 241的列对应的亮度控制线251。
如上所述,在LED阵列51中,在每行的LED 241的发光定时,每行的每个LED 241基于LED 241的显示信号发出亮度的光。因此,在LED阵列51中,与视频信号对应的视频以从上一行的行为单位显示,并且该视频在一秒内被刷新率刷新(更新)。
<LED阵列的发光操作的描述>
图10是用于描述LED阵列51的发光操作的示图。
在图10的示例中,LED阵列51包括15×15个LED 241。
如图10的A中所示,在LED阵列51中,首先,在LED驱动器221的控制下,第一行中的LED 241从顶部发射具有与显示信号相对应的亮度的光。接下来,如图10的B中所示,在LED驱动器221的控制下,从顶部开始的第二行中的LED 241发射具有与显示信号相对应的亮度的光。此后,类似地,待发射的LED 241的行依次下降,并且如图10的C所示,最下行中的LED241在LED驱动器221的控制下发射具有与显示信号相对应的亮度的光。如上所述,在与一帧的视频信号对应的视频中,与视频墙12上的LED阵列51的位置对应的视频显示在LED阵列51上。在本说明书中,这被称为一次扫描。
在第一扫描之后,如图10的A中所示,在LED驱动器221的控制下,从顶部开始的第一行中的LED 241再次发射具有与显示信号相对应的亮度的光。此后,类似地重复以行为单位的LED 241的发光,并且在一秒内以刷新率执行扫描。例如,在由显示控制信号指示的刷新率是3840Hz并且视频信号的帧速率是60p(以渐进方式60帧/秒,即,60Hz)的情况下,在一帧区段中的扫描次数是64(=3840Hz/60Hz)。由于刷新率是1秒内执行的扫描次数,因此也可以称为扫描速度。
<发光循环的描述>
图11是用于描述LED阵列51的发光周期的示图。
在图11的示例中,LED阵列51包括15×15个LED 241。在图11的曲线图中,水平轴表示从视频墙12的显示开始所经过的时间,垂直轴表示LED阵列51的行。在图11的曲线图中,从顶部开始的LED阵列51的第i行被表示为行#i。图11的曲线图中的矩形指示对应于垂直方向上的位置的行中的LED 241在对应于矩形的横向方向上的位置的经过时间发射具有与显示信号相对应的亮度的光。
如图11所示,在LED阵列51中,以行为单位从上一行中的LED 241执行发光。在所有行#1至#15的LED 241的发光结束的情况下,即,当一个扫描结束时,开始下一个扫描。一个扫描的周期是LED 241的发光周期,并且是刷新率的倒数。例如,在刷新率为3840Hz的情况下,发光周期为1/3840秒。
<黑色带发生的原因的描述>
图12是示出在曝光时间不是LED的发光周期的整数倍的情况下在由再成像系统再捕获的视频中出现黑带的原因的示图。
在图12中,横轴表示从显示开始起的经过时间,纵轴表示LED的行,图中的上方位置表示LED的行的位置较高。在图12的示例中,构成LED阵列的LED的行数是15,并且示出了设置在行方向(垂直方向)上的三个LED阵列。在图12中,经图案化的矩形指示对应于矩形的垂直方向上的位置的行中的LED在对应于矩形的横向方向上的位置的经过时间处的发射光。对于以与四边形对应的列为单位的包括LED的每个LED阵列,四边形图案是不同的。该事实类似于稍后描述的图14的事实。
如图12所示,首先,从顶部阵列的每个LED阵列的第一行中的LED发光。接下来,从顶部阵列的每个LED阵列的第二行中的LED发光。此后,类似地,LED从每个LED阵列的上部行以行为单位发光,并且当最后一行中的LED发光时,每个LED阵列结束第一扫描。在第一扫描结束的情况下,每个LED阵列开始第二扫描。
此后,每个LED阵列以类似的方式重复扫描,并且每个LED阵列在一帧区段内执行对应于刷新率的次数的扫描。在图12的示例中,刷新率是帧速率的四倍,并且在一帧区段内执行四次扫描。即,在图12的示例中,在帧速率是60p的情况下,刷新率是240Hz。
另一方面,摄像机在预定的曝光时间内执行卷帘快门式成像。因此,由上部行依次进行每行的LED的光曝光,每行的曝光开始时刻不同。要注意的是,由于再成像系统的每个装置执行帧同步,所以一个帧的曝光开始时间和显示开始时间同步。
在这种情况下,在摄像机的曝光时间与LED的发光周期(扫描周期)彼此不对应的情况下,即,在曝光时间不是LED的发光周期的整数倍的情况下,曝光时段中的扫描次数(LED的发光次数)在每行中不均匀。在图12的示例中,在曝光时段在矩形261的范围内的行中的曝光时段期间,LED发光仅一次,但是在曝光时段在矩形261的范围之外的行中的曝光时段期间,LED发光两次。因此,曝光时段在矩形261的范围内并且由摄像机再成像的行中的像素的亮度低于曝光时段在矩形261的范围之外的行中的像素的亮度。结果,在由摄像机再捕获的视频中,曝光时段在矩形261的范围内的行的视频是黑色带。
<发生黑色带的再捕获的视频的示例>
图13是说明其中由于图12中所描述的原因而已经发生黑色带的再捕获视频的示例的示图。
在图13的示例中,刷新率是3840Hz。在图13的示例中,摄像机在持有乒乓球拍的人作为主体并且在视频墙上显示的视频作为背景的情况下执行再成像。在作为结果获得的再捕获视频280中,水平条带状黑色带281可归因于参见图12所描述的原因而作为假象出现。在虚拟制作中,在再捕获的视频中在成像部位处不存在的黑色带281的出现使再捕获的视频的质量劣化。
<刷新率控制的描述>
图14是示出通过图6中的控制单元132控制刷新率的示图。
如图14所示,控制单元132确定刷新率,使得摄像机11的曝光时间和发光周期彼此对应。具体地,例如,控制单元132使曝光开始时间和扫描开始时间同步,并且控制刷新率使得曝光时间是发光周期的整数倍。
在图14的示例中,控制单元132将刷新率控制为帧速率的4.6倍,使得曝光时间为发光周期的两倍。结果,与图12的情况相比,扫描速度增加,并且曝光时段中的扫描次数在所有行中为两次。结果,在由摄影机11再捕获的以帧为单位的视频信号中,不出现具有低亮度的一行像素,并且不出现黑带。
在图14的示例中,刷新率被控制为与图12的示例相比增加,但是刷新率仅需要被控制为使得曝光时间和发光周期彼此对应,并且与图12的示例相比可以被控制为减少。
<成像过程的描述>
图15是示出摄影机11的成像过程的流程图。例如,当摄影师21操作输入单元81以输入成像开始指令时,开始该成像处理。
在图15的步骤S10中,输入单元81从摄影师21接收成像开始指令的输入,生成指示成像开始的输入信号,并且将输入信号提供驱动单元83。
在步骤S11中,设置单元82将设置的成像信息中的曝光时间传输至PC 62,并且将成像信息提供至驱动单元83。通过操作输入单元81的摄影师21输入成像信息,并且通过设置单元82基于输入单元81根据输入生成的输入信号来设置成像信息。
在步骤S12中,驱动单元83根据在步骤S11中从设置单元82提供的成像信息生成驱动信号,并且将该驱动信号提供成像单元85。
在步骤S13中,成像单元85根据在步骤S12中从驱动单元83提供的驱动信号通过卷帘快门系统进行成像,并且将在每个像素单元中在曝光时间内累积的电荷传输给信号处理单元86。
在步骤S14中,信号处理单元86对从成像单元85传输的电荷的信号执行各种类型的信号处理,并且以预定数字视频格式的帧为单位将信号转换成视频信号。
在步骤S15中,信号处理单元86将通过步骤S14的处理而得到的帧单位的影像信号提供监视器87,以与该影像信号对应的帧单位进行显示。此时,根据需要,信号处理单元86还将作为步骤S14中的处理的结果而获得的以帧为单位的视频信号提供至视频输出单元88,并且使视频输出单元88将视频信号输出至摄影机11的外部。
在步骤S16中,信号处理单元86将作为步骤S14中的处理的结果而获得的以帧为单位的视频信号提供至存储器89,从而将视频信号存储在存储器89中。
在步骤S17中,输入单元81确定是否已经从摄影师21接收到摄像结束指令的输入。在步骤S17中确定还没有接收到摄像结束指令的输入的情况下,该处理进入步骤S18。
在步骤S18中,设置单元82判定曝光时间是否变化。具体地,设置单元82确定是否从输入单元81提供表示新曝光时间的输入信号。在从输入单元81提供表示新的曝光时间的输入信号的情况下,在步骤S18中,设置单元82确定曝光时间已经改变。然后,设置单元82将曝光时间设置为新的曝光时间,返回到步骤S11,重复以后的处理。
另一方面,在没有从输入单元81提供表示新的曝光时间的输入信号的情况下,在步骤S18中,设置单元82判定为曝光时间没有变化。然后,设置单元82将处理返回到步骤S13,重复以后的处理。
在步骤S17中确定接收到摄像结束指令的输入的情况下,摄像处理结束。
<刷新率控制处理的描述>
图16是示出图6中的刷新率控制单元130的刷新率控制处理的流程图。例如,当通过图15中的步骤S11中的处理从摄影机11的设置单元82传输曝光时间时,开始该刷新率控制处理。
在图16的步骤S31中,获取单元131获取从设置单元82传输并且经由通信单元109接收的曝光时间,并且将曝光时间提供控制单元132。
在步骤S32中,控制单元132基于在步骤S31中从获取单元131提供的曝光时间来确定视频墙12的刷新率,使得LED 241的曝光时间和发光周期彼此对应。控制单元132生成指示刷新率的刷新率命令,并将刷新率命令提供传输控制单元133。
在步骤S33中,传输控制单元133将在步骤S32中从控制单元132提供的刷新率命令提供通信单元109,指示传输给视频墙控制器63,并且使视频墙控制器63传输刷新率命令。然后,处理结束。
<视频信号处理的描述>
图17是示出视频墙控制器63的视频信号处理的流程图。例如,当从视频服务器61传输以帧为单位的视频信号时,开始该视频信号处理。
在图17的步骤S51中,视频墙控制器63的信号输入IF 157经由HDMI端子152接收从视频服务器61传输的以帧为单位的视频信号。
在步骤S52中,信号输入IF 157将在步骤S51中接收的以帧为单位的视频信号转换成预定视频格式的以帧为单位的视频信号,并且将视频信号提供信号处理单元158。
在步骤S53中,MPU 156确定是否通过LAN端子151和网络IF 155从PC 62的通信单元109接收到视频调整命令。在步骤S53中确定还没有接收到视频调整命令的情况下,MPU156等待直到接收到视频调整命令。
另一方面,在步骤S53中MPU 156确定接收到视频调整命令的情况下,处理进行至步骤S54。在步骤S54中,MPU 156根据视频调整命令生成视频调整信号,并且将视频调整信号提供信号处理单元158。
在步骤S55中,信号处理单元158基于视频调整信号,以帧为单位对视频信号执行整个视频墙12所需的信号处理,同时根据需要与DRAM 159交换数据。信号处理单元158将调整的以帧为单位的视频信号提供至分配单元160。
在步骤S56中,分配单元160以在步骤S55中从信号处理单元158提供的帧为单位将视频信号分配给每个信号输出IF 161。
在步骤S57中,每个信号输出IF 161以在步骤S56中从分配单元160提供的帧为单位将视频信号传输至与其连接的显示单元41。然后,视频信号处理结束。
<显示控制信号生成处理的描述>
图18是示出视频墙控制器63的显示控制信号生成处理的流程图。例如,当从视频服务器61传输以帧为单位的视频信号时,开始该显示控制信号生成处理。
在图18中的步骤S71中,MPU 156确定是否经由LAN端子151和网络IF 155从PC 62的通信单元109接收到刷新率命令。在步骤S71中判断为接收到刷新率命令的情况下,MPU156使处理进入步骤S72。
在步骤S72中,MPU 156根据所接收的刷新率命令生成显示控制信号,并且经由信号处理单元158将显示控制信号提供至分配单元160。然后,处理进入步骤S74。
另一方面,在步骤S71中确定还没有接收到刷新率命令的情况下,在步骤S73中,MPU 156生成指示预定刷新率的显示控制信号,并且经由信号处理单元158将显示控制信号提供至分配单元160。然后,处理进入步骤S74。
在步骤S74中,分配单元160将显示控制信号提供到每个信号输出IF 161。在步骤S75中,每个信号输出IF 161将在步骤S74中从分配单元160提供的显示控制信号传输到与其连接的显示单元41。然后,显示控制信号生成处理结束。
<显示处理的描述>
图19是示出每个显示单元41的显示处理的流程图。例如,当通过在图17中的步骤S57中的处理传输视频信号并且通过在图18中的步骤S75中的处理传输显示控制信号时,开始该显示处理。
在图19的步骤S91中,信号输入IF 211接收以帧为单位的视频信号和从视频墙控制器63传输的显示控制信号,并且将视频信号和显示控制信号提供信号处理单元212。
在步骤S92中,在根据需要与DRAM 213交换数据的同时,在步骤S91中,信号处理单元212以从信号输入IF 211提供的帧为单位对视频信号单独地执行其自身的显示单元41所需的信号处理。
在步骤S93中,信号处理单元212根据每个LED阵列51在其自身的显示单元41上的位置,在信号处理之后将以帧为单位的视频信号分成m个片段。在步骤S94中,信号处理单元212基于在信号处理之后以帧为单位的视频信号为每个LED阵列51生成以组成LED阵列51的每个LED的帧为单位的显示信号。
在步骤S95中,信号处理单元212将每个LED阵列51的显示信号提供对应于LED阵列51的信号输出IF 214,并且将在步骤S91的处理中从信号输入IF 211提供的显示控制信号提供每个信号输出IF 214。
在步骤S96中,每个信号输出IF 214将视频信号和显示控制信号传输到与其连接的LED驱动器221。
在步骤S97中,每个LED驱动器221接收从与其连接的信号输出IF 214传输的显示信号和显示控制信号。在步骤S98,每个LED驱动器221基于显示信号和显示控制信号通过PWM控制构成与其连接的LED阵列51的LED 241的发光来驱动LED 241。因此,对应于以帧为单位的从视频服务器61输出的视频信号的视频中的视频墙12上的LED阵列51的位置的视频显示在每个LED阵列51上。
如上所述,在再成像系统10中,PC 62控制视频墙12的刷新率,使得对视频墙12成像的摄影机11的曝光时间对应于LED 241的发光周期。因此,能够防止在对视频墙12进行再成像的情况下出现黑色带。
此外,因为PC 62获取曝光时间并且基于曝光时间控制刷新率,所以即使在曝光时间改变的情况下,也可以基于改变之后的曝光时间容易地控制刷新率,并且可以防止发生黑色带。
<再成像系统的示例的描述>
图20是用于描述通过常规方法降低黑色带的可见性的再成像系统的示例的示图。
在图20的示例中,构成LED阵列的LED的行数为4。在图20的曲线图中,水平轴表示从视频墙的显示开始所经过的时间,垂直轴表示LED阵列的行。在图20的曲线图中,从LED阵列的顶部起的第i行被表示为行#i。图20的曲线图中的矩形指示对应于垂直方向上的位置的行中的LED在对应于矩形的横向方向上的位置的经过时间处发射光。
通过传统方法降低黑色带的可见性的再成像系统降低LED的发光周期,即,增加刷新率,从而降低黑色带的可见性。具体地,例如,如图20的下部所示,再成像系统使图20的上部中所示的刷新率加倍。
结果,即使在摄像机的曝光时间与LED的发光周期彼此不对应并且每行中的曝光时段内LED的发光次数不均匀的情况下,也可以抑制每行中的亮度的不均匀性。
例如,在一帧区段中的扫描次数是64的情况下,当特定行和另一行之间的发光次数的差是-1倍时,与另一行的亮度相比,特定行的亮度减少了1/64(大约1.56%)。另一方面,在刷新率加倍并且在一帧区段中的扫描次数是128的情况下,当特定行与其他行之间的发光次数的差异是-1时,与另一行的亮度相比,特定行的亮度仅降低了1/128(大约0.78%)。如上所述,通过增加刷新率,抑制了每行中的亮度不均匀性。
图21是说明其中通过图20中描述的再成像系统减小黑色带的可见性的再俘获视频的示例的示图。
在图21的示例中,刷新率是7680Hz,并且与图13中的那些相似的对象和背景被再成像。
如图21中所示,即使在刷新率是3840Hz的两倍的7680Hz的再捕获的视频300中,也生成水平条带黑带301,但是在刷新率是3840Hz的图13中的再捕获的视频280中,黑带301比黑带281更不可见。
然而,在传统方法中,尽管黑色带的可见性降低,但是黑色带不会消失。另外,为了在维持LED的显示灰度精度的同时提高刷新率,需要提高用于LED驱动器的PWM控制的基准时钟的频率,或者减少在一次扫描中发光的LED的行数。
具体地,在PWM控制中,由于通过将基准时钟与计数器积分来生成控制信号,因此,例如,需要增加基准时钟的频率以保持LED的显示灰度精度并且增加刷新率。
基准时钟的频率f[Hz]通过使用刷新率RR[Hz]、显示灰度精度t[bit]、以及在一次扫描中将要发光的LED的行数L[行]的下列公式(1)来表示。
f=RR×2t×L...(1)
例如,在刷新率是3840Hz、显示灰度精度是12位并且在一次扫描中使LED发光的行数是16的情况下,参考时钟的频率大约为251.7MHz。另一方面,在刷新率为3840Hz的2倍的7680Hz的情况下,基准时钟的频率为3840Hz的2倍的503.3MHz左右。如上所述,当LED驱动器的参考时钟的频率(工作频率)增加时,由于LED驱动器的功耗、LED驱动器的制造过程的变化等,成本增加。
另一方面,在维持基准时钟的频率的同时提高刷新率的情况下,如上述式(1)所示,需要减少在一次扫描中发光的LED的行数。为了减少在一次扫描中发光的LED的行数,需要增加LED驱动器的个数。例如,在为了使刷新率加倍而将在1次扫描中发光的LED的行数减少到1/2的情况下,需要使LED驱动器的数量加倍。因此,成本上升,基板上的元件搭载区域不足。此外,随着LED驱动器的数量增加,暗功率也增加。暗功率是即使当LED不发光时消耗的功率,并且暗功率是主要由LED驱动器、用于驱动LED驱动器的控制电路、电源电路等消耗的功率。
注意,如上述公式(1)所示,通过降低显示灰度精度(所谓的灰度),可以提高刷新率,同时保持基准时钟的频率和在一次扫描中发光的LED的行数。例如,通过将显示灰度精度降低一位可以使刷新率加倍。然而,当显示灰度精度降低时,再捕获的视频的质量降低。可以通过稍微增加基准时钟的频率来抑制显示灰度精度的下降,但是在任一情况下,再捕获的视频的质量下降。
另一方面,在再成像系统10中,可以仅通过基于曝光时间控制刷新率来防止发生黑色带。因此,不会发生制造成本的显著增加和显示灰度精度的降低。
注意,刷新率控制单元130可不控制刷新率,但用户可控制刷新率。在这种情况下,曝光时间不从摄影机11传输,并且用户确定刷新率使得曝光时间对应于LED 241的发光周期,并且使用输入单元106将刷新率输入至PC 62。然后,PC 62生成表示由用户输入的刷新率等的显示控制信号。
在再成像系统10中,曝光时间从摄影机11传输至PC 62,但是用户可操作输入单元106以输入摄影机11的曝光时间,并且刷新率控制单元130可获取曝光时间。
在再成像系统10中,PC 62基于曝光时间控制刷新率,但是摄影机11可将曝光时间传输至视频墙控制器63或视频墙12,并且视频墙控制器63或视频墙12的至少一部分可用作刷新率控制单元130。
在再成像系统10中,刷新率被控制成使得摄影机11的曝光时间是LED 241的发光周期的整数倍,但此时,实际上可能需要基于曝光时间来控制每个帧的垂直消隐时段。在下文中,作为第二实施方式,将描述控制垂直消隐时段的再成像系统。
<第二实施方式>
<再成像系统的配置示例>
图22是示出包括应用本技术的信息处理系统的再成像系统的第二实施方式的配置示例的示图。
在图22的再成像系统400中,与图3的再成像系统10的部件相对应的部件由相同的附图标记表示。因此,将适当地省略部件的描述,并且将集中于不同于再成像系统10的部件进行描述。
图22中的再成像系统400与再成像系统10的不同之处在于PC 62、视频墙控制器63以及视频墙12被PC 401、视频墙控制器402以及视频墙403取代,并且其他组件以与再成像系统10的那些组件类似的方式配置。
具体地,PC 401(信息处理系统)是通用计算机。PC 401通过生成用于控制视频墙控制器402的控制命令并将该控制命令传输到视频墙控制器402来控制视频墙控制器402。
例如,PC 401执行如图3中的PC 62中的刷新率控制处理。另外,PC 401确定视频墙403上显示的视频的垂直消隐时段,使得曝光时间是LED 241的发光周期(子帧)的整数倍。具体地,PC 401通过基于由刷新率控制过程确定的刷新率向视频墙控制器402传输作为表示垂直消隐时段的控制命令的垂直消隐时段命令来控制垂直消隐时段。
视频墙控制器402如图7中的视频墙控制器63所配置,但显示控制信号所表示的信息不同。具体地,如在视频墙控制器63中,视频墙控制器402以从视频服务器61提供的帧为单位对视频信号执行预定信号处理,分割视频信号,并且将分割的视频信号传输至每个显示单元411。视频墙控制器402向每个显示单元411传输指示由从PC 401提供的刷新率命令指示的刷新率、由垂直消隐周期命令指示的垂直消隐周期等的显示控制信号。
视频墙403(显示部)是其中n个显示单元411-1至411-n以瓦片形状布置的大型LED显示器。图22示出了n是6×24的情况。注意,在下文中,在不需要单独区分显示单元411-1至411-n的情况下,它们被简称为显示单元411。
显示单元411包括以瓦片形状布置的m个LED阵列51。视频墙403的每个显示单元411连接到视频墙控制器402。视频墙403基于以帧为单位的视频信号和从视频墙控制器402提供的显示控制信号,以帧为单位显示与视频信号对应的视频。具体地,提供每个显示单元411的视频信号是与视频墙403上的显示单元411的位置对应的视频信号。每个显示单元411根据显示控制信号基于视频信号来显示视频,由此在整个视频墙403上显示一帧的视频。
在如上所述配置的再成像系统400中,如在再成像系统10中,各个装置通过同步锁信号帧同步。
注意,视频墙控制器402和视频墙403可以具有集成配置,或者可以是它们集成在其中的显示装置。此外,PC 401、视频墙控制器402和视频墙403可以具有集成配置,或者可以是其中集成有它们的显示装置。
<垂直消隐控制单元的配置示例>
图22中的PC 401的硬件配置与图5中的PC 62的硬件配置相似,因此省略其描述。
图23是示出在CPU执行用于控制垂直消隐时段的垂直消隐时段控制处理的情况下图22中的PC 401的CPU的功能配置示例的框图。
在执行垂直消隐时段控制处理的情况下,PC 401的CPU用作图23中的垂直消隐时段控制单元420。垂直消隐时段控制单元420包括获取单元421、控制单元422和传输控制单元423。
获取单元421获取由刷新率控制处理确定的刷新率并将该刷新率提供至控制单元422。
控制单元422基于从获取单元421提供的刷新率确定垂直消隐时段。控制单元422通过生成指示垂直消隐时段的垂直消隐时段命令来控制垂直消隐时段。控制单元422将垂直消隐时段命令输出到传输控制单元423。
传输控制单元423将从控制单元422提供的垂直消隐时段命令提供PC 401的通信单元,并指示将垂直消隐时段命令传输给视频墙控制器402。结果,通信单元经由诸如LAN线缆的线将垂直消隐时段命令传输(输出)到视频墙控制器402。
<显示单元的详细配置示例>
图24是示出图22中的显示单元411的详细配置示例的框图。
在图24的显示单元411中,与图8的显示单元41的部件相对应的部件由相同的附图标记表示。因此,将适当地省略部件的描述,并且将集中于与显示单元41不同的部分给出描述。
图24的显示单元411与显示单元41的不同之处在于提供LED块441而不是LED块192,并且其他部件以与显示单元41的部件类似的方式配置。
LED块441与LED块192的不同之处在于,代替LED驱动器461-1至461-m而设置LED驱动器221-1至221-m,其他构成与LED块192相同。
LED驱动器461-1至461-m分别连接到驱动器控制单元191的信号输出IF 214-1至214-m,并且分别连接到LED阵列51-1至51-m。另外,以下,在不需要对LED驱动器461-1至461-m分别进行区分的情况下,简称为LED驱动器461。
LED驱动器461基于从与其连接的信号输出IF 214传输的显示控制信号和显示信号,通过对构成与其连接的LED阵列51的每个LED 241的发光执行PWM控制来驱动每个LED241。
具体地,LED驱动器461生成PWM信号,使得LED阵列51的每个LED 241以基于与LED241对应的显示信号的强度在一秒内以显示控制信号所指示的刷新率发光。LED驱动器461将PWM信号提供每个LED 241。结果,LED阵列51显示与从视频服务器61输出的以帧为单位的视频信号对应的视频中的视频墙403上的LED阵列51的位置相对应的视频。LED驱动器461还基于显示控制信号来控制垂直消隐时段,使得对于每个帧提供由显示控制信号表示的垂直消隐时段。
<垂直消隐时段的描述>
图25是示出在视频墙403上显示的视频的垂直消隐时段的示图。
在图25中,水平轴表示发光时间。顶行表示视频墙403上显示的视频的垂直同步信号(V-Sync)。从顶部起的第二行和后续行表示从视频墙403的顶部起的30行的LED 241的每行的发光定时,并且在图25中,从顶部起的第i行被表示为线#i。在图25的示例中,构成LED阵列51的LED 241的行数是15,并且在一帧区段中的扫描次数是32。该事实类似于稍后描述的图27的事实。
如图25所示,在垂直同步信号之间,即在一帧区段中,设置垂直消隐时段(V-blanking),其中在整个扫描结束之后停止所有LED 241的发光。
具体地,首先,与垂直同步信号同步,每个LED驱动器461按照从连接至其的LED阵列51的最上行内的LED 241开始的顺序,为每行生成与每个LED 241的显示信号(例如,从0至2048的值的图像数据)对应的PWM信号,并且将PWM信号提供每个LED 241。结果,在每个LED阵列51中,从最上面的行中的LED 241开始依次发光。在图25的示例中,从视频墙12顶部的第一行和16行中的LED 241同时开始发光。当每个LED阵列51的最低行(在图25的示例中,从视频墙12的顶部起的第15行和第30行)中的LED 241的发光结束时,即,当一个扫描结束时,再次执行扫描。此后,在图25的示例的情况下,类似地执行32次扫描。即,LED驱动器461针对每个LED 241生成32次具有相同PWM宽度的PWM信号。此后,直至生成下一帧的垂直同步信号,开始垂直消隐时段,并且停止所有LED 241的发光。
<黑色带发生的原因的描述>
图26是示出在曝光时间不是LED的发光周期的整数倍的情况下在由再成像系统再捕获的视频中出现黑带的原因的示图。
在图26中,水平轴表示发光时间。顶行表示视频墙上显示的视频的垂直同步信号。从顶部起的第二行和后续行表示针对从视频墙的顶部起的30行的每行LED的发光定时,并且在图26中,从顶部起的第i行被表示为线#i。在图26的示例中,构成LED阵列的LED的行数是15,并且在一帧区段中的扫描次数是32。
由于扫描与图25的情况相似,所以省略其描述。摄像机以预定的曝光时间执行卷帘快门式成像。因此,由上部行依次进行每行的LED的光曝光,每行的曝光开始时刻不同。要注意的是,由于再成像系统的每个装置执行帧同步,所以一个帧的曝光开始时间和显示开始时间同步。
在这种情况下,在摄像机的曝光时间和LED的发光周期彼此不对应的情况下,曝光时段中的发光时段在各个行中可能不是一致的。在图26的示例中,在从顶部起的第一行和第二行中,在曝光时段481中包括第一发光的整个时段。然而,在从顶部起的第15行中,在曝光时段481中不包括是第一发光的整个时段的1/2(0.5)倍的时段482。在从顶部起的第16行的行中,在曝光时段481中不包括是第一发光的整个时段的0.8倍的时段483。
因此,由摄像机再成像的顶部的第15行和第16行中的像素的亮度低于顶部的第一行和第二行中的像素的亮度。例如,在从顶部开始的第一行或第二行中的像素的亮度是1时,在从顶部开始的第15行中的像素的亮度是0.5,并且在从顶部开始的第一行或第二行中的像素的亮度是1时,在从顶部开始的第16行中的像素的亮度是0.2。因此,在由摄像机再捕获的视频中,从顶部开始的第15行和第16行中的每行中的视频变成黑色带。由于类似的情形在随后的行中周期性地发生,所以亮度和暗度周期性地出现在由摄像机再捕获的视频中。
<通过PC的控制的描述>
图27是用于描述PC 401的控制的示图。
如图27所示,PC 401的控制单元132确定刷新率,使得摄像机11的曝光时间和发光周期彼此对应。具体地,例如,控制单元132使曝光开始时间和扫描开始时间同步,并且控制刷新率使得曝光时间是发光周期的整数倍。
在图27的示例中,控制单元132确定刷新率,使得曝光时间是发光周期的一倍。结果,扫描速度比图26的情况下的速度快,并且曝光时段中的扫描次数在所有行中是1。例如,在从顶部起的第15行中,在曝光时段481中包括第一发光的整个时段。在从顶部起的第16行的行中,曝光时段481包括第一发光的整个时段的部分时段491和第二发光的整个时段的部分时段492。周期491和周期492之和是一次发光的整个周期。因此,由摄影机11再成像的所有行中的像素的亮度相同。结果,在由摄影机11再捕获的以帧为单位的视频中不出现具有低亮度的一行像素并且不出现黑带。
注意,在从顶部起的第16行中PWM宽度小的情况下,仅由通过第二发光的曝光即可获得足够的亮度。
如上所述,与图26的情况相比,在通过增加扫描速度来防止发生黑色带的情况下,最后32次扫描的结束时间比图26的情况更早。因此,与图26的情况相比,从最后扫描的结束到下一帧的显示的开始的周期493被延长周期494,并且垂直消隐周期需要被延长周期494。即,需要基于刷新率来控制垂直消隐时段。
因此,基于刷新率,图23中的控制单元422计算从当执行扫描时在与刷新率对应的一个帧部分内的扫描次数到当开始显示下一帧时的周期,并且将该周期确定为垂直消隐周期。在垂直消隐时段长的情况下,亮度可以是暗的。
注意,曝光时段481的倾斜的横向方向上的距离(时间)表示帘幕速度,该帘幕速度是从第一行的曝光开始到最后一行的曝光开始的时间。帘幕速度根据摄像机11的成像单元的特性和视角而改变。
在图27的示例中,与图26的示例相比,刷新率被控制为增加,但是仅需要控制刷新率使得曝光时间和发光周期彼此对应,并且与图26的示例相比,刷新率可被控制为减少。
<垂直消隐时段控制处理的描述>
图28是示出图23中的垂直消隐时段控制单元420的垂直消隐时段控制处理的流程图。例如,当刷新率控制单元130的控制单元132确定刷新率时,开始该垂直消隐时段控制处理。
在图28的步骤S201中,获取单元421从控制单元132中获取刷新率并且将该刷新率提供至控制单元422。
在步骤S202中,基于在步骤S201中从获取单元421提供的刷新率,控制单元422计算从当执行扫描时在与刷新率对应的一个帧部分内的扫描次数到当开始显示下一帧时的周期,并将该周期确定为垂直消隐周期。控制单元422生成指示垂直消隐时段的垂直消隐时段命令,并将垂直消隐时段命令提供传输控制单元423。
在步骤S203中,传输控制单元423将在步骤S202中从控制单元422提供的垂直消隐时段命令提供通信单元109,指示向视频墙控制器402传输,并且使视频墙控制器402传输垂直消隐时段命令。然后,处理结束。
如上所述,再成像系统400基于曝光时间来控制在视频墙403上显示的视频的垂直消隐时段。具体地,再成像系统400基于曝光时间确定刷新率,使得曝光时间是发光周期的整数倍,并且基于刷新率控制垂直消隐时段。因此,能够防止在对视频墙403再成像的情况下出现黑色带。
在上述第一实施方式和第二实施方式中,曝光时段在一个帧的视频的显示时段内,但是曝光时段可以根据曝光时间横跨两个帧的视频的显示时段。即,曝光时段可包括垂直消隐时段。在这种情况下,由于曝光时段中包括的垂直消隐时段的数量根据行而不同,所以可能出现黑色带。在下文中,作为第三实施方式,将描述用于防止这种黑色带发生的再成像系统。
<第三实施方式>
<再成像系统的配置示例>
图29是示出包括应用本技术的信息处理系统的再成像系统的第三实施方式的配置示例的示图。
在图29的再成像系统500中,与图3的再成像系统10的部件相对应的部件由相同的附图标记表示。因此,将适当地省略部件的描述,并且将集中于不同于再成像系统10的部件的部件进行描述。
图29中的再成像系统500与再成像系统10的不同之处在于PC 62、视频墙控制器63以及视频墙12被PC 501、视频墙控制器502以及视频墙503取代,并且其他组件以与再成像系统10的组件类似的方式配置。
具体地,PC 501(信息处理系统)是通用计算机。PC 501通过生成用于控制视频墙控制器502的控制命令并将该控制命令传输到视频墙控制器502来控制视频墙控制器502。
例如,PC 501通过基于摄像机11的曝光时间和帘幕速度设置用于控制在视频墙503上显示的视频的垂直消隐时段的控制模式,来控制垂直消隐时段,以向视频墙控制器502传输指示控制模式的控制模式命令。例如,摄像机11的帘幕速度由用户输入。
视频墙控制器502如图7中的视频墙控制器63所配置,但显示控制信号所表示的信息不同。具体地,如在视频墙控制器63中,视频墙控制器502以从视频服务器61提供的帧为单位对视频信号执行预定信号处理,分割视频信号,并且将分割的视频信号传输至每个显示单元511。视频墙控制器502还向每个显示单元511传输指示由从PC 501提供的控制模式命令指示的控制模式等的显示控制信号。
视频墙503(显示部)是大型LED显示器,其中,n个显示单元511-1至511-n设置成瓦片形状。图29示出了n是6×24的情况。注意,在下文中,在不需要单独区分显示单元511-1至511-n的情况下,它们被简称为显示单元511。
显示单元511包括以瓦片形状布置的m个LED阵列51。视频墙503的每个显示单元511连接到视频墙控制器502。视频墙503基于以帧为单位的视频信号和从视频墙控制器502提供的显示控制信号,以帧为单位显示与视频信号对应的视频。具体地,提供每个显示单元511的视频信号是与视频墙503上的显示单元511的位置对应的视频信号。每个显示单元511根据显示控制信号基于视频信号来显示视频,由此在整个视频墙503上显示一帧的视频。
在如上所述配置的再成像系统500中,如在再成像系统10中,各个装置通过同步锁信号帧同步。
注意,视频墙控制器502和视频墙503可以具有集成配置,或者可以是它们集成在其中的显示装置。此外,PC 501、视频墙控制器502和视频墙503可以具有集成配置,或者可以是它们集成在其中的显示装置。
<垂直消隐控制单元的配置示例>
图29中的PC 501的硬件配置与图5中的PC 62的硬件配置相似,因此省略其描述。
图30是示出在CPU执行用于控制垂直消隐时段的垂直消隐时段控制处理的情况下图29中的PC 501的CPU的功能配置示例的框图。
在执行垂直消隐时段控制处理的情况下,PC 501的CPU用作图30中的垂直消隐时段控制单元520。垂直消隐时段控制单元520包括获取单元521、控制单元522和传输控制单元523。
获取单元521获取从摄影机11的设置单元82传输并且通过PC 501的通信单元接收的曝光时间。获取单元521将曝光时间提供控制单元522。
控制单元522基于从获取单元521提供的曝光时间和摄影机11的遮挡速度来设置垂直消隐时段的控制模式。控制单元522通过生成指示控制模式的控制模式命令来控制垂直消隐时段。控制单元522将控制模式命令输出至传输控制单元523。
传输控制单元523将从控制单元522提供的控制模式命令提供PC 501的通信单元,并指示将控制模式命令传输给视频墙控制器502。结果,通信单元经由诸如LAN线缆的线将控制模式命令传输(输出)到视频墙控制器502。
<显示单元的详细配置示例>
图31是示出图29中的显示单元511的详细配置示例的框图。
在图31的显示单元511中,与图8的显示单元41的部件相对应的部件由相同的附图标记表示。因此,将适当地省略部件的描述,并且将集中于与显示单元41不同的部分给出描述。
图31的显示单元511与显示单元41的不同之处在于提供LED块541而不是LED块192,并且其他部件以与显示单元41的部件类似的方式配置。
LED块541与LED块192的不同之处在于,代替LED驱动器561-1至561-m而设置LED驱动器221-1至221-m,除此以外与LED块192同样地构成其他部件。
LED驱动器561-1至561-m分别连接到驱动器控制单元191的信号输出IF 214-1至214-m,并且分别连接到LED阵列51-1至51-m。另外,以下,在不需要对LED驱动器561-1至561-m分别进行区分的情况下,简称为LED驱动器561。
LED驱动器561通过基于从连接到其上的信号输出IF 214传输的显示控制信号和显示信号对构成连接到其上的LED阵列51的每个LED 241的发光执行PWM控制来驱动每个LED 241。
具体地,LED驱动器561基于由显示控制信号指示的控制模式控制每个帧的发光开始时间。LED驱动器561生成PWM信号,使得LED阵列51的每个LED 241以基于与LED 241对应的显示信号的强度在一秒内以预定刷新率发光,并且将PWM信号提供每个LED 241。因此,LED阵列51显示与从视频服务器61输出的以帧为单位的视频信号对应的视频中的视频墙503上的LED阵列51的位置相对应的视频。
<垂直消隐时段的描述>
图32是示出在视频墙503上显示的视频的垂直消隐时段的示图。
图32中的上部示图示出了从视频墙503的顶部起的第一行至135行中的每行中的LED 241的发光定时。在图32的上部示图中,水平轴表示发光时间,并且垂直轴表示LED 241的每一行。在图32的示例中,视频墙503的帧速率是120Hz,并且一个帧间隔是1/119.88秒。构成LED阵列51的LED 241的行数为15。在图32的下部示图中,第135行中的LED 241的发光时序由线表示。
如图32的上部图所示,在一帧区段中,在所有扫描结束之后提供垂直消隐时段(V-blanking)。在图32的上部示图中,连接相应行的发光定时的斜线之间的间隔是一次扫描的时间。
<曝光时间和垂直消隐时段的描述>
图33是用于描述曝光时间和垂直消隐时段的示图。
图33中的左图示出了摄影机11的成像单元85的光接收面。图33中的右侧示图是示出在与成像单元85的光接收面上的每行的像素对应的视频墙503上显示的视频的示图。图33的右侧示图的水平轴表示视频的显示时间,垂直轴表示从与在显示时间显示的视频对应的成像单元85的光接收面上的像素的行的顶部的行的数量。在图33的示例中,视频墙503的帧速率是120Hz,并且摄像机11的帧速率是60Hz。
在图33的示例中,如图33的右图所示,在曝光时间(即,开口角度为360度)的情况下,对于视频墙503上显示的两个帧,利用与视频相应的光执行曝光。在开口角为270度的情况下,以与视频对应的光进行1.5帧的曝光,在开口角为180度的情况下,以与视频对应的光进行1帧的曝光。在开口角为90度的情况下,用与视频对应的光进行0.5帧的曝光。
这里,由于开口角是0度至360度范围内的角,因此与用于摄像机11的曝光的光对应的视频可以是0至2帧的视频。即,曝光时段可包括从零到两倍的垂直消隐时段。
<黑色带发生的原因的描述>
图34是示出在没有控制垂直消隐时段的情况下在由再成像系统再捕获的视频中出现黑带的原因的示图。
在图34中,水平轴表示视频的显示时间,垂直轴表示从与在显示时间显示的视频对应的成像单元的光接收面上的像素的行的顶部的行的数量。在图34的示例中,视频墙的帧速率是120Hz,并且摄像机的帧速率是60Hz。
在图34的示例中,在开口角为270度的情况下,垂直消隐时段在成像单元的光接收面的相对于第L行的上部行中的曝光时段571中包括一次,而垂直消隐时段在相对于L行的下部行中的曝光时段571中包括两次。在开口角为90度的情况下,垂直消隐时段不包括在成像单元85的光接收面的相对于第L行的上部行中的曝光时段571中,而垂直消隐时段包括在相对于第L行的下部行中的曝光时段571中一次。
这里,在垂直消隐时段中不执行发光。因此,在开口角为270度或90度的情况下,由摄像机再成像的相对于第L行的下一行中的像素的亮度低于相对于第L行的上一行中的像素的亮度。因此,在由摄像机再捕获的视频中,相对于第L行的较低行中的视频是黑色带。
注意,在开口角为270度或90度的情况下,即使发光开始时刻偏移,曝光时段571或572中包括的垂直消隐的数量也总是根据行而改变。结果,在由摄像机再捕获的视频中生成黑色带。
另一方面,在开口角为180度的情况下,垂直消隐时段在成像单元的光接收面的所有行中的曝光时段571中包括一次。虽然未示出,但是在开口角度为360度的情况下,垂直消隐时段在成像单元85的光接收面的所有行中的曝光时段571中包括两次。因此,在开口角为180度或360度的情况下,不出现黑色带。
<控制模式的描述>
图35和图36是用于描述控制模式的示图。
在图35和图36中,水平轴表示视频的显示时间,垂直轴表示从与在显示时间显示的视频对应的光曝光的成像单元85的光接收面上的像素的行的顶部开始的行的数量。在图35和图36的示例中,视频墙503的帧速率是120Hz,并且摄像机11的帧速率是60Hz。
例如,如图35所示,在开口角为90度、成像单元85的一部分行的曝光期间为没有垂直消隐期间的期间、剩余的行的曝光期间为1个垂直消隐期间的情况下,控制单元522将控制模式设置为在成像单元85的全部行的曝光期间不包含偶数帧的垂直消隐期间的第一模式。
在控制模式被设置为第一模式的情况下,LED驱动器561使相邻帧中的一个奇数帧(第一帧)之后的下一帧的偶数帧(第二帧)的发光开始定时(视频显示开始时间)提前,从而删除奇数帧的垂直消隐时段。结果,奇数帧的显示周期581被缩短垂直消隐周期,而偶数帧的显示周期582被延长垂直消隐周期。
如上所述,在奇数帧的垂直消隐时段被删除的情况下,垂直消隐时段不包括在从成像单元85的顶部的第一行的曝光开始到最后一行的曝光结束(快门被释放)的时段T中,即,帘幕速度和曝光时间的总和的时段中。因此,垂直消隐时段不包括在成像单元85的所有行的曝光时段中。结果,在由摄影机11再捕获的以帧为单位的视频信号中,不出现具有低亮度的一行像素,并且不出现黑带。
另一方面,例如,如图36所示,在开口角为270度的情况下,成像单元85的一部分行的曝光期间为1个垂直消隐期间,其余行的曝光期间为2个垂直消隐期间,控制单元522将控制模式设置为在成像单元85的全部行的曝光期间包含偶数帧的垂直消隐期间的第二模式。
在控制模式设置为第二模式的情况下,LED驱动器561与第一模式的情况同样地,删除奇数帧的垂直消隐期间。因此,奇数帧的显示周期591被缩短垂直消隐周期,并且偶数帧的显示周期592被延长垂直消隐周期。然后,所有帧的发光开始时间(显示开始时间)被改变以延迟时间D,使得偶数帧的垂直消隐时段包括在成像单元85的所有行的曝光时段571中。
结果,偶数帧的垂直消隐时段包括在成像单元85的所有行的曝光时段571中。结果,在由摄影机11再捕获的以帧为单位的视频信号中,不出现具有低亮度的一行像素,并且不出现黑带。
注意,所有帧的发光起始时间可以例如偏移一帧区段。例如,在帧速率是120Hz的情况下,所有帧的发光开始时间可以偏移到1/120秒。
基于帘幕速度和曝光时间来控制单元522确定仅成像单元85的一些行的曝光时段是跨越一个垂直消隐时段还是跨越两个垂直消隐时段。然后,在确定仅某些行的曝光时段跨越一个垂直消隐时段的情况下,控制单元522将控制模式设置为第一模式。在确定仅某些行的曝光时段跨过两个垂直消隐时段的情况下,控制单元522将控制模式设置为第二模式。
<垂直消隐时段控制处理的描述>
图37是示出图30中的垂直消隐时段控制单元520的垂直消隐时段控制处理的流程图。例如,当从摄影机11的设置单元82传输曝光时间时,开始该垂直消隐时段控制处理。
在图37的步骤S331中,获取单元521获取从设置单元82传输的并经由PC 501的通信单元接收的曝光时间,并将该曝光时间提供控制单元522。
在步骤S332中,控制单元522基于通过在步骤S331中的处理从获取单元521提供的曝光时间以及摄影机11的遮挡速度来确定是否有必要删除垂直消隐时段。具体地,控制单元522基于曝光时间和帘幕速度来确定包括在成像单元85的所有行的曝光时段中的垂直消隐时段是否相同。在确定包括在所有行的曝光时段中的垂直消隐时段不相同的情况下,控制单元522确定需要删除垂直消隐时段,并且使处理前进到步骤S33。
在步骤S333中,控制单元522基于曝光时间和帘幕速度来设置控制模式。具体地,基于曝光时间和帘幕速度,控制单元522确定成像单元85的一些行的曝光时段是否跨越垂直消隐周期,并且其余行的曝光时段是否跨越一个垂直消隐周期。在确定一些行的曝光时段没有跨垂直消隐时段并且其余行的曝光时段跨一个垂直消隐时段的情况下,控制单元522将控制模式设置为第一模式。另一方面,在确定一些行的曝光时段没有跨垂直消隐时段并且其余行的曝光时段没有跨一个垂直消隐时段的情况下,即,在一些行的曝光时段跨一个垂直消隐时段并且其余行的曝光时段跨两个垂直消隐时段的情况下,控制单元522将控制模式设置为第二模式。
控制单元522通过生成表示设置的控制模式的控制模式命令来控制垂直消隐时段。控制单元522将控制模式命令输出至传输控制单元523。
在步骤S334中,传输控制单元523将在步骤S333中从控制单元522提供的控制模式命令提供PC 501的通信单元,指示向视频墙控制器502传输,并且使视频墙控制器502传输控制模式命令。然后,处理结束。
另一方面,在步骤S332中,在控制单元522确定在所有行的曝光时段中包括的垂直消隐时段相同的情况下,处理结束。
如上所述,再成像系统500基于曝光时间来控制在视频墙503上显示的视频的垂直消隐时段。因此,能够防止在对视频墙503再成像的情况下出现黑色带。
注意,尽管再成像系统500不执行刷新率控制处理,但其可执行刷新率控制处理。在这种情况下,刷新率控制处理根据垂直消隐时段是否包括在曝光时段中而变化。下面,对刷新率控制处理进行说明。
<刷新率控制处理的描述>
图38和图39是用于描述在再成像系统500执行刷新率控制处理的情况下的刷新率控制处理的示图。
在图38和图39中,水平轴表示发光时间。顶行表示视频墙503上显示的视频的垂直同步信号。从顶部起的第二行和后续行表示针对从视频墙503的顶部起的30行的LED 241的每行的发光定时,并且在图38和图39中从顶部起的第i行被表示为线#i。在图38和图39中,构成LED阵列51的LED 241的行数是15。
在垂直消隐控制处理之后的曝光时段601中不包括垂直消隐时段的情况下,如图38所示,PC 501(控制单元)确定刷新率,使得曝光时间是LED 241的发光周期的整数倍。在图38的示例中,曝光时间是发光周期的7倍。
另一方面,在垂直消隐控制处理之后的曝光时段602中包括一次垂直消隐时段的情况下,如图39所示,PC 501确定刷新率,使得曝光时间是LED 241的发光周期的整数倍(N倍)与一个垂直消隐时段的和。在图38的示例中,曝光时间是发光周期的34倍和一个垂直消隐时段的总和,并且在一帧区段中的扫描次数是32。
注意,虽然未示出,但是在曝光时段中包括两次垂直消隐时段的情况下,刷新率被确定使得曝光时间是LED 241的发光周期的整数倍和两个垂直消隐时段的总和。
在PC 501执行如上所述的刷新率控制处理的情况下,如在第二实施方式中,可基于刷新率进一步控制垂直消隐时段。
<基于刷新率的垂直消隐时段的控制的描述>
图40是用于描述在这种情况下由PC 501基于刷新率对垂直消隐时段的控制的示图。
在图40中,水平轴表示发光时间。顶行表示视频墙503上显示的视频的垂直同步信号。从顶部起的第二行和后续行表示从视频墙503的顶部起的30行的LED 241的每行的发光定时,并且在图40中,从顶部起的第i行被表示为线#i。在图40的示例中,构成LED阵列51的LED 241的行数是15。
如图40所示,在曝光时段611中包括一个垂直消隐时段的情况下,PC 501控制垂直消隐时段,使得曝光时段是LED 241的发光周期的整数倍与一个垂直消隐时段的和。
具体地,首先,PC 501确定刷新率,使得曝光时段是LED 241的发光周期的整数倍与一个垂直消隐时段的和。
在图40的示例中,PC 501确定刷新率使得曝光时间是发光周期的33倍与一个垂直消隐时段之和。结果,曝光时段中的扫描次数在所有行中为33次。例如,在从顶部起的第17行中,第一次发光的整个周期的部分周期621和最后一次发光的整个周期的部分周期622包括在曝光时段611中。周期621和周期622的总和是一次发光的整个周期。因此,由摄影机11再成像的所有行中的像素的亮度相同。结果,在由摄影机11再捕获的以帧为单位的视频中不出现具有低亮度的一行像素并且不出现黑带。
接下来,PC 501基于所确定的刷新率计算从一帧区段中的最后扫描的结束到下一帧的显示(发光)的开始的周期623,并且将周期623确定为垂直消隐周期,从而控制垂直消隐。
另一方面,虽然未示出,但是在垂直消隐时段不包括在曝光时段中的情况下,控制垂直消隐时段,使得曝光时段是LED 241的发光周期的整数倍,如在第二实施方式中。具体地,PC 401基于确定的刷新率控制垂直消隐,使得曝光时段是LED 241的发光周期的整数倍。
在再成像系统500中,包括在曝光时段中的垂直消隐时段的次数的最大值是2,但是该次数不限于2。即使在曝光时段中包括的垂直消隐时段的次数的最大值是两次或更多次的情况下,也可以通过执行与在两次的情况下相同的处理来防止发生黑色带。
在再成像系统400(500)中,曝光时间从摄影机11传输到PC 401(501),但是用户可操作PC 401(501)的输入单元以输入摄影机11的曝光时间,并且刷新率控制单元130(垂直消隐时段控制单元520)可获取曝光时间。
在再成像系统400(500)中,PC 401(501)控制刷新率和垂直消隐时段,但是摄像机11可以将曝光时间传输到视频墙控制器402(502)和视频墙403(503),并且视频墙控制器402(502)和视频墙403(503)的至少一部分可以用作刷新率控制单元130和垂直消隐时段控制单元420(520)。
在第一至第三实施方式中,PC 62(401、501)经由诸如同轴线缆的线与摄影机11交换信号,但是可以通过无线通信交换信号。类似地,PC 62(401,501)经由诸如LAN线缆的电线与视频墙控制器63(402,502)交换信号,但可通过无线通信交换信号。
上述一系列处理可以由硬件或软件执行。
再成像系统10(400、500)可以包括多个视频墙控制器63(402、502),并且每个视频墙控制器63(402、502)可以对视频墙12(403、503)进行分割和控制。在视频墙12(403、503)包括一个显示单元41(411、511)的情况下,可以不提供视频墙控制器63(402、502)。在这种情况下,从视频服务器61输出的以帧为单位的视频信号和从PC 62(401、501)输出的控制命令被直接输入到视频墙12(403、503)。
在本说明书中,系统意味着一组多个组件(装置、模块(部分)、处理等),并且所有组件是否在同一壳体中无关紧要。因此,容纳在单独的壳体中并且经由网络连接的多个装置中的任一个、多个模块容纳在一个壳体中的一个装置以及执行多个处理的处理单元是系统。
本技术的实施方式不限于上述实施方式,并且在不背离本技术的范围的情况下,可以做出各种修改。
例如,可以采用通过组合上述多个实施方式中的全部或一些所获得的模式。
例如,本技术可以被配置为云计算,其中,经由网络由多个装置共享一个功能以一起处理。
此外,上述流程图中描述的每个步骤可以由一个装置执行或者由多个装置共享和执行。
此外,在一个步骤中包括多个处理步骤的情况下,包括在一个步骤中的多个处理可以由一个装置执行或者由多个装置共享和执行。
注意,本说明书中描述的效果仅是示例并且不受限制,并且可以存在除本说明书中描述的那些效果之外的效果。
本技术可以具有以下配置。
(1)一种信息处理系统,包括:
控制单元,基于对显示部进行成像的成像单元的曝光时间来控制显示部上显示的视频的垂直消隐时段。
(2)根据项(1)所述的信息处理系统,
其中,控制单元被配置为基于曝光时间删除视频的两个相邻帧之一的第一帧的垂直消隐时段。
(3)根据项(2)所述的信息处理系统,
其中,控制单元被配置为通过将作为第一帧的下一帧的第二帧的显示开始时间进行提前来删除第一帧的垂直消隐时段。
(4)根据项(3)所述的信息处理系统,
其中,控制单元被配置为将第二帧的垂直消隐时段延长了第一帧的垂直消隐时段。
(5)根据项(3)或(4)所述的信息处理系统,
其中,控制单元被配置为使得通过基于曝光时间改变视频的所有帧的显示开始时间将第二帧的垂直消隐时段包括在成像单元的所有行的曝光时段中。
(6)根据项(5)所述的信息处理系统,
其中,控制单元被配置为使得基于曝光时间和成像单元的帘幕速度,第二帧的垂直消隐时段包括在成像单元的所有行的曝光时段中。
(7)根据项(6)所述的信息处理系统,
其中,控制单元被配置为基于曝光时间和成像单元的帘幕速度将当前模式设置为第一模式或第二模式,在第一模式中,第二帧的垂直消隐时段不包括在成像单元的所有行的曝光时段中,在第二模式中,第二帧的垂直消隐时段包括在成像单元的所有行的曝光时段中。
(8)根据项(7)所述的信息处理系统,
其中,在当前模式被设置为第二模式的情况下,控制单元被配置为使得第二帧的垂直消隐时段包括在成像单元的所有行的曝光时段中。
(9)根据项(1)所述的信息处理系统,
其中,控制单元被配置为控制垂直消隐时段,使得曝光时间是显示部的发光周期的整数倍。
(10)根据项(9)所述的信息处理系统,
其中,在垂直消隐时段不包括在成像单元的曝光时段中的情况下,控制单元被配置为控制垂直消隐时段,使得曝光时间是显示部的发光周期的整数倍。
(11)根据项(10)所述的信息处理系统,
其中,在垂直消隐时段不包括在曝光时段中的情况下,控制单元被配置为确定显示部的刷新率,使得曝光时间是显示部的发光周期的整数倍,并且基于刷新率控制垂直消隐时段。
(12)根据项(9)或(10)所述的信息处理系统,
其中,在垂直消隐时段包括在成像单元的曝光时段中的情况下,控制单元被配置为控制垂直消隐时段,使得曝光时间是显示部的发光周期的整数倍和垂直消隐时段的和。
(13)根据项(12)所述的信息处理系统,
其中,在垂直消隐时段包括在曝光时段中的情况下,控制单元被配置为确定刷新率,使得曝光时间是显示部的发光周期的整数倍和垂直消隐时段的和,并且基于刷新率控制垂直消隐时段。
(14)根据项(1)至(13)中任一项所述的信息处理系统,还包括:
获取单元,获取曝光时间。
(15)根据项(1)至(14)中任一项所述的信息处理系统,还包括:
输入单元,获得用于在包括多个显示单元的显示部上显示的视频信号;
分割单元,将视频信号分割为用于在显示部的各个显示单元上显示的视频信号;以及
输出单元,将用于控制垂直消隐时段和分割的视频信号的控制信号输出到显示单元,
其中,控制单元被配置为通过生成控制信号来控制垂直消隐时段。
(16)根据项(15)所述的信息处理系统,
其中,控制单元设置在第一装置上,
输入单元、分割单元和输出单元设置在不同于第一装置的第二装置上,并且
控制单元将控制信号输出至第二装置。
(17)根据项(15)所述的信息处理系统,
其中,控制单元、输入单元、分割单元和输出单元设置在同一装置上。
(18)根据项(1)至(17)中任一项所述的信息处理系统,还包括:
显示部被配置为根据由控制单元对垂直消隐时段的控制来驱动。
(19)根据项(1)至(18)中任一项所述的信息处理系统,
其中,显示部以无源矩阵驱动方式发射光,并且
成像单元通过卷帘快门方式执行成像。
(20)一种信息处理方法,包括控制步骤:
通过信息处理系统,
基于对显示部进行成像的成像单元的曝光时间来控制显示在显示部上的视频的垂直消隐时段。
参考符号列表
11 摄像机
131 获取单元
152HDMI端子
153 DP端子
154 DVI端子
160 分配单元
161-1至161-n信号输出IF
400再成像系统
401PC
402 视频墙控制器
403 视频墙
411 显示单元
422 控制单元
500 再成像系统
501PC
502 视频墙控制器
503 视频墙
511 显示单元
521 获取单元
522 控制单元。
Claims (20)
1.一种信息处理系统,包括:
控制单元,基于对显示部进行成像的成像单元的曝光时间来控制所述显示部上显示的视频的垂直消隐时段。
2.根据权利要求1所述的信息处理系统,
其中,所述控制单元被配置为基于所述曝光时间删除所述视频的两个相邻帧之一的第一帧的垂直消隐时段。
3.根据权利要求2所述的信息处理系统,
其中,所述控制单元被配置为通过将作为所述第一帧的下一帧的第二帧的显示开始时间进行提前来删除所述第一帧的所述垂直消隐时段。
4.根据权利要求3所述的信息处理系统,
其中,所述控制单元被配置为将所述第二帧的垂直消隐时段延长了所述第一帧的垂直消隐时段。
5.根据权利要求3所述的信息处理系统,
其中,所述控制单元被配置为使得通过基于所述曝光时间改变所述视频的所有帧的显示开始时间将所述第二帧的所述垂直消隐时段包括在所述成像单元的所有行的曝光时段中。
6.根据权利要求5所述的信息处理系统,
其中,所述控制单元被配置为使得基于所述曝光时间和所述成像单元的帘幕速度,所述第二帧的所述垂直消隐时段包括在所述成像单元的所有行的曝光时段中。
7.根据权利要求6所述的信息处理系统,
其中,所述控制单元被配置为基于所述曝光时间和所述成像单元的帘幕速度将当前模式设置为第一模式或第二模式,在所述第一模式中,所述第二帧的所述垂直消隐时段不包括在所述成像单元的所有行的曝光时段中,在所述第二模式中,所述第二帧的所述垂直消隐时段包括在所述成像单元的所有行的曝光时段中。
8.根据权利要求7所述的信息处理系统,
其中,在当前模式被设置为所述第二模式的情况下,所述控制单元被配置为使得所述第二帧的所述垂直消隐时段包括在所述成像单元的所有行的曝光时段中。
9.根据权利要求1所述的信息处理系统,
其中,所述控制单元被配置为控制所述垂直消隐时段,使得所述曝光时间是所述显示部的发光周期的整数倍。
10.根据权利要求9所述的信息处理系统,
其中,在所述垂直消隐时段不包括在所述成像单元的曝光时段中的情况下,所述控制单元被配置为控制所述垂直消隐时段,使得所述曝光时间是所述显示部的发光周期的整数倍。
11.根据权利要求10所述的信息处理系统,
其中,在所述垂直消隐时段不包括在所述曝光时段中的情况下,所述控制单元被配置为确定所述显示部的刷新率,使得所述曝光时间是所述显示部的发光周期的整数倍,并且基于所述刷新率控制所述垂直消隐时段。
12.根据权利要求9所述的信息处理系统,
其中,在所述垂直消隐时段包括在所述成像单元的所述曝光时段中的情况下,所述控制单元被配置为控制所述垂直消隐时段,使得所述曝光时间是所述显示部的发光周期的整数倍和所述垂直消隐时段的和。
13.根据权利要求12所述的信息处理系统,
其中,在所述垂直消隐时段包括在所述曝光时段中的情况下,所述控制单元被配置为确定刷新率,使得所述曝光时间是所述显示部的发光周期的整数倍和所述垂直消隐时段的和,并且基于所述刷新率控制所述垂直消隐时段。
14.根据权利要求1所述的信息处理系统,还包括:
获取单元,获取所述曝光时间。
15.根据权利要求1所述的信息处理系统,还包括:
输入单元,获得用于在包括多个显示单元的显示部上显示的视频信号;
分割单元,将所述视频信号分割为用于在所述显示部的各个显示单元上显示的视频信号;以及
输出单元,将用于控制垂直消隐时段和分割的视频信号的控制信号输出到显示单元,
其中,所述控制单元被配置为通过生成所述控制信号来控制所述垂直消隐时段。
16.根据权利要求15所述的信息处理系统,
其中,所述控制单元设置在第一装置上,
所述输入单元、所述分割单元和所述输出单元设置在不同于所述第一装置的第二装置上,并且
所述控制单元将所述控制信号输出至所述第二装置。
17.根据权利要求15所述的信息处理系统,
其中,所述控制单元、所述输入单元、所述分割单元和所述输出单元设置在同一装置上。
18.根据权利要求1所述的信息处理系统,还包括:
所述显示部被配置为根据由所述控制单元对所述垂直消隐时段的控制来驱动。
19.根据权利要求1所述的信息处理系统,
其中,所述显示部以无源矩阵驱动方式发射光,并且
所述成像单元通过卷帘快门方式执行成像。
20.一种信息处理方法,包括控制步骤:
通过信息处理系统,
基于对显示部进行成像的成像单元的曝光时间来控制显示在所述显示部上的视频的垂直消隐时段。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021163394 | 2021-10-04 | ||
JP2021-163394 | 2021-10-04 | ||
PCT/JP2022/035333 WO2023058465A1 (ja) | 2021-10-04 | 2022-09-22 | 情報処理システムおよび情報処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118043877A true CN118043877A (zh) | 2024-05-14 |
Family
ID=85804193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280066068.2A Pending CN118043877A (zh) | 2021-10-04 | 2022-09-22 | 信息处理系统和信息处理方法 |
Country Status (7)
Country | Link |
---|---|
EP (1) | EP4414974A1 (zh) |
JP (1) | JPWO2023058465A1 (zh) |
KR (1) | KR20240073868A (zh) |
CN (1) | CN118043877A (zh) |
CA (1) | CA3230091A1 (zh) |
TW (1) | TW202319825A (zh) |
WO (1) | WO2023058465A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11184445A (ja) * | 1997-12-24 | 1999-07-09 | Hitachi Ltd | ディスプレイ装置の表示画像撮像方法及び画像表示性能検査方法とその装置 |
JP6602162B2 (ja) * | 2015-10-30 | 2019-11-06 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US11328655B2 (en) | 2017-03-06 | 2022-05-10 | Sony Semiconductor Solutions Corporation | Drive device and display apparatus |
JP2019134206A (ja) * | 2018-01-29 | 2019-08-08 | キヤノン株式会社 | 投影装置および投影装置の制御方法 |
CN112565620A (zh) * | 2020-11-26 | 2021-03-26 | 京东方科技集团股份有限公司 | 显示屏幕的光学补偿方法、装置、存储介质及电子设备 |
-
2022
- 2022-09-08 TW TW111134054A patent/TW202319825A/zh unknown
- 2022-09-22 CN CN202280066068.2A patent/CN118043877A/zh active Pending
- 2022-09-22 CA CA3230091A patent/CA3230091A1/en active Pending
- 2022-09-22 JP JP2023552794A patent/JPWO2023058465A1/ja active Pending
- 2022-09-22 WO PCT/JP2022/035333 patent/WO2023058465A1/ja active Application Filing
- 2022-09-22 KR KR1020247009183A patent/KR20240073868A/ko unknown
- 2022-09-22 EP EP22878336.1A patent/EP4414974A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CA3230091A1 (en) | 2023-04-13 |
TW202319825A (zh) | 2023-05-16 |
KR20240073868A (ko) | 2024-05-27 |
WO2023058465A1 (ja) | 2023-04-13 |
EP4414974A1 (en) | 2024-08-14 |
JPWO2023058465A1 (zh) | 2023-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10542227B2 (en) | Image sensor, control method of image sensor, and imaging apparatus | |
US11722784B2 (en) | Imaging device that generates multiple-exposure image data | |
KR102278509B1 (ko) | 광 부족 환경에서 연속된 비디오 | |
CN107113391B (zh) | 信息处理装置和方法 | |
US9460664B2 (en) | Display apparatus with compensation for brightness-insufficient light source, and control method therefor | |
US20140078358A1 (en) | Solid-state imaging apparatus and driving method of solid-state imaging apparatus | |
US20130147860A1 (en) | Display system and computer-readable medium | |
JP5539297B2 (ja) | 表示システム、較正方法、コンピュータプログラム、及び記録媒体 | |
US7821571B2 (en) | Solid-state imaging device, method of driving solid-state imaging device, and imaging apparatus | |
JP2005136868A (ja) | 撮像装置および撮像方法、画像処理装置および画像処理方法、画像表示システム、記録媒体、並びにプログラム | |
US9019189B2 (en) | Image display device and driving method thereof that varies driving frequency according to frequency of data received | |
CN107911677B (zh) | 投影方法及设备 | |
CN114514572A (zh) | 在dict应用gsp的4路双扫描控制电子显示屏 | |
WO2016024393A1 (ja) | 撮像表示装置 | |
CN118043877A (zh) | 信息处理系统和信息处理方法 | |
WO2023047641A1 (ja) | 情報処理システムおよび情報処理方法 | |
JP2009135792A (ja) | 撮像装置および画像信号処理方法 | |
EP4443862A1 (en) | Information processing system and information processing method | |
US20240203322A1 (en) | Drive Control Device, Drive Control Method, Information Processing System, And Information Processing Method For Information Processing System | |
US11967608B1 (en) | Pixel integrate scanning (PIS) distributed type automatic power-saving electronic display board | |
JP6645047B2 (ja) | 撮像装置、画像処理装置、及び、撮像表示装置 | |
JP2020170985A (ja) | 撮像装置およびその制御方法 | |
WO2024053373A1 (ja) | 表示制御装置および表示装置 | |
JP2004266808A (ja) | 画像処理装置および画像処理方法、画像表示システム、記録媒体、並びにプログラム | |
KR102592736B1 (ko) | 통합보드 컨트롤 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |