CN104823233A - 车辆用影像处理装置以及车辆用影像处理系统 - Google Patents
车辆用影像处理装置以及车辆用影像处理系统 Download PDFInfo
- Publication number
- CN104823233A CN104823233A CN201380062582.XA CN201380062582A CN104823233A CN 104823233 A CN104823233 A CN 104823233A CN 201380062582 A CN201380062582 A CN 201380062582A CN 104823233 A CN104823233 A CN 104823233A
- Authority
- CN
- China
- Prior art keywords
- signal
- mentioned
- video signal
- bit width
- clock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 55
- 238000003780 insertion Methods 0.000 claims description 19
- 230000037431 insertion Effects 0.000 claims description 19
- 230000008901 benefit Effects 0.000 claims description 16
- 239000003381 stabilizer Substances 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 2
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 abstract description 4
- 238000006243 chemical reaction Methods 0.000 description 28
- 239000013078 crystal Substances 0.000 description 6
- 230000003534 oscillatory effect Effects 0.000 description 6
- 239000000758 substrate Substances 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241001062009 Indigofera Species 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 241001535291 Analges Species 0.000 description 1
- 238000012356 Product development Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3406—Control of illumination source
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/006—Details of the interface to the display terminal
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/006—Details of the interface to the display terminal
- G09G5/008—Clock recovery
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/363—Graphics controllers
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/391—Resolution modifying circuits, e.g. variable screen formats
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0442—Handling or displaying different aspect ratios, or changing the aspect ratio
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/06—Colour space transformation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/20—Details of the management of multiple sources of image data
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Controls And Circuits For Display Device (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
车辆用影像处理装置(11)具备时钟输出部(36)和输出部(34)。从外部影像设备(10、13)输出并具有规定的影像格式和第1比特宽度的影像信号与影像信号所附带的第1时钟信号一起从影像信号接收部(8、9)并被输入到车辆用影像处理装置。时钟输出部输出具有通过预先设定的倍乘数对第1时钟信号的频率进行倍乘后的频率的第2时钟信号。输出部根据倍乘数将具有第1比特宽度的影像信号转换成具有比第1比特宽度少的第2比特宽度的影像信号,将具有第2比特宽度的影像信号与第2时钟信号一起输出。根据上述装置,即使在将不适合于将外部影像设备的影像信号直接输入那样的格式的影像信号向输出侧的装置输入的情况下,也能够适当地对影像信号进行图像处理。
Description
关联申请的相互参照
本公开是基于2012年11月30日申请的日本申请号2012-262547号的申请,并在此引用其记载内容。
技术领域
本公开涉及接受多个影像输入并进行处理的车辆用影像处理装置,并使用该处理装置处理影像的车辆用影像处理系统。
背景技术
近年,伴随数字技术的发达,影像处理技术也正在发展。这种影像处理装置的技术例如被专利文献1公开。在该专利文献1中,公开了具备DVD播放器、TV监视系统的系统。在TV监视系统侧,在从DVD播放器接收TVSystem作为数据时,与现在的TVSystem比较判断,在不同的情况下,将基于新的切换后的方式的控制内容输出至包括复合RGB转换IC以及定时控制器的各IC。
根据该方式,由于能够以Local Area Network(LAN)线路来将在DVD播放器侧得到的称为National Television System Committee(NTSC)或者Phase Alternating Line(PAL)的记录方式的信息传递到TV监视系统侧,所以,在TV监视系统侧能够按照该记录方式切换影像处理电路等。因此,能够以最佳的定时进行自动切换,无需手动切换。
可是,车辆用影像处理系统在外部连接有例如导航装置、AV(AudioVisual)板、外部摄像用摄像机等外部设备,输入从这些装置发送的影像信号并进行处理。该系统需要在与这样的多个影像输入系统对应方面下工夫。
另一方面,在开发车辆用设备时,使用以往定制构建后的装置来进行产品开发。但是,伴随近年的便携信息终端、智能手机等多媒体技术的发展,使用与这些各种系统亲和性高的主CPU是所希望的。这样的主CPU市场流通性以及通用性高,而且各种的周边电路、程序等开发成本也廉价。
相反地,这样的主CPU由于定制性低,所以在使用时产生各式各样的制约。特别是在主CPU的输入系统为较少数量,例如单信道,被设定成比例如18比特的影像系统的输入比特宽度(第1比特宽度)少,例如8比特(第2比特宽度)的情况下,产生各式各样的制约,所以,难以使用既存的技术进行影像处理。
现有技术文献
专利文献
专利文献1:日本特开2001-359052号公报
发明内容
本公开是鉴于上述点而得的,提供一种即使在将不适合于将外部影像设备的影像信号直接输入那样的比特宽度(bit width,也称为“位宽”)的影像格式的影像信号向输出侧的装置输入的情况,也能够适当地对该影像格式的影像信号进行图像处理的车辆用影像处理装置,以及使用了该处理装置的车辆用影像处理系统。
本公开的第1方式的车辆用影像处理装置具备时钟输出部和输出部。从外部影像设备输出并具有规定的影像格式和第1比特宽度的影像信号与影像信号所附带的第1时钟信号一起从影像信号接收部通过并被输入到车辆用影像处理装置。时钟输出部输出具有通过预先设定的倍乘数对第1时钟信号的频率进行倍乘后的频率的第2时钟信号。输出部根据倍乘数将具有第1比特宽度的影像信号转换成具有比第1比特宽度少的第2比特宽度的影像信号,并将具有第2比特宽度的影像信号与第2时钟信号一起输出。
根据上述装置,即使在将不适合于将外部影像设备的影像信号直接输入那样的比特宽度的影像格式的影像信号向输出侧的装置输入的情况下,也能够适当地对该影像格式的影像信号进行图像处理。
本公开的第2方式的车辆用影像处理系统具备第1方式的车辆用影像处理装置、影像信号接收部、以及主中央处理装置。影像信号接收部与车辆用影像处理装置连接,该影像信号接收部从外部影像设备接收影像信号,转换影像信号以具有规定的影像格式和第1比特宽度,并向车辆用影像处理装置输出。主中央处理装置接收从车辆用影像处理装置的输出的具有第2比特宽度的影像信号。
根据上述系统,即使在将不适合于将外部影像设备的影像信号直接输入那样的比特宽度的影像格式的影像信号向输出侧的装置输入的情况下,也能够适当地对该影像格式的影像信号进行图像处理。
附图说明
关于本公开的上述目的以及其他目的、特征、或优点,参照所附的附图并通过下述详细的记述,变得更加明确。该附图是:
图1是示意地表示本公开的一实施方式涉及的影像处理用ApplicationSpecific Integrated Circuit(ASIC)的电气结构的框图。
图2是示意地表示本公开的一实施方式涉及的车辆用影像处理系统的电气结构的框图。
图3是表示转换前的导航装置的影像输出格式的图。
图4是表示由零插入部进行零插入后的影像信号的图。
图5是表示倍乘数与格式转换部的输出格式的对应关系(其1)的图。
图6是表示倍乘数与格式转换部的输出格式的对应关系(其2)的图。
图7是表示对影像处理用ASIC的其他的使用方法进行表示的主要部分的电气结构的框图。
具体实施方式
以下,参照附图,对将本公开应用于在车辆上搭载的车辆用装置的一实施方式进行说明。
(第1实施方式)
如图2所示,车辆用装置(IN-V DEVICE)1构成为能够搭载于车辆(没有图示),并通过组装有数字基板(DIGT BD)2以及电源基板(PWSC BD)3而构成。该车辆用装置1可以是固定地安装于车辆的装置,也可以是以能够装卸的状态进行安装的装置。数字基板2和电源基板3通过布线被电连接,能够进行在各基板2、3上搭载的电气元件间的电力以及数据传输。
在以下的说明中,主要进行影像处理系统的信号处理电路的说明,省略音声处理系统的信号处理电路的说明。在数字基板2装配有主中央处理装置(CPU)4、与该主CPU4成对所使用的Power Management Integrated Circuit(PMIC)5、Clock Generate Integrated Circuit(CGIC)6、以及存储器(MEMORY)7等。另外,在该数字基板2装配有用于接收各种影像系统的影像信号的多个接收机(RECV)8、9、作为车辆用影像处理装置的一个例子的影像处理用ASIC(VD PROCESS ASIC)11、I/O部(I/O)12、以及USB集线器(USB HUB)14等。
主CPU4是以例如1GHz~2GHz的范围的动作频率进行动作的1核或者2核类型的通用CPU,内置有二级缓存。该主CPU4一般被市售,市场流通性以及通用性都高。存储器7作为所谓主记忆装置被使用。主CPU4通过执行动作程序来进行与影像处理相关的控制。
接收机8从与外部连接的导航装置(NAVI)10输入单信道(系统)的影像信号。此时,在导航装置10通过Low Voltage Differential Signaling(LVDS)向接收机8输出LVDS的影像信号时,接收机8将该LVDS信号并行转换成Digital RGB(DRGB)格式(RGB666)的影像信号,将该转换信号输出至影像处理用ASIC11。
另外,省略该接收机8构成为能够根据来自外部的切换信号(例如,主CPU4的切换信号)将转换成YUV格式的影像信号后的转换信号输出到影像处理用ASIC11的详细内容。接收机8以RGB666格式向影像处理用ASIC11输出,在影像处理用ASIC11选择单信道并向I/O部12输出时,将该影像格式转换成RGB565并使部分信息缺失。
能够确认的是,对于导航装置10的影像信号,即使考虑到该数据缺失,但DRGB格式与YUV格式相比影像劣化少。因此,该接收机8设定成向影像处理用ASIC11输出DRGB格式的影像信号。
另一方面,接收机9在通过LVDS从与外部连接的Audio Visual板(AVBD)13输入双信道的影像信号输入时,对该LVDS信号进行并行转换并输出至影像处理用ASIC11。AV板13是输出例如Blu-ray Disc(注册商标)规格的影像信号的装置,在将该影像信号输出至接收机9时,接收机9并行转换成YUV422格式的影像信号,并将该转换信号输出至影像处理用ASIC11。
作为本实施方式的车辆用影像处理装置的一个例子,影像处理用ASIC11在从多个接收机8、9接受影像信号时,对上述的多个信道(系统)的影像信号进行切换并输出到I/O部12,但其详细内容在后叙述。另外,USB集线器14从与外部连接的外部连接设备(EXT DEVICE)15输出影像信号,并输出至I/O部12。
I/O部12从影像处理用ASIC11、USB集线器14等接受信号并进行输入输出控制,并且根据从主CPU4发送的命令信号,通过LVDS向发送机(TRAN)16输出影像信号。发送机16通过LVDS将该影像信号输出至与外部连接的第2显示部(2ND DISP)17,显示部17进行显示处理。
I/O部12和主CPU4通过Peripheral Component Interconnect(PCI)Express×16总线被连接。主CPU4从影像处理用ASIC11通过I/O部12输入影像信号。另外,主CPU4能够使用该总线并通过Serial Digital Video Out(SDVO)将多个信道的影像信号从主CPU4输出至I/O部12。
主CPU4将DRGB格式的描绘数据输出至解码器(DECODER)18。解码器18的处理内容在后叙述。I/O部12与在电源基板3装配的触摸面板单元(TOUCH PANEL)19电连接,将触摸信号向其他的硬件元件(主CPU4)输入输出。
另一方面,在电源基板3装配有用于输入从车载电池(没有图示)供给的电源电压的电源供给部(PW SC SUPPLY)20。该电源供给部20根据由用户引起的ACC开关(没有图示)的操作,将电源供给到数字基板2、电源基板3内的各电气元件来作为动作电源。在电源基板3中,其它除上述的解码器18以及触摸面板单元19之外,还装配有副微机(SUB MICON)21、闪存(FLASH)22、Light Emitting Diode驱动(LED DRV)23、以及Liquid Crystal Display单元(LCD UNIT)24。LCD单元24相当于第1显示部(1ST DISP)。
副微机21是所谓单片微机,并且将NOR型的闪存22外置并动作。该副微机21主要进行基于Vehicle Controller Area Network(V-CAN),Multimedia Controller Area Network(M-CAN)的车辆内网络的通信连接,或控制用于对LCD单元24内的背光LED(BK LIGHT LED)25进行驱动的LED驱动23。LED驱动23对LCD单元24内的背光LED25进行点灯驱动。LCD单元24具备背光LED25、LCD控制电路(LCD CONT CIRC)26、以及液晶屏(LCD SCREEN)27。LCD控制电路26对液晶屏27进行显示控制。
解码器18输入基于外部的后视摄像机(REAR CAM)28、侧景摄像机(SIDEVW CAM)29、模拟影像输出设备(ANALG VD OUTPUTDEVICE)30的影像信号。另外,解码器18将上述的模拟影像信号转换成DRGB,根据主CPU4或者副微机21的控制信号,将上述的来自主CPU4的DRGB的描绘数据、以及摄像机等28~30的DRGB格式的影像信号有选择地输出至LCD单元24。另外,解码器18对从主CPU4发送的DRGB格式的描绘数据进行RGB-YUV转换,以YUV422格式向影像处理用ASIC11输出。
图1表示影像处理用ASIC的内部框图。该ASIC11具备所谓选择器功能,所以,具备输入开关部(IN SW)31、零插入部(ZERO INSERT)32、First In First Out缓冲区(FIFO BUF)33、格式转换部(CONVERT)34、倍乘部(MULTIPLY)35、以及时钟开关(CK SW)36。
零插入部32是在第3信道(3RD CH)输入信号的18比特的各低位2比特插入0,并作为24比特输出至输入开关部31的块,该零插入部32将RGB666格式转换成RGB888格式并进行时钟同步输出。
输入开关部31根据来自主CPU4的选择信号VSEL,对第1信道(1STCH)的24比特输入、第2信道(2ND CH)的24比特输入、零插入部32的24比特输出的各信道进行切换,向FIFO缓冲区33输出。即,在输入开关部31的输入中,格式一致成为24比特。
FIFO缓冲区33是对输入的多个24比特的影像信号进行中间转换并进行影像信号的读写定时调整的装置。在该FIFO缓冲区33,考虑输入输出时钟的定时偏差(倍乘部35、时钟开关36的处理延迟)、时钟抖动(clock jitter)的影响来设定缓冲区容量,例如设定32字量。倍乘部35根据选择信号XSEL将同步用的时钟信号(第1时钟信号)乘以×1~×4倍(×1,×1.5,×2,×3,×4)的时钟信号(第2时钟信号),并向时钟开关36输出。
另外,在影像处理用ASIC11内设有变换器G1,该变换器G1与外置的晶体振荡器37、电容器C1、C2等共同构成振荡电路38。由此,ASIC11变得能够输入不受其他元件的抖动的影响的高性能的时钟信号。该振荡电路38是使用以规定频率振动的晶体振荡器37来输出时钟信号的电路,并且被使用于在第1~第3信道之中选择信道的影像信号所附带的时钟信号的抖动严重的情况。振荡电路38将生成的时钟信号输出到时钟开关36。
时钟开关36根据来自主CPU4的选择信号XSEL,对使用倍乘部35的输出时钟信号,还是使用振荡电路38的生成时钟信号进行选择,将被选择的时钟信号输出到格式转换部34。
该格式转换部34成为对存储于FIFO缓冲区33的影像信号进行格式转换的块。在输入开关部31对某信道的DRGB格式的影像信号进行切换输出时,格式转换部34根据选择信号XSEL进行输出格式的转换。例如,在输入为DRGB格式的输入时,将DRGB格式原样地输出,或者使该DRGB格式缺失部分并输出,进行RGB-YUV转换,转换输出成YUV格式。即使RAW图像,ASIC11变得也能够输出。ASIC11能够与3信道的影像信号的任意对应,通过RGB格式、YUV格式等输出影像信号。
对上述构成的影像处理用ASIC11的动作进行说明。
接收机8通过18比特的LVDS从导航装置10接收RGB信号。该LVDS信号被并行转换,并被给予到ASIC11的第3信道的输入中。ASIC11的零插入部32向RGB666(18比特)的各低位2比特插入0来作为RGB888(24比特),向输入开关部31进行时钟同步输出。ASIC11的第1、第2信道能够进行24比特输入,影像信号以上述的格式从接收机9、解码器18被输入。第1~第3信道的影像信号全部以24比特的格式向ASIC11输入。输入开关部31根据来自主CPU4的选择信号VSEL,进行信道选择,将任一信道的影像信号输出至FIFO缓冲区33。
FIFO缓冲区33存储数据。另一方面,还同时将时钟信号从输入开关部31的选择信道输入到FIFO缓冲区33中。倍乘部35能够以1倍~4倍之中的每阶段0.5倍来调整该倍乘数,但能够根据来自主CPU4的选择信号XSEL切换倍乘数。倍乘部35将输出至FIFO缓冲区33与被设定的该倍乘数相乘。该倍乘数根据格式转换部34输出的格式被预先设定。
时钟开关36根据来自主CPU4的选择信号XSEL,对将内部的倍乘时钟作为时钟信号来使用,还是将使用了外部的晶体振荡器37的时钟信号作为倍乘后的频率的时钟信号来使用进行选择,并向格式转换部34输出。
设成能够选择时钟信号的理由是由于考虑到从前级的接收机8、9、解码器18发送的时钟信号所带有的抖动的影响,该时钟抖动的影响少时,即使原样地使用内部的倍乘时钟也可以,但是在抖动的影响大的情况下,使用外部的晶体振荡器37来生成倍乘后的频率的时钟信号并使用的方式较好。由此,能够考虑构成系统的芯片的性能并灵活地对应。
格式转换部34将输入开关部31的24比特输出与时钟信号同步并输入,但是,通过4种模式进行格式转换,该4种模式为:(1)使24比特输入通过并输出,(2)将24比特输入之中被设定的8比特×2与时钟信号×2的频率的时钟信号同步并输出,(3)将24比特之中预先设定的8比特×3与时钟信号×3的频率的时钟信号同步并输出,(4)将24比特之中预先设定的16比特×1.5与时钟信号×1.5的频率的时钟信号同步并输出。
图3是转换前的导航装置的影像输出格式,图4是由零插入部进行零插入后的影像信号,图5~图6表示倍乘数与格式转换部的输出格式的对应关系。例如,如图3所示,将以18比特将RGB666的输入从导航装置10进行输入的情况作为例子进行列举并说明。如图4所示,零插入部32向RGB666的输入的低位(R1、R0、G1、G0、B1、B0)附加零而设成24比特。这样一来,在输入开关部31以后的块中,能够全部以24比特进行内部处理,变得容易进行内部处理。
之后,在(1)的模式的情况下,格式转换部34原样地输出24比特。在(2)的模式的情况下,如图5所示,格式转换部34根据在倍乘部35被乘以2倍后的时钟信号的最初的时钟,输出G4~G2、B7~B3的信号,根据其后一个的时钟,输出R7~R3、G7~G5的信号。
由此,格式转换部34能够通过基于R7~R3(转换前R5~R1)、G7~G2(转换前G5~G0)、B7~B3(转换前B5~B1)的RGB565的格式来进行转换输出。此时,格式转换部34转换成了RGB565格式,因此与最初的18比特影像输入进行比较时,红(R)的低位1比特、蓝(B)的低位1比特的信息缺失,但是能够确认在导航装置10的影像特性上看起来没有变差。
例如,该车辆用装置1在接收导航装置10的影像信号时,通过在液晶屏27上反复显示静态图像,来显示自己位置的周边地图、到目的地的路线。可确认在使用YUV作为导航装置10的输出影像格式时,能容易地观察到静态图像的粗糙度。因此,该车辆用装置1使用DRGB565的格式使导航装置10的输出影像显示到液晶屏27。这样,变得极力地不损伤导航装置10的输出影像的外观。
另外,在(3)的模式的情况下,如图6所示,倍乘部35对时钟信号乘以3倍,根据该倍乘时钟信号的最初的时钟,输出8比特红(R),根据后一个的时钟,输出8比特绿(G),根据再后一个的时钟,输出8比特蓝(B)。
另外,ASIC11在以YUV422的影像格式从AV板13、解码器18输入影像信号时,使该影像格式的影像信号保持不变或者波形整形并向I/O部12输出。
由此,ASIC11能够与主CPU4的输入比特宽度相匹配并适当变更而输出。例如,在主CPU4只接受8比特宽度输入时,ASIC11进行8比特输出,在主CPU4接受16比特宽度输入时,ASIC11能够进行16比特输出。即,能够根据主CPU4的种类灵活地对应。
<其他系统中的影像处理用ASIC11的使用方法>
图7表示其他使用方法的说明。如该图7所示,主CPU(MAIN CPU)39与影像处理用ASIC(VD PROCESS ASIC)11的前级连接而构成。主CPU39具备与主CPU4相同的功能,能够输出24比特的影像信号。
即,在该系统中,主CPU39连接存储器(MEMORY)40而构成,主CPU39输出24比特该RGB888的影像信号,ASIC11接受该24比特影像输出,使用外置的振荡电路(OSC CIRC)38,对时钟信号进行波形整形,并将影像信号与该时钟信号向发送机(TRAN)41输出。并且,发送机41通过LVDS向显示器(DISPLAY)42进行影像输出,显示器42进行显示处理。
在该系统中,ASIC11的第2信道输入以及第3信道输入被无效。影像处理用ASIC11构成为消除时钟抖动并将影像信号向发送机41输出,该影像处理用ASIC11具备时钟的波形整形功能。即使在这样的情况下,也能够使用影像处理用ASIC11而灵活地构建系统。
在本实施方式中,影像处理用ASIC11能够从导航装置10通过接收机8输入RGB666的18比特(相当于第1比特宽度)的影像信号,将该18比特的影像信号转换成RGB565的8比特(相当于第2比特宽度:8的倍数)×2的影像格式,与乘以2倍后的时钟信号一起输出。另外,ASIC11能够转换成RGB888的8比特×3的影像格式并与乘以3倍后的时钟信号一起输出。因此,即使在主CPU4不原样地接受RGB666的影像格式的影像信号的情况下,也能够适当地对该RGB666的影像信号进行图像处理,并向主CPU4输出。影像处理用ASIC11在将RGB666设成RGB565的影像格式的影像信号时,使低位比特缺失,因此,能够极力地抑制影像劣化。
在ASIC11内,零插入部32与多个格式的影像信号之中的最大比特数的影像信号相匹配地将零插入到低位比特,因此变得容易进行内部处理。并且,输入开关部31对与最大比特数(24比特)的影像信号相匹配的多个影像格式的影像信号进行切换并输出,因此,能够通过选择24比特的选择器功能而构成,由此,能够简单地构成输入开关部31。能够接受任意比特宽度的多个影像格式的影像信号并将其选择输出,能够进行灵活的对应。
时钟开关36能够输出使用了晶体振荡器37的振荡电路38的时钟信号,因此,即使例如从接收机8、9输入的时钟信号的抖动严重,也能够排除该抖动的影响。
另外,例如通用的主CPU4的输入影像格式的规格即使被限制,ASIC11也能够切换影像格式并输出,因此,能够灵活地对应。
在上述实施方式中,表示了ASIC11以YUV422的影像格式从AV板13、解码器18输入影像信号,使该影像信号通过并向I/O部12输出的例子,但是,影像处理用ASIC11能够输入24比特的影像信号,因此,能够接受YUV444的影像格式、RGB444、RGB888等各种的影像格式(色彩空间)的影像信号,并与主CPU4的输入比特宽度相匹配地输出。
即使使用上述那样的通用的主CPU4、以往以来在车辆控制用途中所使用的定制的主CPU,也能够通过使用ASIC11,灵活地构建适合于各种各样的影像格式的系统,能够对应各种各样的系统。
在本实施方式中,接收机8、9相当于影像信号接收部,导航装置10相当于外部影像设备,影像处理用ASIC11相当于车辆用影像处理装置,AV板13相当于外部影像设备,格式转换部34相当于输出部,时钟开关36相当于时钟输出部,晶体振荡器37相当于时钟稳定电路。
上述的公开包括以下的方式。
本公开的一方式的车辆用影像处理装置11具备时钟输出部36和输出部34。从外部影像设备10、13输出并具有规定的影像格式和第1比特宽度的影像信号与影像信号所附带的第1时钟信号一起从影像信号接收部8、9通过,并且被输入到车辆用影像处理装置11。时钟输出部36输出具有通过预先设定的倍乘数对第1时钟信号的频率进行倍乘后的频率的第2时钟信号。输出部34根据倍乘数将具有第1比特宽度的影像信号转换成具有比第1比特宽度少的第2比特宽度的影像信号,并将具有第2比特宽度的影像信号与第2时钟信号一起输出。
根据上述构成,即使在不适合于将外部影像设备的影像信号直接输入那样的比特宽度的影像格式的影像信号向输出侧的装置输入的情况下,由于根据预先设定的倍乘数,格式转换成具有第2比特宽度的影像信号,因此,能够适当地对该影像格式的影像信号进行图像处理,并使其向输出侧的装置输入。
进而,输出部34在将具有第1比特宽度的影像信号格式转换成具有第2比特宽度的影像信号时,还可以使第1比特宽度之中至少1个低位比特缺失。
进而还可以是,影像信号接收部8、9具有多个信道,外部影像设备10、13具有多个子设备,多个信道分别与多个子设备连接。在这种情况下,具有分别不同的规定的影像格式的多个影像信号从多个子设备向多个信道输入。车辆用影像处理装置11还可以具备零插入部32和输入开关部31。零插入部32将零插入到多个影像信号之中的具有最大比特宽度的特定影像信号以外的各影像信号的至少1个低位比特,以变成与特定影像信号的比特宽度相同的比特宽度。输入开关部31选择具有与特定影像信号的比特宽度相同的比特宽度的多个影像信号之中的1个并将其输出。输出部34将从输入开关部输出的影像信号转换成具有第2比特宽度的影像信号并将其输出。零插入部32与多个格式的影像信号之中的最大比特宽度的影像信号相匹配地将零插入到低位比特,因此,变得容易进行内部处理。并且,输入开关部31对与最大比特宽度的影像信号相匹配的多个影像格式的影像信号进行并输出,因此,能够通过对与最大比特数对应的规定比特进行选择的选择器功能,构建输入开关部31,能够使输入开关部的构成成为极力简单的构成。由此,能够接受任意比特宽度的多个影像格式的影像信号并进行选择输出,能够变成灵活的对应。
多个子设备例如由导航装置10以及基于规定规格的数字影像信号输出设备13来提供。
进而,外部影像设备10、13还可以包括导航装置10。另外,具有第1比特宽度的影像信号例如为RGB666格式的影像信号,具有第2比特宽度的影像信号例如为RGB565格式的影像信号。输出部34还可以将从导航装置10通过影像信号接收部8而输入的RGB666格式的影像信号转换成RGB565格式的影像信号并将其输出。
进而,代替从外部影像设备10、13通过影像信号接收部8、9而输入的第1时钟信号,时钟输出部36还可以使用时钟稳定电路37并生成与第1时钟信号相同频率的时钟信号或者具有第1时钟信号的频率的倍乘频率的时钟信号并将其输出。
本公开的其他方式的车辆用影像处理系统1具备上述的车辆用影像处理装置11、影像信号接收部8、9、以及主中央处理装置4。影像信号接收部8、9与车辆用影像处理装置11连接,从外部影像设备10、13接收影像信号,将影像信号转换成具有规定的影像格式和第1比特宽度并向车辆用影像处理装置11输出。主中央处理装置4接受从车辆用影像处理装置11输出的具有第2比特宽度的影像信号。
本公开以实施例为基准进行了记述,但是本公开理解成并不限于该实施例、构造。本公开还包括各式各样的变形例、均等范围内的变形。此外,各式各样的组合、方式,进而,在其中只包括1个要因要素,或其以上或者其以下的其他组合、方式也在本公开的范畴、思想范围之内。
Claims (7)
1.一种车辆用影像处理装置,从外部影像设备(10、13)输出且具有规定的影像格式和第1比特宽度的影像信号与上述影像信号所附带的第1时钟信号一起通过影像信号接收部(8、9)被输入,
该车辆用影像处理装置具备:
时钟输出部(36),输出第2时钟信号,该第2时钟信号具有通过预先设定的倍乘数对上述第1时钟信号的频率进行倍乘后得到的频率;以及
输出部(34),根据上述倍乘数,将具有上述第1比特宽度的影像信号转换成具有比上述第1比特宽度少的第2比特宽度的影像信号,并将具有上述第2比特宽度的影像信号与上述第2时钟信号一起输出。
2.根据权利要求1记载的车辆用影像处理装置,
上述输出部(34)在将具有上述第1比特宽度的影像信号格式转换成具有上述第2比特宽度的影像信号时,使上述第1比特宽度之中至少1个低位比特缺失。
3.根据权利要求1或2记载的车辆用影像处理装置,
上述影像信号接收部(8、9)具有多个信道,上述外部影像设备(10、13)具有多个子设备,上述多个信道分别与上述多个子设备连接,
具有分别不同的规定的影像格式的多个影像信号从上述多个子设备被输入到上述多个信道,
该车辆用影像处理装置还具备:
零插入部(32),将零插入到上述多个影像信号之中具有最大比特宽度的特定影像信号以外的各影像信号的至少1个低位比特,以变成与上述特定影像信号的比特宽度相同的比特宽度;以及
输入开关部(31),对具有与上述特定影像信号的比特宽度相同的比特宽度的上述多个影像信号之中的1个影像信号进行选择并输出,
上述输出部(34)将从上述输入开关部输出的影像信号转换成具有上述第2比特宽度的影像信号并输出。
4.根据权利要求3记载的车辆用影像处理装置,
上述多个子设备包括导航装置(10)以及基于规定规格的数字影像信号输出设备(13)。
5.根据权利要求1~4中任一项记载的车辆用影像处理装置,
上述外部影像设备(10、13)包括导航装置(10),
具有上述第1比特宽度的影像信号是RGB666格式的影像信号,
具有上述第2比特宽度的影像信号是RGB565格式的影像信号,
上述输出部(34)将从上述导航装置(10)通过上述影像信号接收部(8)被输入的上述RGB666格式的影像信号转换成上述RGB565格式的影像信号并输出。
6.根据权利要求1~5中任一项记载的车辆用影像处理装置,
上述时钟输出部(36)使用时钟稳定电路(37)来生成与上述第1时钟信号相同频率的时钟信号或者具有上述第1时钟信号的频率的倍乘频率的时钟信号,以代替从上述外部影像设备(10、13)通过影像信号接收部(8、9)被输入的上述第1时钟信号,并进行输出。
7.一种车辆用影像处理系统,具备:
权利要求1~6的任一项记载的上述车辆用影像处理装置(11);
影像信号接收部(8、9),与上述车辆用影像处理装置(11)连接,从外部影像设备(10、13)接收影像信号,将上述影像信号转换成具有规定的影像格式和第1比特宽度,并向上述车辆用影像处理装置(11)输出;以及
主中央处理装置(4),接收从上述车辆用影像处理装置(11)输出的具有第2比特宽度的影像信号。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012262547A JP6036228B2 (ja) | 2012-11-30 | 2012-11-30 | 車両用映像処理装置および車両用映像処理システム |
JP2012-262547 | 2012-11-30 | ||
PCT/JP2013/006831 WO2014083808A1 (ja) | 2012-11-30 | 2013-11-21 | 車両用映像処理装置および車両用映像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104823233A true CN104823233A (zh) | 2015-08-05 |
CN104823233B CN104823233B (zh) | 2017-05-24 |
Family
ID=50827469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380062582.XA Expired - Fee Related CN104823233B (zh) | 2012-11-30 | 2013-11-21 | 车辆用影像处理装置以及车辆用影像处理系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9521447B2 (zh) |
JP (1) | JP6036228B2 (zh) |
CN (1) | CN104823233B (zh) |
DE (1) | DE112013005719T5 (zh) |
WO (1) | WO2014083808A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110139084A (zh) * | 2016-05-05 | 2019-08-16 | 威盛电子股份有限公司 | 车辆周围影像处理方法及装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2647664C1 (ru) * | 2017-03-31 | 2018-03-16 | Общество С Ограниченной Ответственностью "Заботливый Город" | Способ обработки видеосигнала |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10199228A (ja) * | 1996-08-16 | 1998-07-31 | Texas Instr Deutschland Gmbh | メモリ回路 |
JP2000022986A (ja) * | 1998-07-03 | 2000-01-21 | Matsushita Electric Ind Co Ltd | 高解像度信号時分割処理回路 |
JP2003271115A (ja) * | 2002-03-19 | 2003-09-25 | Denso Corp | データ階調減数装置,表示装置及びデータ階調減数方法 |
US20060140036A1 (en) * | 2004-12-28 | 2006-06-29 | Seiko Epson Corporation | Memory controller, display controller, and memory control method |
CN100519275C (zh) * | 2004-08-24 | 2009-07-29 | 夏普株式会社 | 显示系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3473201D1 (en) * | 1984-05-23 | 1988-09-08 | Itt Ind Gmbh Deutsche | Method and circuit arrangement for digital deflection correction of television picture tubes |
JPH04329171A (ja) | 1991-04-30 | 1992-11-17 | Nec Corp | プリンタ装置 |
JPH07248841A (ja) * | 1994-03-09 | 1995-09-26 | Mitsubishi Electric Corp | 非線形関数発生装置およびフォーマット変換装置 |
JPH11196283A (ja) | 1998-01-06 | 1999-07-21 | Matsushita Denso System Kk | 画像通信装置 |
JP2000332780A (ja) | 1999-05-19 | 2000-11-30 | Alpine Electronics Inc | 車両情報分散処理装置 |
JP2001359052A (ja) | 2000-06-13 | 2001-12-26 | Clarion Co Ltd | ディスク再生システム |
-
2012
- 2012-11-30 JP JP2012262547A patent/JP6036228B2/ja not_active Expired - Fee Related
-
2013
- 2013-11-21 WO PCT/JP2013/006831 patent/WO2014083808A1/ja active Application Filing
- 2013-11-21 CN CN201380062582.XA patent/CN104823233B/zh not_active Expired - Fee Related
- 2013-11-21 US US14/646,042 patent/US9521447B2/en active Active
- 2013-11-21 DE DE112013005719.0T patent/DE112013005719T5/de not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10199228A (ja) * | 1996-08-16 | 1998-07-31 | Texas Instr Deutschland Gmbh | メモリ回路 |
JP2000022986A (ja) * | 1998-07-03 | 2000-01-21 | Matsushita Electric Ind Co Ltd | 高解像度信号時分割処理回路 |
JP2003271115A (ja) * | 2002-03-19 | 2003-09-25 | Denso Corp | データ階調減数装置,表示装置及びデータ階調減数方法 |
CN100519275C (zh) * | 2004-08-24 | 2009-07-29 | 夏普株式会社 | 显示系统 |
US20060140036A1 (en) * | 2004-12-28 | 2006-06-29 | Seiko Epson Corporation | Memory controller, display controller, and memory control method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110139084A (zh) * | 2016-05-05 | 2019-08-16 | 威盛电子股份有限公司 | 车辆周围影像处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6036228B2 (ja) | 2016-11-30 |
CN104823233B (zh) | 2017-05-24 |
JP2014109608A (ja) | 2014-06-12 |
DE112013005719T5 (de) | 2015-08-13 |
US9521447B2 (en) | 2016-12-13 |
US20150304700A1 (en) | 2015-10-22 |
WO2014083808A1 (ja) | 2014-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100666603B1 (ko) | 멀티 디스플레이 구동 회로 및 멀티 디스플레이 구동회로의 동작 방법 | |
CN104768048A (zh) | 音视频转换装置 | |
JP4200942B2 (ja) | 表示コントローラ、電子機器及び画像データ供給方法 | |
US20170054942A1 (en) | Device for playing audio and video | |
JP2009282516A (ja) | 映像データ信号にデータ制御信号を埋め込む方法およびこれを利用した表示装置 | |
US9720638B2 (en) | Display system and control method of the same | |
CN204836435U (zh) | 音视频播放设备 | |
CN204836434U (zh) | 音视频播放设备 | |
CN103037170A (zh) | 监控视频矩阵系统、网络及其级联切换、带宽调整方法 | |
US20180260184A1 (en) | Driving multiple display devices with a single display port | |
CN103814577A (zh) | 发送装置、发送方法、接收装置、接收方法和发送/接收系统 | |
CN103123797A (zh) | 一种车载音频播放系统及方法 | |
CN105304053B (zh) | 时序控制芯片内起始信号控制方法、芯片及显示面板 | |
CN105657491A (zh) | 音视频播放设备 | |
CN104823233A (zh) | 车辆用影像处理装置以及车辆用影像处理系统 | |
CN103188534B (zh) | 显示装置、可连接的外部外围设备和显示图像的方法 | |
KR101048301B1 (ko) | 휴대용 미디어 재생 장치들로 구현되는 멀티비전 시스템 및그 구현 방법 | |
CA2732781C (en) | Method and apparatus for selecting video channel, video device and tv device | |
CN102905080A (zh) | 一种利用单处理器实现双路视频输出的设备及方法 | |
JPH03116352A (ja) | ビデオ信号パイプラインバス | |
JP2010096951A (ja) | 映像データ伝送システムおよび映像データ伝送方法 | |
CN203457237U (zh) | 基于hdmi的信号分配器 | |
CN103440838B (zh) | 一种显示控制方法及显示设备 | |
KR20220026659A (ko) | 표시 장치 및 표시 장치의 구동 방법 | |
KR20100125953A (ko) | 화상검사장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170524 Termination date: 20201121 |