CN103778617B - 动态图像处理方法以及动态图像处理系统 - Google Patents
动态图像处理方法以及动态图像处理系统 Download PDFInfo
- Publication number
- CN103778617B CN103778617B CN201210468045.2A CN201210468045A CN103778617B CN 103778617 B CN103778617 B CN 103778617B CN 201210468045 A CN201210468045 A CN 201210468045A CN 103778617 B CN103778617 B CN 103778617B
- Authority
- CN
- China
- Prior art keywords
- image
- check point
- produce
- geometric transformation
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 title claims abstract description 11
- 230000009466 transformation Effects 0.000 claims abstract description 33
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 23
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 3
- 238000003702 image correction Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims 1
- 238000012937 correction Methods 0.000 abstract description 7
- 230000002194 synthesizing effect Effects 0.000 abstract description 2
- 101150071665 img2 gene Proteins 0.000 description 21
- 238000010586 diagram Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 15
- 238000013461 design Methods 0.000 description 3
- 238000009958 sewing Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种动态图像处理方法以及动态图像处理系统。该动态图像处理方法包含下列步骤：提供多个第一图像；合成该多个第一图像来产生一第二图像；于该第二图像上选取多个校正点；对该多个第一图像进行一几何转换操作；对该多个校正点进行该几何转换操作，以产生多个转换后的校正点；以及依据该多个转换后的校正点来产生至少一图像特征边界。
Description
技术领域
本发明涉及车用图像处理，尤其涉及一种通过在车用图像上定义出校正点以对车用图像进行处理的动态图像处理方法。
背景技术
环景显影系统（Aroundviewmonitorsystem，AVMS）提供了车辆周围的环景图像（Aroundviewmonitorimage，AVMimage）/鸟瞰图像（Bird’s-eyeviewimages），使驾驶者能够即时监控车辆周围的景象。一般来说，具有环景显影系统的车辆会配置多个图像提取元件（Imagecapturedevice）（例如，摄影机）以提取多个车辆周围的图像，该多个车辆周围的图像接着会经由包含图像缝合操作（imagestitching）的图像处理来产生一环景图像，其中该环景图像可与一车辆图像（Vehicleimage）贴合以产生一车用图像（Vehicularimage）。由于通常是以垂直俯视的方式来观看该车用图像/该环景图像（亦即，观看视角是固定的），故该车用图像/该环景图像上该多个车辆周围的图像所对应的图像缝合线（Imagestitchingline）也是固定的。然而，为了要提供给驾驶者更完整的车辆周围景象，会需要能够从不同的视角来观看车用图像/环景图像，因此，图像缝合线也会需要有所调整。
因此，需要一种图像处理方法来提供可动态调整的图像缝合线，以满足从不同的视角来观看车用图像/环景图像的需求。
发明内容
有鉴于此，本发明的目的之一在于提供一种在车用图像上定义出校正点的动态图像处理方法，来满足上述需求。
依据本发明的一实施例，其揭示一种产生车用图像处理方法。该车用图像处理方法包含下列步骤：提供多个第一图像；合成该多个第一图像来产生一第二图像；于该第二图像上选取多个校正点；对该多个第一图像进行一几何转换操作；对该多个校正点进行该几何转换操作，以产生多个转换后的校正点；以及依据该多个转换后的校正点来产生至少一图像特征边界。
依据本发明的一实施例，其揭示一种动态图像处理系统。该动态图像处理系统包含一处理单元以及一存储单元。该处理单元用以将多个第一图像进行一合成操作或一几何转换操作，以及在对该多个第一图像进行该合成操作之后所产生的一第二图像上，选取多个校正点以产生一校正点信息。该存储单元耦接于该处理单元，用以存储该校正点信息。当该处理单元另对该多个第一图像进行该几何转换操作时，该处理单元也会对该多个校正点进行相同的该几何转换操作，以产生多个转换后的校正点，并依据该多个转换后的校正点来产生至少一图像特征边界。
本发明提供一种在车用图像上定义出校正点的动态图像处理方法，其中由校正点所产生的图像特征边界可随车用图像的显示设定的改变而调整，因此，当该图像特征边界用来作为图像缝合线/警示线/车幅线时，可实现出动态图像缝合线/动态警示线/动态车幅线，此外，也满足了驾驶者/使用者欲自不同视角来观看车用图像/环景图像的需求。
附图说明
图1为本发明广义的动态图像处理方法的一实施例的流程图。
图2为本发明于车用图像上定义出图像特征边界的一实施例的示意图。
图3为在图2所示的车用图像上选取多个校正点以作为图像缝合线的一实施例的示意图。
图4为缝合图3所示的多个第一图像的一实施例的示意图。
图5为对图3所示的车用图像进行一几何转换操作以改变其显示方式的一实施例的示意图。
图6为本发明产生图5所示的第二图像的一实施例的示意图。
图7为对图3所示的车用图像进行一几何转换操作以改变其显示方式的另一实施例的示意图。
图8为在图2所示的车用图像上选取多个校正点以作为警示线的一实施例的示意图。
图9为对图8所示的车用图像进行一几何转换操作以改变其显示方式的一实施例的示意图。
图10为对图8所示的车用图像进行一几何转换操作以改变其显示方式的另一实施例的示意图。
图11为本发明动态图像处理方法的一实施例的流程图。
【主要元件符号说明】
C1、C2、C3、C4图像提取元件
CP1～CP8、CPA～CAD、CP1’～CP8’、CPA’～CAD’校正点
IMG1_C1～IMG1_C4、IMG_OB、IMG2、IMG_V、图像
IMG_OB’、IMG2’、IMG_V’、IMG1_1～IMG1_n、
IMG_VR、IMG_T1～IMG_T4、IMG_F1、IMG_F2
P、PP1、PP2像素
R_OV重叠区域
SL0～SL4图像缝合线
WL1～WL4警示线
WA警示区
具体实施方式
本发明利用在一车用图像/环景图像上定义出多个校正点(基准点)，使得当该车用图像的显示画面有所调整时（例如，放大显示、显示视角改变或其他显示调整），该多个校正点于显示画面的位置也会随之调整，换句话说，该多个校正点于显示画面的位置与该车用图像目前处在的显示设定（例如，标准显示模式、放大显示模式或其他显示模式）之间会有相对应的关系，因此，可通过此对应关系来实现多种车用图像处理的相关应用。
请参阅图1，图1为本发明广义的动态图像处理方法的一实施例的流程图。假若所得到的结果大致相同，则不一定要按照图1所示的步骤来执行。该方法可简单归纳如下：
步骤110：开始。
步骤120：提供多个第一图像。
步骤130：合成该多个第一图像来产生一第二图像。
步骤140：于该第二图像上选取多个校正点。
步骤150：对该多个第一图像进行一几何转换操作，以产生多个转换后的第一图像。
步骤160：对该多个校正点进行该几何转换操作，以产生多个转换后的校正点。
步骤170：依据该多个转换后的校正点来产生至少一图像特征边界。
步骤180：结束。
在该方法应用于环景显影系统的情形下，该多个第一图像可以是多个校正图像/俯视图像（Top-viewimage），该第二图像可以是一环景图像，更具体地说，可先接收多个子图像（例如，广角扭曲图像），再对该多个子图像进行一图像校正操作（例如，广角扭曲校正及俯视转换）以分别产生该多个校正图像/俯视图像，再将该多个校正图像/俯视图像合成为该环景图像。
由步骤140～步骤160可知，所选取的该多个校正点与该多个第一图像会经由同一几何转换操作来处理，其中该几何转换操作可以是一旋转操作、一平移操作、一放大操作、一缩小操作、一倾斜操作或一视角转换操作。在该至少一图像特征边界为至少一图像缝合线的情形下，可依据该至少一图像缝合线以及该多个转换后的第一图像来产生另一第二图像，因此，可实现随着图像观看视角而改变的动态图像缝合线，来满足从不同的视角来观看车用图像/环景图像的需求。另外，该至少一图像特征边界也可实现用来提升行车安全的车用警示线（Warningline）/车用警示区（Warningarea）、辅助停车的动态车幅线（Dynamicparkingline）或其他车用图像处理的相关应用。因此，只要是依据定义于一图像上的多个校正点与该图像目前处在的显示设定之间的对应关系来实现相关的动态图像处理方法，均遵循本发明的发明精神而落入本发明的范围。进一步的说明如下。
请参阅图2，图2为本发明于车用图像IMG_V上定义出图像特征边界的一实施例的示意图。首先，位于车辆（以物件图像IMG_OB表示的）上的四个图像提取元件C1～C4会接收到多个子图像（亦即，对应于车辆周围的广角扭曲图像），并对该多个子图像进行一图像校正操作（亦即，广角扭曲校正及俯视转换）以分别产生多个第一图像（亦即，俯视图像）IMG1_C1～IMG1_C4，接着再将多个第一图像IMG1_C1～IMG1_C4合成为一第二图像IMG2（亦即，环景图像）。最后，可将一物件图像IMG_OB贴至第二图像IMG2以产生车用图像IMG_V。
由图2可知，多个第一图像IMG1_C1～IMG1_C4彼此之间会有多个图像重叠区域，故需要有适当的图像缝合线来将重叠的图像接合以避免在图像重叠区域产生鬼影（Ghost）或图像不连续的情形。因此，可在第二图像IMG2的一图像重叠区域（形成于两个相邻的第一图像IMG1_C2与IMG1_C3之间）上选取多个校正点CP1及CP2，并依据多个校正点CP1及CP2来产生一图像特征边界以作为一图像缝合线（亦即，通过多个校正点CP1及CP2的射线），其中多个校正点CP1及CP2的位置（或该图像缝合线的位置）可以由车辆的车用图像系统（Vehicularimagesystem）（并未显示于图中）来预先设定，也可以依据使用者/驾驶者的需求来选定。
在校正点应用于动态图像缝合线的情形下，除了在图像重叠区域上选取校正点之外，也可以参照预设图像缝合线来选取校正点。请参阅图3，图3为在图2所示的车用图像IMG_V上选取多个校正点以作为图像缝合线的一实施例的示意图。在此实施例中，可先对多个第一图像IMG1_C1～IMG1_C4进行一预设图像缝合操作来产生预设图像缝合线（例如，预设图像缝合线SL0），接着，再参照所产生的预设图像缝合线来选取多个校正点以产生符合需求的图像缝合线。以下为缝合第一图像IMG1_C1与第一图像IMG1_C2的范例说明。
请参阅图4，图4为缝合图3所示的第一图像IMG1_C1与第一图像IMG1_C2的一实施例的示意图。广角扭曲图像IMG_F1为图像提取元件C1所提取的子图像，以及广角扭曲图像IMG_F2为图像提取元件C2所提取的子图像。俯视图像IMG_T1由对广角扭曲图像IMG_F1进行广角扭曲校正与俯视转换所产生，以及俯视图像IMG_T2由对广角扭曲图像IMG_F2进行广角扭曲校正与俯视转换所产生，其中第一图像IMG1_C1实际上是俯视图像IMG_T1的一部分，以及第一图像IMG1_C2实际上是俯视图像IMG_T2的一部分。在此实施例中，第一图像IMG1_C1与第一图像IMG1_C2重叠于一重叠区域R_OV。为了要缝合第一图像IMG1_C1与第一图像IMG1_C2，需要决定出位于重叠区域R_OV之中每一像素的像素数据。以图3所示的第二图像IMG2中对应像素P的像素数据的选定为例，可比较广角扭曲图像IMG_F1之中像素P与预定像素PP1（亦即，对应于广角扭曲镜头的光心（opticalcenter）的像素）之间的距离d1以及广角扭曲图像IMG_F2之中像素P与预定像素PP2（亦即，对应于广角扭曲镜头的光心的像素）之间的距离d2，并据以选取第一图像IMG1_C1之中对应像素P的像素数据与第一图像IMG1_C2之中对应像素P的像素数据的其中之一，以作为第二图像IMG2之中对应像素P的像素数据。由图4可知，距离d2小于距离d1，此外，由于越接近广角扭曲图像中心的成像失真度越低，故可选取第一图像IMG1_C2之中对应像素P的像素数据来作为图3所示的第二图像IMG2之中对应像素P的像素数据。
请再次参阅图3。在决定出重叠区域R_OV之中每一像素的像素数据之后，可参照重叠区域R_OV之中每一像素数据与第一图像IMG1_C1之间的对应关系以及重叠区域R_OV之中每一像素数据与第一图像IMG1_C2之间的对应关系，来产生预设图像缝合线SL0，更具体地说，由于在重叠区域R_OV之中，位于预设图像缝合线SL0右方的像素数据均对应于第一图像IMG1_C1，以及位于预设图像缝合线SL0左方的像素数据均对应于第一图像IMG1_C2，换句话说，预设图像缝合线SL0可视为像素数据边界，因此，预设图像缝合线SL0即是用于接合多个第一图像IMG1_C1及IMG1_C2的图像缝合线。在一设计变化中，由于预设图像缝合线SL0为一曲线（但本发明并不局限于此），故可通过数值运算（例如，最小平方线性近似（Linearleastsquaresfitting））来得到一近似直线（例如，另一预设图像缝合线SL1）。在得到预设图像缝合线SL0/SL1之后，可参照预设图像缝合线SL0/SL1来选取多个校正点CP1与CP2以产生符合需求的图像缝合线，也可以直接选定由直线近似所得到的预设缝合线SL1来作为后续图像缝合的图像缝合线。相似地，通过上述产生图像缝合线的实作方式，可得到多个校正点CP3～CP8以及多个预设图像缝合线SL2～SL4，因此，可直接依据多个预设图像缝合线SL1～SL4来合成多个图像提取元件C1～C4后续所接收到的多个图像来产生另一环景图像。请注意，以上产生预设缝合线的实作方式仅供范例说明的需，并非用来作为本发明的限制，此外，也可以不用产生预设图像缝合线，而是直接依据驾驶者的观看舒适度来选取多个校正点以产生图像缝合线。再者，本发明所提供的图像缝合线并不局限于直线，换句话说，也可以选取三个以上的校正点以产生弯曲的图像缝合线。
如上所述，由于所选定的多个校正点于显示画面的位置会跟车用图像目前处在的显示设定有相对应的关系，因此，当车用图像的显示设定改变时，所选定的多个校正点/图像缝合线在显示画面的位置也会有相对应的调整。请参阅图5，图5为对图3所示的车用图像IMG_V进行一几何转换操作（Geometrictransformation）以改变其显示方式的一实施例的示意图。由图5可知，图5所示的车用图像IMG_V’（包含物件图像IMG_OB’以及第二图像IMG2’）可视为将图3所示的车用图像IMG_V（包含物件图像IMG_OB以及第二图像IMG2）往顺时针方向旋转而产生，此外，图5所示的多个校正点CP1’～CP8’也是经由对图3所示的多个校正点CP1～CP8进行相同的旋转操作来产生，换句话说，多个校正点CP1’～CP8’与车用图像IMG_V’之中图像物件的相对位置相同于多个校正点CP1～CP8与车用图像IMG_V之中图像物件的相对位置，因此，依据多个校正点CP1’～CP8’所得到的多个图像缝合线SL1’～SL4’也可视为对图3所示的多个图像缝合线SL1～SL4进行该旋转操作而产生。
值得注意的是，在此实施例中，并不是直接对图3所示的车用图像IMG_V执行旋转操作来产生车用图像IMG_V’。请一并参阅图3、图5与参阅图6，图6为本发明产生图5所示的第二图像IMG2’的一实施例的示意图。图3所示的第二图像IMG2由图6所示的多个俯视图像IMG_T1～IMG_T4所合成，其中图3所示的多个第一图像IMG1_C1～IMG1_C4分别为多个俯视图像IMG_T1～IMG_T4的一部分。由图6可知，在对图3所示的车用图像IMG_V进行一旋转操作时，实际上是对多个俯视图像IMG_T1～IMG_T4进行该旋转操作以分别产生多个俯视图像IMG_T1’～IMG_T4’，以及对多个校正点CP1～CP8进行该旋转操作以产生多个校正点CP1’～CP8’。另外，也会对图3所示的物件图像IMG_OB进行该旋转操作以产生图5所示的物件图像IMG_OB’。接下来，依据多个校正点CP1’～CP8’所形成的多个图像缝合线SL1’～SL4’，以及依据多个俯视图像IMG_T1’～IMG_T4’相对应的输出位置，来将多个俯视图像IMG_T1’～IMG_T4’缝合以产生第二图像IMG2’。最后，如图5所示，将物件图像IMG_OB’贴至第二图像IMG2’以产生车用图像IMG_V’。
由图5可知，通过上述旋转操作的实作方式，使用者可从第二图像IMG2’的显示画面掌握更多的行车信息（例如，前方车辆的车顶）。在一设计变化中，直接将图6所示的图像缝合线SL1～SL4进行该旋转操作以形成图像缝合线SL1’～SL4’亦是可行的。请注意，本领域技术人员应可轻易地了解以上所述的几何转换操作除了旋转操作之外，也可以包含放大、缩小、平移以及其他相关的二维转换操作。
由于本发明所提供的图像处理方法为先对俯视图像进行几何转换操作，再将俯视图像合成为环景图像，因此，其也可应用于通过三维转换操作以改变车用图像的显示方式的实施例中。请参阅图7，图7为对图3所示的车用图像IMG_V进行一几何转换操作以改变其显示方式的另一实施例的示意图。由图7可知，图7所示的车用图像IMG_V’可视为对图3所示的车用图像IMG_V进行一倾斜操作（亦即，改变俯视的视角）所产生，此外，图7所示的多个校正点CP1’～CP8’也是经由对图3所示的多个校正点CP1～CP8进行相同的倾斜操作来产生。由于本领域技术人员通过阅读图5的相关说明之后，应可轻易地了解产生图7所示的车用图像IMG_V’的操作细节，故进一步的说明在此便不再赘述。
本发明的车用图像处理方法也可以用来提供行车安全机制以提醒驾驶者要与前方车辆保持适当的车距。请再次参阅图2。由图2可知，驾驶者前方有一台车辆（以车辆物件OB_V表示的），因此，可在第二图像IMG2上选取多个校正点CP3及CP4，并依据多个校正点CP3及CP4来于车辆物件OB_V与物件图像IMG_OB之间产生一图像特征边界以作为一警示线（亦即，以多个校正点CP3及CP4为端点的线段），其中多个校正点CP3及CP4的位置（或该警示线的位置）可以由车用图像系统来预先设定，也可以依据使用者/驾驶者的需求来选定。
请参阅图8，图8为在图2所示的车用图像IMG_V上选取多个校正点以作为警示线的一实施例的示意图。由图8可知，由于驾驶者前方有一台车辆（以车辆物件OB_V表示的），故以下以车辆物件OB_V与物件图像IMG_OB之间警示线的选定来作为范例说明。
首先，可依据物件图像IMG_OB于第二图像IMG2的位置来选取多个校正点CPA～CPB，举例来说，可自物件图像IMG_OB的车头前缘向前延伸三分之一的车身长度的地方来选取多个校正点CPA～CPB以产生一警示线WL1。在一设计变化中，也可以同时参照行车速度以及物件图像IMG_OB于第二图像IMG2的位置来调整警示线WL1的位置，更具体地说，行车速度越快，警示线WL1会越远离物件图像IMG_OB（亦即，越接近车辆物件OB_V）以确保高速行驶的安全车距。一旦车辆物件OB_V在车用图像IMG_V中越过警示线WL1上，车辆的车用图像系统可产生一警示信号来提醒驾驶者。相似地，也可依据物件图像IMG_OB于第二图像IMG2的位置来选取多个校正点CPC～CPD以产生多条警示线WL2～WL4，或是除了参照物件图像IMG_OB于第二图像IMG2的位置之外，也可同时参照物件图像IMG_OB周围的物件与物件图像IMG_OB之间的距离来选取多个校正点CPC～CPD以产生多条警示线WL2～WL4。另外，在此实施例中，多条警示线WL1～WL4形成一警示区WA。请注意，以上产生警示线的实作方式仅供范例说明的需，并非用来作为本发明的限制，举例来说，可以直接依据驾驶者的需求来选取至少二校正点以产生至少一警示线。另外，也可以直接选取多个校正点来产生警示区而无需先选定警示线。再者，本发明所提供的警示线并不局限于直线，换句话说，也可以选取三个以上的校正点以产生弯曲的警示线，因此，本发明所提供的警示区形状也可使用者需求来调整。
当车用图像的显示设定改变时，所选定的多个校正点/警示线在显示画面的位置也会有相对应的调整。请参阅图9，图9为对图8所示的车用图像IMG_V进行一几何转换操作以改变其显示方式的一实施例的示意图。由图9可知，图9所示的车用图像IMG_V’（包含物件图像IMG_OB’以及第二图像IMG2’）可视为将图8所示的车用图像IMG_V往顺时针方向旋转而产生，此外，图9所示的多个校正点CPA’～CPD’也是经由对图8所示的多个校正点CPA～CPD进行相同的旋转操作来产生，换句话说，多个校正点CPA’～CPD’与车用图像IMG_V’之中图像物件的相对位置相同于多个校正点CP1～CP8与车用图像IMG_V之中图像物件的相对位置，因此，依据多个校正点CPA’～CPD’所得到的多条警示线WL1’～WL4’也可视为对图8所示的多条警示线WL1～WL4进行该旋转操作而产生。相似地，依据多条警示线WL1’～WL4’所得到的警示区WA’也可视为对图6所示的警示区WA进行该旋转操作而产生。如此一来，便可确保在不同的显示模式下，仍然维持行车安全机制的高度准确性。请注意，本领域技术人员应可轻易地了解以上所述的几何转换操作除了旋转操作之外，也可以包含放大、缩小、平移以及其他相关的二维转换操作。
本发明图像处理方法也可应用于通过三维转换操作以改变车用图像的显示方式的实施例中。请参阅图10，图10为对图8所示的车用图像IMG_V进行一几何转换操作以改变其显示方式的另一实施例的示意图。由图10可知，图10所示的车用图像IMG_V’可视为对图8所示的车用图像IMG_V进行一倾斜操作（亦即，改变俯视的视角）所产生，此外，图10所示的多个校正点CPA’～CPD’也是经由对图8所示的多个校正点CPA～CPD进行相同的倾斜操作来产生。由于本领域技术人员通过阅读图9的相关说明之后，应可轻易地了解产生图10所示的车用图像IMG_V’的操作细节，故进一步的说明在此便不再赘述。
简而言之，假若将图3/图8所示的车用图像IMG_V的显示设定视为标准显示模式，则图5/图9所示的车用图像IMG_V’的显示设定可视为旋转模式，以及图7/图10所示的车用图像IMG_V’的显示设定可视为倾斜模式，其中校正点于显示画面的位置会随着车用图像IMG_V所处的显示设定的改变而调整，换句话说，本发明提供了可随着显示模式的不同而进行相对应调整的动态图像缝合线/动态警示线。另外，本发明所提供的警示线/警示区不仅可在行车时用来提醒驾驶者保持安全车距，也可以在停车时用来提醒驾驶者周围的障碍物。再者，本发明的概念并不限定于图像缝合线及警示线。在一实作范例中，可选取适当的校正点以产生图2所示的物件图像IMG_OB两侧的切线，进而作为辅助停车的动态车幅线。在另一实作范例中，也可选取适当的校正点以产生一遮罩区域（Maskregion），进而去除该遮罩区域的图像，或是将该遮罩区域的图像替换为想要的图像。
请参阅图11，图11为本发明动态图像处理方法应用于动态缝图的一实施例的流程图。假若所得到的结果大致相同，则不一定要按照图11所示的步骤来执行。该方法可简单归纳如下：
步骤1100：开始。
步骤1110：取得校正点信息。
步骤1112：接收多个广角扭曲图像。
步骤1114：提供一车辆图像。
步骤1120：对该多个校正点进行一三维转换操作，以产生多条图像缝合线。
步骤1121：对该多个子图像进行一广角扭曲校正及俯视转换操作，以产生多个俯视图像。
步骤1122：对该多个俯视图像进行该三维转换操作，以产生多个转换后的俯视图像。
步骤1124：对该车辆图像进行该三维转换操作，以产生一转换后的车辆图像。
步骤1130：依据该多条图像缝合线以及该多个转换后的俯视图像相对应的输出位置来执行图像缝合，以产生一环景图像。
步骤1140：将该转换后的车辆图像贴至该环景图像以产生一车用图像。
步骤1150：结束。
由于在执行动态缝图之前，校正点已选定并存储于一车用图像系统中，因此，在步骤1110中，可直接取得校正点信息以供后续缝图之用。在步骤1120、步骤1122及步骤1124中，会对该多个校正点、该多个俯视图像以及该车辆图像执行相同的三维转换操作。由于本领域技术人员经由阅读图1～图7的相关说明，应可轻易地了解图11所示的流程之中每一步骤的操作细节，故进一步的说明在此便不再赘述。值得注意的是，本发明可在同一车用图像中提供多个图像特征边界以供不同用途，举例来说，可以在同一车用图像之中同时定义出动态图像缝合线、动态警示线和/或动态车幅线。
综合上述，本发明提供一种在车用图像上定义出校正点的动态图像处理方法，其中由校正点所产生的图像特征边界可随车用图像的显示设定的改变而调整，因此，当该图像特征边界用来作为图像缝合线/警示线/车幅线时，可实现出动态图像缝合线/动态警示线/动态车幅线，此外，也满足了驾驶者/使用者欲自不同视角来观看车用图像/环景图像的需求。
以上所述仅为本发明的优选实施例，凡依本发明权利要求书所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (9)
1.一种动态图像处理方法，包含：
提供多个第一图像；
合成该多个第一图像来产生一第二图像；
在由该多个第一图像所合成的该第二图像上选取多个校正点；
对该多个第一图像进行一几何转换操作，其中该几何转换操作为一旋转操作、一平移操作、一放大操作、一缩小操作、一倾斜操作或一视角转换操作；
对该多个校正点进行该几何转换操作，以产生多个转换后的校正点；以及
依据该多个转换后的校正点来产生至少一图像特征边界。
2.如权利要求1所述的动态图像处理方法，其中该至少一图像特征边界为至少一图像缝合线，以及该方法还包含：
依据该至少一图像缝合线来合成经由该几何转换操作之后的该多个第一图像，以产生经由该几何转换操作之后的该第二图像。
3.如权利要求2所述的动态图像处理方法，其中该第二图像上包含该多个第一图像之中相互重叠的相邻图像所形成的至少一重叠区域，以及在该第二图像上所选取的该多个校正点位于该重叠区域内。
4.如权利要求1所述的动态图像处理方法，其中该至少一图像特征边界为至少一警示线。
5.如权利要求4所述的动态图像处理方法，其中该第二图像包含有一物件图像；该警示线位于该第二图像上该物件图像的周围位置；以及该警示线用以判断是否有物件通过该警示线而靠近该物件图像。
6.如权利要求1所述的动态图像处理方法，其中提供该多个第一图像的步骤包含：
接收多个子图像；以及
对该多个子图像进行一图像校正操作，以分别产生该多个第一图像。
7.如权利要求1所述的动态图像处理方法，其中合成该多个第一图像来产生该第二图像的步骤包含：
自该多个第一图像之中相互重叠的相邻图像所形成的一重叠区域之中得到一图像缝合线。
8.如权利要求7所述的动态图像处理方法，其中于由该多个第一图像所合成的该第二图像上选取该多个校正点的步骤包含：
在该图像缝合线上选取该多个校正点。
9.一种动态图像处理系统，包含：
一处理单元，用以将多个第一图像进行一合成操作或一几何转换操作，以及在对该多个第一图像进行该合成操作之后所产生的一第二图像上，选取多个校正点以产生一校正点信息；以及
一存储单元，耦接于该处理单元，用以存储该校正点信息；
其中当该处理单元另对该多个第一图像进行该几何转换操作时，该处理单元也对该多个校正点进行相同的该几何转换操作，以产生多个转换后的校正点，并依据该多个转换后的校正点来产生至少一图像特征边界，其中该几何转换操作为一旋转操作、一平移操作、一放大操作、一缩小操作、一倾斜操作或一视角转换操作。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW101139088 | 2012-10-23 | ||
| TW101139088A TWI578271B (zh) | 2012-10-23 | 2012-10-23 | 動態影像處理方法以及動態影像處理系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103778617A CN103778617A (zh) | 2014-05-07 |
| CN103778617B true CN103778617B (zh) | 2016-08-03 |
Family
ID=50485401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210468045.2A Expired - Fee Related CN103778617B (zh) | 2012-10-23 | 2012-11-19 | 动态图像处理方法以及动态图像处理系统 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9087256B2 (zh) |
| JP (1) | JP5591364B2 (zh) |
| KR (1) | KR101389884B1 (zh) |
| CN (1) | CN103778617B (zh) |
| TW (1) | TWI578271B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9262801B2 (en) | 2014-04-01 | 2016-02-16 | Gopro, Inc. | Image taping in a multi-camera array |
| CN104301608B (zh) * | 2014-09-22 | 2018-04-27 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
| JP6568374B2 (ja) * | 2015-03-27 | 2019-08-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP6582557B2 (ja) | 2015-05-28 | 2019-10-02 | 株式会社ソシオネクスト | 描画装置、描画方法および描画プログラム |
| CN105187734A (zh) * | 2015-07-23 | 2015-12-23 | 柳州永旺科技有限公司 | 一种动态图像与静态图像的加载方法 |
| JP2017033402A (ja) * | 2015-08-04 | 2017-02-09 | 株式会社デンソー | 車載表示制御装置、車載表示制御方法 |
| US10043237B2 (en) | 2015-08-12 | 2018-08-07 | Gopro, Inc. | Equatorial stitching of hemispherical images in a spherical image capture system |
| TWI582388B (zh) | 2015-10-16 | 2017-05-11 | 財團法人工業技術研究院 | 影像縫合方法與影像縫合裝置 |
| TWI607901B (zh) * | 2015-11-06 | 2017-12-11 | 財團法人工業技術研究院 | 影像修補系統及其方法 |
| EP3206184A1 (en) * | 2016-02-11 | 2017-08-16 | NXP USA, Inc. | Apparatus, method and system for adjusting predefined calibration data for generating a perspective view |
| DE102018102047A1 (de) * | 2018-01-30 | 2019-08-01 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem |
| JP7108855B2 (ja) * | 2018-02-27 | 2022-07-29 | パナソニックＩｐマネジメント株式会社 | 画像合成装置、及び、制御方法 |
| JP6607272B2 (ja) * | 2018-03-02 | 2019-11-20 | 株式会社Ｊｖｃケンウッド | 車両用記録装置、車両用記録方法及びプログラム |
| JP6978975B2 (ja) * | 2018-04-13 | 2021-12-08 | 本田技研工業株式会社 | 情報出力装置及び情報出力方法 |
| CN109657606B (zh) * | 2018-12-17 | 2020-10-02 | 上海箩箕技术有限公司 | 光学指纹传感器模组的校正方法 |
| JP7065068B2 (ja) * | 2019-12-13 | 2022-05-11 | 本田技研工業株式会社 | 車両周囲監視装置、車両、車両周囲監視方法およびプログラム |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002166802A (ja) * | 2000-11-30 | 2002-06-11 | Toyota Motor Corp | 車両周辺モニタ装置 |
| CN101082502A (zh) * | 2006-05-29 | 2007-12-05 | 爱信艾达株式会社 | 驻车辅助方法及驻车辅助装置 |
| JP2008049889A (ja) * | 2006-08-25 | 2008-03-06 | Denso Corp | 駐車支援装置 |
| JP2010050842A (ja) * | 2008-08-22 | 2010-03-04 | Sony Taiwan Ltd | マルチレンズカメラシステムのための高度な動的スティッチング方法 |
| CN101901481A (zh) * | 2010-08-11 | 2010-12-01 | 深圳市蓝韵实业有限公司 | 一种图像拼接方法 |
| JP2011182236A (ja) * | 2010-03-02 | 2011-09-15 | Toshiba Alpine Automotive Technology Corp | カメラキャリブレーション装置 |
| CN102479379A (zh) * | 2010-11-19 | 2012-05-30 | 义晶科技股份有限公司 | 图像校正方法与相关图像校正系统 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6236748B1 (en) * | 1994-08-02 | 2001-05-22 | Canon Kabushiki Kaisha | Compound eye image pickup device utilizing plural image sensors and plural lenses |
| JP3300337B2 (ja) | 2000-04-28 | 2002-07-08 | 松下電器産業株式会社 | 画像処理装置および監視システム |
| US7145519B2 (en) | 2002-04-18 | 2006-12-05 | Nissan Motor Co., Ltd. | Image display apparatus, method, and program for automotive vehicle |
| JP4164703B2 (ja) | 2004-07-07 | 2008-10-15 | 日本電気株式会社 | 広視野画像入力方法及び装置 |
| JP3971783B2 (ja) | 2004-07-28 | 2007-09-05 | 松下電器産業株式会社 | パノラマ画像合成方法および物体検出方法、パノラマ画像合成装置、撮像装置、物体検出装置、並びにパノラマ画像合成プログラム |
| JP4639753B2 (ja) | 2004-10-25 | 2011-02-23 | 日産自動車株式会社 | 運転支援装置 |
| EP1717757A1 (de) * | 2005-04-28 | 2006-11-02 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur grafischen Darstellung der Umgebung eines Kraftfahrzeugs |
| JP4899367B2 (ja) | 2005-07-27 | 2012-03-21 | 日産自動車株式会社 | 俯瞰画像表示システム及び俯瞰画像の表示方法 |
| JP4725233B2 (ja) | 2005-08-02 | 2011-07-13 | 日産自動車株式会社 | 俯瞰画像表示システム |
| JP4662832B2 (ja) | 2005-09-26 | 2011-03-30 | アルパイン株式会社 | 車両用画像表示装置 |
| JP5309442B2 (ja) | 2006-05-29 | 2013-10-09 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
| JP4315968B2 (ja) | 2006-08-21 | 2009-08-19 | 三洋電機株式会社 | 画像処理装置並びに視界支援装置及び方法 |
| JP2008187564A (ja) | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | カメラ校正装置及び方法並びに車両 |
| JP5120880B2 (ja) | 2007-10-15 | 2013-01-16 | アルパイン株式会社 | 画像処理装置及び画像処理方法 |
| JP5072576B2 (ja) | 2007-12-20 | 2012-11-14 | アルパイン株式会社 | 画像表示方法および画像表示装置 |
| US8384789B2 (en) * | 2008-07-23 | 2013-02-26 | Pixart Imaging Inc. | Sensor array module with wide angle, and image calibration method, operation method and application for the same |
| JP5035284B2 (ja) * | 2009-03-25 | 2012-09-26 | 株式会社日本自動車部品総合研究所 | 車両周辺表示装置 |
| KR100948886B1 (ko) | 2009-06-25 | 2010-03-24 | 주식회사 이미지넥스트 | 차량에 설치된 카메라의 공차 보정 장치 및 방법 |
| JP5500369B2 (ja) | 2009-08-03 | 2014-05-21 | アイシン精機株式会社 | 車両周辺画像生成装置 |
| JP5699679B2 (ja) | 2011-02-24 | 2015-04-15 | 富士通セミコンダクター株式会社 | 画像処理装置、画像処理システム、及び画像処理方法 |
-
2012
- 2012-10-23 TW TW101139088A patent/TWI578271B/zh active
- 2012-11-19 CN CN201210468045.2A patent/CN103778617B/zh not_active Expired - Fee Related
-
2013
- 2013-03-04 US US13/783,418 patent/US9087256B2/en not_active Expired - Fee Related
- 2013-03-25 KR KR1020130031403A patent/KR101389884B1/ko active IP Right Grant
- 2013-03-26 JP JP2013064405A patent/JP5591364B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002166802A (ja) * | 2000-11-30 | 2002-06-11 | Toyota Motor Corp | 車両周辺モニタ装置 |
| CN101082502A (zh) * | 2006-05-29 | 2007-12-05 | 爱信艾达株式会社 | 驻车辅助方法及驻车辅助装置 |
| JP2008049889A (ja) * | 2006-08-25 | 2008-03-06 | Denso Corp | 駐車支援装置 |
| JP2010050842A (ja) * | 2008-08-22 | 2010-03-04 | Sony Taiwan Ltd | マルチレンズカメラシステムのための高度な動的スティッチング方法 |
| JP2011182236A (ja) * | 2010-03-02 | 2011-09-15 | Toshiba Alpine Automotive Technology Corp | カメラキャリブレーション装置 |
| CN101901481A (zh) * | 2010-08-11 | 2010-12-01 | 深圳市蓝韵实业有限公司 | 一种图像拼接方法 |
| CN102479379A (zh) * | 2010-11-19 | 2012-05-30 | 义晶科技股份有限公司 | 图像校正方法与相关图像校正系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5591364B2 (ja) | 2014-09-17 |
| TWI578271B (zh) | 2017-04-11 |
| JP2014086076A (ja) | 2014-05-12 |
| CN103778617A (zh) | 2014-05-07 |
| US9087256B2 (en) | 2015-07-21 |
| TW201417042A (zh) | 2014-05-01 |
| KR101389884B1 (ko) | 2014-05-27 |
| US20140112597A1 (en) | 2014-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103778617B (zh) | 动态图像处理方法以及动态图像处理系统 | |
| JP6275396B2 (ja) | 仮想カメラを対話形式で制御するシステムおよび方法 | |
| RU2707696C1 (ru) | Устройство воспроизведения изображений на экране | |
| JP2019503007A (ja) | 事前定義されたビューポイントルックアップテーブルを用いるサラウンドビューのための３次元レンダリング | |
| US10967790B2 (en) | Image synthesizer for a surround monitoring system | |
| US20140114534A1 (en) | Dynamic rearview mirror display features | |
| JP2017220923A (ja) | 画像生成装置、画像生成方法、およびプログラム | |
| US10897600B1 (en) | Sensor fusion based perceptually enhanced surround view | |
| US10715734B2 (en) | Bird's-eye view video generation device, bird's-eye view video generation method, and non-transitory storage medium | |
| JPWO2018101227A1 (ja) | 表示制御装置、ヘッドマウントディスプレイ、表示制御装置の制御方法、および制御プログラム | |
| CN104956668A (zh) | 图像处理装置以及图像处理方法 | |
| EP3686835A1 (en) | Method and system for panorama stitching of trailer images | |
| JPWO2019077730A1 (ja) | 表示制御装置、表示制御方法、および表示システム | |
| JP2016046747A (ja) | 画像処理装置、画像処理方法、及び、画像表示システム | |
| JP5448056B2 (ja) | 歪み画像補正装置及び方法 | |
| JP2012138876A (ja) | 画像生成装置、画像表示システム及び画像表示方法 | |
| JP2020052671A (ja) | 表示制御装置、車両、表示制御方法 | |
| JP2009124377A (ja) | 車両周辺画像処理装置及び車両周辺状況提示方法 | |
| US20240075876A1 (en) | Below vehicle rendering for surround view systems | |
| JP2007028443A (ja) | 画像表示システム | |
| KR20160089222A (ko) | 차량 및 그 제어 방법 | |
| JP5787930B2 (ja) | ビデオ用の仮想ナビゲーションシステム | |
| JP6827302B2 (ja) | 画像合成装置及び画像合成方法 | |
| WO2024061697A1 (en) | Displaying image data in a vehicle depending on sensor data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160803 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |