CN113892259B - 粘连判断装置以及粘连判断方法 - Google Patents

粘连判断装置以及粘连判断方法 Download PDF

Info

Publication number
CN113892259B
CN113892259B CN202080039853.XA CN202080039853A CN113892259B CN 113892259 B CN113892259 B CN 113892259B CN 202080039853 A CN202080039853 A CN 202080039853A CN 113892259 B CN113892259 B CN 113892259B
Authority
CN
China
Prior art keywords
pixel
cpu
image data
memory
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080039853.XA
Other languages
English (en)
Other versions
CN113892259A (zh
Inventor
谷端伸彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN113892259A publication Critical patent/CN113892259A/zh
Application granted granted Critical
Publication of CN113892259B publication Critical patent/CN113892259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

在本发明的粘连判断装置或者粘连判断方法中,通过总线(42)连接CPU(48)、GPU(46)、存储器(44),针对由相机(2)拍摄到的图像,判断以每个像素的像素值表示的图像数据是否粘连。通过图像获取部(41)从相机获取图像数据并保存于存储器。通过图像获取部,根据一帧的量的图像数据被保存于存储器,将表示划分单位的保存已结束的保存完成通知发送至CPU。通过GPU,在从CPU接受读出粘连判断位置的像素的像素值的读出指示的情况下,从存储器读出像素值并发送至CPU。通过CPU,根据接收到保存完成通知而发送读出指示,并且进行将读出的像素值与被读出这次的像素值的像素的前一次的像素值比较的像素值比较处理(S7)。

Description

粘连判断装置以及粘连判断方法
相关申请的交叉引用
本申请基于2019年6月3日申请的日本专利申请2019-103813号,在此通过参照来引用其记载内容。
技术领域
本发明涉及判断由相机拍摄到的图像数据的粘连的粘连判断装置以及粘连判断方法。
背景技术
已知有使相机拍摄的图像显示于显示装置的技术。在专利文献1中,提出了自动检测显示于显示装置的图像的数据是否异常的技术。在专利文献1所提出的技术中,在获取一帧的量的来自相机的图像数据后,对测定区域内的图像数据进行运动体去除处理。接下来,将测定区域内的图像数据划分为区域,根据各区域的亮度值的平均值或者其变化来检测图像的异常。
专利文献1:WO2015/182751
存在希望判断是否产生作为图像数据的异常的一方式的粘连这一要求。产生粘连时不存在亮度值的变化。相对于此,在未产生粘连时,亮度值存在随时间的变化。因此,若亮度值存在随时间的变化,则判断为未产生粘连。
在专利文献1的技术中,为了降低信号处理负荷,而设定包含多个像素的区域,以区域为单位计算亮度值的平均值。这里,例如,考虑相机搭载于车辆的情况。即使未产生粘连,车辆停止期间各像素的亮度值的变化也较少。因此,在检测粘连的情况下,若如专利文献1那样计算区域的亮度值的平均值,则在产生粘连的情况与正常情况之间,亮度值的平均值的差异较少。因此,通过平均值难以进行粘连的判断。
因此,可考虑按像素比较亮度值与前一次值。在专利文献1所提出的技术中,在取入一帧的量的图像数据后,对测定区域内的图像数据整体开始用于检测异常的处理。
通常,在将由相机拍摄到的图像数据显示于显示器的装置中,CPU、GPU、存储器通过总线连接。在按像素比较亮度值与前一次值的情况下,可考虑执行以下(1)~(4)的处理。
首先,(1)将相机拍摄的图像数据取入存储器。(2)之后,CPU经由总线对GPU委托从存储器获取接下来进行比较的像素的像素值。(3)GPU经由总线从存储器获取被CPU指示的像素值,并将获取的像素值向CPU提供。(4)CPU保存被提供的像素值,并与前一次的像素值比较。针对全部的像素进行(2)~(4)的处理。
在上述(2)~(4)的处理中CPU工作。因此,执行(2)~(4)的处理时的CPU的处理负荷较高。
发明内容
本公开的目的在于,提供能够降低CPU的处理负荷的粘连判断装置以及粘连判断方法。
根据本公开的一方式,对粘连判断装置而言,粘连判断装置具备CPU、GPU、存储器、以及将它们连接的总线,判断以每个像素的像素值表示由相机拍摄到的图像的图像数据是否粘连。粘连判断装置具备从相机获取图像数据并保存于存储器的图像获取部。图像获取部根据已将划分一帧的量的图像数据而得到的划分单位的图像数据保存于存储器,来将表示划分单位的保存已结束的保存完成通知发送至CPU。GPU在从CPU接受从存储器读出粘连判断位置的像素的像素值的读出指示的情况下,从存储器读出像素值并发送至CPU。CPU根据接收到保存完成通知来对GPU发送读出指示。每当划分单位的图像数据向存储器的保存完成时,CPU进行像素值比较处理,以判断图像数据是否粘连,上述像素值比较处理是对该划分单位中的从存储器读出的像素值和被读出这次的像素值的像素的前一次的像素值进行比较的处理。
根据本公开的另一方式,粘连判断方法为具备CPU、GPU、存储器、以及将它们连接的总线、和获取以每个像素的像素值表示由相机拍摄到的图像的图像数据并保存于存储器的图像获取部的装置判断图像数据是否粘连。图像获取部根据已将划分一帧的量的图像数据而得到的划分单位的图像数据保存于存储器,来将表示划分单位的保存已结束的保存完成通知发送至CPU,GPU在从CPU接受从存储器读出粘连判断位置的像素的像素值的读出指示的情况下,从存储器读出像素值并发送至CPU,CPU根据接收到保存完成通知来对GPU发送读出指示,并且,每当划分单位的图像数据向上述存储器的保存完成时,CPU进行像素值比较处理,以判断图像数据是否粘连,上述像素值比较处理是对该划分单位中的从存储器读出的像素值和被读出这次的像素值的像素的前一次的像素值进行比较的处理。
在上述粘连判断装置以及粘连判断方法中,图像获取部将表示划分单位的图像数据的保存已结束的保存完成通知发送至CPU。CPU根据接收到该保存完成通知,来进行用于进行粘连判断的处理(以下称为粘连判断处理)的开始处理亦即读出指示。因此,能够在一帧的量的图像数据全部被取入存储器前开始粘连判断处理。由于能够提前开始粘连判断处理,所以与在一帧的量的图像数据全部被取入存储器后开始粘连判断处理相比,能够分散处理负荷。通过分散处理负荷,能够降低每单位时间的CPU的处理负荷。
进一步地,根据本公开的另一方式,粘连判断装置具备CPU、GPU、存储器、以及将它们连接的总线,判断以每个像素的像素值表示由相机拍摄到的图像的图像数据是否粘连。粘连判断装置具备从相机获取图像数据并保存于存储器的图像获取部。图像获取部根据已将一帧的量的图像数据的一部分或者全部的图像数据保存于存储器,来将表示保存已结束的保存完成通知发送至CPU。GPU在从CPU接受从存储器读出粘连判断位置的像素的像素值的读出指示的情况下,从存储器读出像素值并发送至CPU。CPU根据接收到保存完成通知来对GPU发送读出指示。CPU进行像素值比较处理,以判断图像数据是否粘连,上述像素值比较处理是对从存储器读出的像素值和被读出这次的像素值的像素的前一次的像素值进行比较的处理。CPU将成为粘连判断位置的像素位置设为一帧的量的像素位置的一部分。
进一步地,根据本公开的另一方式,粘连判断方法为具备CPU、GPU、存储器、以及将它们连接的总线、和获取以每个像素的像素值表示由相机拍摄到的图像的图像数据并保存于存储器的图像获取部的装置判断图像数据是否粘连。图像获取部根据已将一帧的量的图像数据的一部分或者全部的图像数据保存于存储器,来将表示保存已结束的保存完成通知发送至CPU,GPU在从CPU接受从存储器读出粘连判断位置的像素的像素值的读出指示的情况下,从存储器读出像素值并发送至CPU,CPU根据接收到保存完成通知来对GPU发送读出指示,CPU进行像素值比较处理,以判断图像数据是否粘连,上述像素值比较处理是对从存储器读出的像素值和被读出这次的像素值的像素的前一次的像素值进行比较的处理,CPU将成为粘连判断位置的像素位置设为一帧的量的像素位置的一部分。
在该粘连判断装置以及粘连判断方法中,将成为粘连判断位置的像素位置设为一帧的量的像素位置的一部分。因此,与将一帧的量的像素位置全部设为粘连判断位置的情况相比较,粘连判断位置较少,所以能够降低CPU的负荷。
附图说明
关于本公开的上述以及其他的目的、特征、优点,根据参照附图的下述详细的说明变得更加明确。在附图中,
图1是相机图像显示系统的结构图。
图2是示出与CPU所执行的粘连判断处理以及粘连判断处理相关并由IPU以及GPU执行的处理的图。
具体实施方式
以下,基于附图,对实施方式进行说明。图1是相机图像显示系统1的结构图。相机图像显示系统1搭载于车辆C。相机图像显示系统1具备相机2、显示器3、控制单元4。这些相机2、显示器3、控制单元4连接于车内LAN总线5。相机2、显示器3、控制单元4能够经由车内LAN总线5相互进行信号的收发。
相机2能够设置于在车外且拍摄车辆前方的位置。另外,相机2的设置位置能够设置于拍摄车辆后方、车厢内的位置。相机2能够连续地拍摄图像。将相机2拍摄的一次的量称为一帧。也可以相机2通过在1秒期间拍摄数十帧以上从而能够拍摄视频。相机2具备图像传感器,图像传感器具备多个像素。相机2通过图像传感器的各像素所检测到的值(以下称为像素值)来表示图像。像素值是不同颜色的亮度值。相机2输出以每个像素的像素值表示拍摄到的图像的图像数据。本实施方式的相机2拍摄的图像为矩形,相机2一次横向一行地输出图像数据。
显示器3配置于在车辆C的车厢中乘客能够视觉确认的位置。显示器3能够显示各种图像。作为显示器3,能够使用液晶显示器、有机EL显示器。
如图1所示,控制单元4具备IPU(Image Processing Unit:图像处理单元)41、总线42、闪存43、主存储器44、缓存45、GPU46、缓存47、CPU48。控制单元4将相机2拍摄到的图像显示于显示器3。另外,控制单元4依次判断图像数据是否粘连。即,控制单元4是粘连判断装置,控制单元4执行粘连判断方法。所谓粘连是指若正常则某像素输出的像素值应当变化但其像素值呈未变化的状态。
IPU41是图像获取部,是具备处理器的结构。IPU41从相机2获取图像数据并保存于主存储器44。由于相机2一次横向一行地输出图像数据,因此IPU41一次横向一行地获取图像数据。IPU41每当获取横向一行的图像数据就将数据保存于主存储器44。在本实施方式中,横向一行的量是将一帧的量的图像数据划分为多个的划分单位。IPU41每当将横向一行的图像数据保存于主存储器44就将保存完成通知输出至CPU48。
在总线42连接有IPU41、闪存43、主存储器44、缓存45、缓存47。闪存43是非易失性存储器。在闪存43存储有CPU48所执行的程序等。主存储器44是易失性存储器。主存储器44例如使用DRAM构成。在主存储器44保存图像数据。保存于主存储器44的图像数据在该图像数据所示出的图像被显示于显示器3后,从主存储器44删除。缓存45能够在与GPU46之间进行数据的收发。缓存45例如使用SRAM构成。
GPU46是图像处理用的处理器,读出保存于主存储器44的图像数据并基于该图像数据在显示器3显示图像。另外,GPU46在接收到来自CPU48的读出指示的情况下,根据该指示从主存储器44读出图像数据。GPU46将读出的图像数据发送至CPU48。
缓存47能够在与CPU48之间进行数据的收发。缓存47例如使用SRAM构成。CPU48是具备处理器的结构,对GPU46进行指示,使显示器3显示相机2拍摄到的图像。另外,CPU48作为粘连判断处理部发挥功能,执行粘连判断处理。粘连判断处理是判断图像数据是否粘连的处理。
CPU48以规定的频度执行粘连判断处理。例如,CPU48在各帧执行粘连判断处理。在执行粘连判断处理的情况下,CPU48向GPU46输出读出指示。读出指示指示从主存储器44读出粘连判断位置的图像的图像数据。粘连判断位置是判断图像数据是否粘连的像素的位置。
在本实施方式中,不是将构成一帧的全部的像素的位置设为粘连判断位置,而是仅将一部分的像素的位置设为粘连判断位置。更详细而言,在本实施方式中,将构成各横向一行的像素中的一部分的像素的位置设为粘连判断位置。因此,在本实施方式中,在每个横向一行中,存在成为粘连判断位置的像素位置和不成为粘连判断位置的像素位置。
在图2中,示出CPU48所执行的粘连判断处理、以及与粘连判断处理相关且由IPU41以及GPU46执行的处理。对每一帧执行图2所示的处理。在S1中,IPU41从相机2取入横向一行的量的图像数据。
在S2中,IPU41将在S1中取入的图像数据保存于主存储器44。在S3中,将保存完成通知发送至CPU48。保存完成通知是表示已取入横向一行的量的图像数据的通知,已取入的图像数据也包含示出是第几个横向一行的图像数据的信息。
CPU48在接收到保存完成通知的情况下,执行S4。在S4中,将读出指示发送至GPU46。在读出指示中,包含确定接下来比较像素值的像素的信息。在本实施方式中,比较像素值的像素与帧无关地为相同的像素。
若GPU46接收到该读出指示,GPU46在S5中从主存储器44获取读出指示所示的像素的像素值。然后,在S6中,GPU46将在S5中获取的像素值向CPU48发送。在S7中,CPU48将在S6中从GPU46发送的这次的像素值与这次被读出像素值的像素的前一次的像素值比较。在比较的结果是这次的像素值与前一次的像素值为相同的值的情况下,判断为图像数据粘连。此外,CPU48将前一次的像素值保存于缓存47直到该S7中的处理结束为止。该S7的处理是像素值比较处理。另外,上述S4至S7是划分粘连判断处理50。划分粘连判断处理50是对作为划分单位的横向一行判断图像数据是否粘连的处理。对全部的划分单位,即在本实施方式中对全部的横向一行进行划分粘连判断处理50的处理是粘连判断处理。
此外,在图2中,S4~S7分别各示出一次。然而,在横向一行的量的像素中的成为粘连判断位置的像素位置为多个的情况下,也可以在一次S4的处理中,将指示读出的像素仅设为横向一行的量的粘连判断位置中的一部分的像素。例如,也可以在一次S4的处理中将进行读出指示的像素仅设为一个像素。在一次S4的处理中将指示读出的像素仅设为横向一行的量的粘连判断位置中的一部分的像素的情况下,重复S4~S7的处理,直到针对对横向一行设定的全部的粘连判断位置的像素值结束像素值比较处理为止。
S11除了取入图像数据的横向一行的位置是在S1中取入了图像数据的横向一行的下一行以外,执行与S1相同的处理。在S12、S13中执行与S2、S3相同的处理。IPU41在执行S3后执行S11。因此,S11、S12、S13在CPU48以及GPU46正在执行划分粘连判断处理50时并行地执行。通过IPU41执行S13,从而CPU48以及GPU46能够使用通过S11~S13的处理取入主存储器44的横向一行的量的图像数据,来进行对该横向一行的划分粘连判断处理50。
Sn1、Sn2、Sn3分别与S1、S2、S3相同。n是构成一帧的横向行的数量。即,在Sn1中,取入最后一行的图像数据。Sn2、Sn3是与S2、S3相同的处理。
CPU48在针对全部的横向一行执行划分粘连判断处理50的结果是任意一个像素位置都判断为粘连的情况下,判断为图像数据粘连。CPU48在判断为图像数据粘连的情况下,例如执行将警告图像输出至显示器3等预先设定的粘连判断时处理。
[实施方式总结]
以上,在进行了说明的本实施方式中,对控制单元4而言,IPU41在已将横向一行的量的图像数据保存于主存储器44的情况下,将保存完成通知发送至CPU48(S3、S13、Sn3)。CPU48在接收到该保存完成通知的情况下,开始划分粘连判断处理50(S4)。因此,在一帧的量的图像数据全部被取入主存储器44之前,能够开始按划分单位划分全部的粘连判断处理后的划分粘连判断处理50。即,与在一帧的量的图像数据全部被取入主存储器44后开始粘连判断处理相比,能够提前开始粘连判断处理。
由于能够提前开始粘连判断处理,因此与在一帧的量的图像数据全部被取入主存储器44后开始粘连判断处理相比,能够分散处理负荷。
具体地进行说明。考虑假设在Sn3的处理结束后开始粘连判断处理的情况。必须结束粘连判断处理的时刻与本实施方式相同。例如,必须结束粘连判断处理的时刻为到相机2拍摄完下一帧为止。将其设为比较例。相对于比较例,在本实施方式中,与从S3的处理结束的时刻到Sn3的处理结束为止的时间对应地,可用于划分粘连判断处理50的时间较长。换言之,比较例由于必须在与本实施方式相比较短的时间内进行粘连判断处理,因此需要处理速度高的昂贵的CPU48。
与此相对,在本实施方式中,与比较例相比,与从S3的处理结束的时刻到Sn3的处理结束为止的时间对应地,可用于划分粘连判断处理50的时间较长。可以说通过从S3的处理结束的时刻开始划分粘连判断处理50(即粘连判断处理的一部分),来使粘连判断处理分散。由此,能够使每单位时间需要执行的处理减少,因此CPU48的负荷减少。
另外,在划分粘连判断处理50所包含的S4、S5、S6中,图像数据流经总线42。在比较例中,S4、S5、S6的处理也集中在一段时间内。因此,总线42需要使用通信速度较高的总线。与此相对,在本实施方式中,伴随着通过划分粘连判断处理50使CPU48的处理在时间上分散,每单位时间的总线负荷也减少。
另外,在本实施方式中,将在一帧的量的粘连判断处理中成为粘连判断位置的像素位置设为一帧的量的像素位置的一部分。由此,与将一帧的量的像素位置全部设为粘连判断位置的情况相比较,粘连判断位置较少。通过这一点,也能够降低CPU48的负荷。
相机2的拍摄范围无论是车外还是车内,相机2的拍摄对象都是模拟信息。因此,若未粘连,则关于相同的像素位置的像素值存在即使相机2不移动也不成为相同的像素值这一特征。另外,图像数据的粘连通常不是仅一个像素的数据粘连,而是多个或全部的像素的数据粘连。
因此,如本实施方式那样,即使将成为粘连判断位置的像素位置设为一帧的量的像素位置的一部分,也抑制粘连判断的精度降低。因此,在本实施方式中,能够降低CPU48的负荷,并且抑制粘连判断的精度降低。
在本实施方式中,相机2搭载于车辆C。在相机2拍摄车辆外的车辆前方或者后方的情况下,控制单元4对每帧判断粘连,以使得对车辆控制或驾驶操作没有妨碍。另外,也需要控制单元4的低成本化。因此,不能够使用高性能的CPU48的情况也较多。
在本实施方式中,如上述那样,能够减少CPU48的处理负荷,因此也可以不使用处理速度快的昂贵的CPU48。因此,根据本实施方式,能够通过低成本的控制单元4对每帧判断粘连。
以上,对实施方式进行了说明,但公开的技术并不限于上述的实施方式,以下的变形例也包含在公开的范围中,并且,下述以外也能够在不脱离要旨的范围内进行各种变更并实施。此外,在以下的说明中,具有与至此所使用的附图标记相同的编号的附图标记的要素除了特别提及的情况之外,与在此以前的实施方式中的相同附图标记的要素相同。另外,在仅说明结构的一部分的情况下,对于结构的其它部分,能够应用先前说明的实施方式。
<变形例1>
在实施方式中,在划分粘连判断处理50中,仅将一部分的像素位置设为粘连判断位置。然而,如上述那样,通过划分粘连判断处理50能够减少CPU48的负荷。因此,在进行划分粘连判断处理50的情况下,并不必须需要仅将一部分的像素位置设为粘连判断位置,也可以将全部的像素位置设为粘连判断位置。
<变形例2>
另外,若仅将一部分的像素位置设为粘连判断位置,则能够减少CPU48的负荷。因此,在仅将一部分的像素位置设为粘连判断位置的情况下,也可以不实施划分粘连判断处理50,而在全部的图像数据保存于主存储器44后,将各粘连判断位置的像素值与前一次的像素值比较。
<变形例3>
在实施方式中,粘连判断位置固定。因此,在实施方式中,设为粘连判断位置的像素位置的数量不变化。然而,也可以使设为粘连判断位置的像素位置的数量为CPU48的负荷越高则越少的数量。设为粘连判断位置的像素位置的数量也可以根据CPU48的负荷而阶段性地减少,另外,也可以根据CPU48的负荷而连续地减少。CPU48的负荷能够根据CPU48的使用率确定。CPU48的使用率越低则CPU48的负荷越低。
CPU48也执行对GPU46进行指示而使显示器3显示相机2拍摄的图像的处理和粘连判断处理以外的处理(以下称为其他处理)。因此,通过如本变形例3那样,通过使设为粘连判断位置的像素位置的数量为CPU48的负荷越高则越少的数量,从而能够抑制在其他处理中产生延迟。
另外,在本变形例3中,CPU48的负荷越低,则在粘连判断处理中越增多设为粘连判断位置的像素位置的数量。设为粘连判断位置的像素位置的数量越多,则粘连判断的精度越高。因此,若成为本变形例3那样,则能够抑制在其他处理中产生延迟,并且提高粘连判断的精度。
此外,在根据CPU48的负荷变更设为粘连判断位置的像素位置的数量的情况下,粘连判断位置的至少一部分不是前一次的粘连判断位置。在以下的变形例中,也存在这次的粘连判断位置的至少一部分不是前一次的粘连判断位置的情况。
在这次的粘连判断位置的至少一部分不是前一次的粘连判断位置的情况下,在主存储器44中除了保存这次的图像数据以外还保存前一次的图像数据,在S5中,GPU46获取这次的图像值以及前一次的像素值即可。然后,在S6中,GPU46将这次的像素值和前一次的像素值发送至CPU48。
<变形例4>
在实施方式中,粘连判断位置固定。然而,也可以按帧变更设为粘连判断位置的像素位置的至少一部分。能够将设为粘连判断位置的像素位置变更为前一次的粘连判断位置的一个横向相邻的像素位置。该情况下,在前一次的粘连判断位置是横向一行的端部,而接下来设为粘连判断位置的一侧的横向相邻的位置没有像素的情况下,下一粘连判断位置设为该横向一行上的相反侧的端部的像素位置。
<变形例5>
另外,作为在按帧变更设为粘连判断位置的像素位置的至少一部分的其他的方式,也可以按帧随机决定变更的粘连判断位置。
<变形例6>
另外,在粘连判断位置与帧无关地设定于相同的位置的情况下,不需要将每一个像素位置与前一次的像素值比较。在一帧的量的粘连判断处理中,也可以根据位于粘连判断位置的多个像素的像素值计算哈希值。该情况下,将该哈希值与根据计算出该哈希值的像素的前一次的像素值计算出的前一次的哈希值比较。然后,若这次的哈希值与前一次的哈希值一致,则判断为图像数据粘连。若这样,则能够进一步减轻CPU48的负荷。
计算哈希值的多个像素例如能够设为横向一行内的多个像素。另外,也能够设为纵向一行内的多个像素。
<变形例7>
在实施方式中,将划分单位设为横向一行。然而,划分单位不限于横向一行。划分单位优选设为IPU41向主存储器44保存图像数据的单位。若IPU41能够以与横向一行的量的图像数据相比较小的单位向主存储器44保存图像数据,则也可以将划分单位设为与横向一行相比较小的单位。另外,若与一帧的量的图像数据相比较少,则也可以将多个行的图像数据设为划分单位。
<变形例8>
CPU48以及GPU46是控制部。这些本公开所记载的控制部以及其方法也可以通过构成通过被编程以执行由计算机程序具体化的一个或多个功能的处理器的专用计算机来实现。或者,本公开所记载的控制部以及其方法也可以通过专用硬件逻辑电路来实现。或者,本公开所记载的控制部以及其方法也可以通过由执行计算机程序的处理器和一个以上的硬件逻辑电路的组合构成的一个以上的专用计算机来实现。硬件逻辑电路例如是ASIC、FPGA。
另外,存储计算机程序的存储介质不限于ROM,作为由计算机执行的指令存储于计算机可读取的非过渡有形记录介质即可。例如,也可以在闪存存储有上述程序。
这里,本公开所记载的流程图、或者流程图的处理由多个步骤(或者称为部分)构成,各步骤例如表述为S1。并且,各步骤能够分割为多个子步骤,另一方面,也能够多个步骤合起来成为一个步骤。
以上,例示了本公开的一方式所涉及的粘连判断装置以及粘连判断方法的实施方式、结构、方式,但本公开所涉及的实施方式、结构、方式不限定于上述的各实施方式、各结构、各方式。例如,将不同的实施方式、结构、方式分别公开的技术部分适当地组合而获得的实施方式、结构、方式也被包含于本发明的实施方式、结构、方式的范围。

Claims (18)

1.一种粘连判断装置,是具备CPU、GPU、存储器、以及将它们连接的总线,并判断图像数据是否粘连的粘连判断装置,该图像数据以每个像素的像素值表示由相机拍摄到的图像,其中,
具备图像获取部,该图像获取部从上述相机获取上述图像数据并保存于上述存储器,
上述图像获取部根据已将划分一帧的量的上述图像数据而得到的划分单位的上述图像数据保存于上述存储器,来将表示上述划分单位的保存已结束的保存完成通知发送至上述CPU,
上述GPU在从上述CPU接受从上述存储器读出粘连判断位置的像素的上述像素值的读出指示的情况下,从上述存储器读出上述像素值并发送至上述CPU,
上述CPU根据接收到上述保存完成通知,来对上述GPU发送上述读出指示,并且,
每当上述划分单位的图像数据向上述存储器的保存完成时,上述CPU进行像素值比较处理,以判断上述图像数据是否粘连,上述像素值比较处理是对上述划分单位中的从上述存储器读出的上述像素值和被读出这次的像素值的像素的前一次的像素值进行比较的处理。
2.根据权利要求1所述的粘连判断装置,其中,
上述CPU将在判断一帧的量的上述图像数据是否粘连的处理中成为上述粘连判断位置的像素位置设为一帧的量的像素位置的一部分。
3.根据权利要求2所述的粘连判断装置,其中,
上述相机搭载于车辆并拍摄上述车辆的前方或者后方,
上述粘连判断装置按帧判断上述图像数据是否粘连。
4.根据权利要求2所述的粘连判断装置,其中,
上述CPU根据CPU负荷的高低,来减少在判断一帧的量的上述图像数据是否粘连的处理中成为上述粘连判断位置的像素位置的数量。
5.根据权利要求2~4中任一项所述的粘连判断装置,其中,
上述CPU按帧变更在判断一帧的量的上述图像数据是否粘连的处理中成为上述粘连判断位置的像素位置的至少一部分。
6.根据权利要求5所述的粘连判断装置,其中,
上述CPU将在判断一帧的量的上述图像数据是否粘连的处理中成为上述粘连判断位置的像素位置变更为前一次的上述粘连判断位置的相邻的像素位置。
7.根据权利要求5所述的粘连判断装置,其中,
上述CPU按帧随机决定在判断一帧的量的上述图像数据是否粘连的处理中成为上述粘连判断位置的像素位置。
8.根据权利要求1~3中任一项所述的粘连判断装置,其中,
上述粘连判断位置与帧无关地设定为相同的位置,
上述CPU在判断一帧的量的上述图像数据是否粘连的处理中根据位于上述粘连判断位置的多个像素的像素值计算哈希值,将该哈希值与根据计算出该哈希值的像素的前一次的像素值计算出的前一次的哈希值比较,来判断上述图像数据是否粘连。
9.根据权利要求8所述的粘连判断装置,其中,
上述CPU根据纵向或者横向一行内的上述像素的像素值计算上述哈希值。
10.一种粘连判断装置,是具备CPU、GPU、存储器、以及将它们连接的总线,并判断图像数据是否粘连的粘连判断装置,该图像数据以每个像素的像素值表示由相机拍摄到的图像,其中,
具备图像获取部,该图像获取部从上述相机获取上述图像数据并保存于上述存储器,
上述图像获取部根据已将一帧的量的上述图像数据的一部分或者全部的上述图像数据保存于上述存储器,来将表示保存已结束的保存完成通知发送至上述CPU,
上述GPU在从上述CPU接受从上述存储器读出粘连判断位置的像素的上述像素值的读出指示的情况下,从上述存储器读出上述像素值并发送至上述CPU,
上述CPU根据接收到上述保存完成通知来对上述GPU发送上述读出指示,
上述CPU进行像素值比较处理,以判断上述图像数据是否粘连,上述像素值比较处理是对从上述存储器读出的上述像素值和被读出这次的像素值的像素的前一次的像素值进行比较的处理,
上述CPU将成为上述粘连判断位置的像素位置设为一帧的量的像素位置的一部分。
11.根据权利要求10所述的粘连判断装置,其中,
上述CPU根据CPU负荷的高低来减少在判断一帧的量的上述图像数据是否粘连的处理中成为上述粘连判断位置的像素位置的数量。
12.根据权利要求10或11所述的粘连判断装置,其中,
上述CPU按帧变更在判断一帧的量的上述图像数据是否粘连的处理中成为上述粘连判断位置的像素位置的至少一部分。
13.根据权利要求12所述的粘连判断装置,其中,
上述CPU将在判断一帧的量的上述图像数据是否粘连的处理中成为上述粘连判断位置的像素位置变更为前一次的上述粘连判断位置的相邻的像素位置。
14.根据权利要求12所述的粘连判断装置,其中,
上述CPU按帧随机决定在判断一帧的量的上述图像数据是否粘连的处理中成为上述粘连判断位置的像素位置。
15.根据权利要求10所述的粘连判断装置,其中,
上述粘连判断位置与帧无关地设定为相同的位置,
上述CPU在判断一帧的量的上述图像数据是否粘连的处理中根据位于上述粘连判断位置的多个像素的像素值计算哈希值,将该哈希值与根据计算出该哈希值的像素的前一次的像素值计算出的前一次的哈希值比较,来判断上述图像数据是否粘连。
16.根据权利要求15所述的粘连判断装置,其中,
上述CPU根据纵向或者横向一行内的上述像素的像素值计算上述哈希值。
17.一种粘连判断方法,是具备CPU、GPU、存储器、以及将它们连接的总线、和图像获取部的装置判断图像数据是否粘连的粘连判断方法,该图像获取部获取以每个像素的像素值表示由相机拍摄到的图像的上述图像数据并保存于上述存储器,其中,
上述图像获取部根据已将划分一帧的量的上述图像数据而得到的划分单位的上述图像数据保存于上述存储器,来将表示上述划分单位的保存已结束的保存完成通知发送至上述CPU,
上述GPU在从上述CPU接受从上述存储器读出粘连判断位置的像素的上述像素值的读出指示的情况下,从上述存储器读出上述像素值并发送至上述CPU,
上述CPU根据接收到上述保存完成通知来对上述GPU发送上述读出指示,并且,
每当上述划分单位的图像数据向上述存储器的保存完成时,上述CPU进行像素值比较处理,以判断上述图像数据是否粘连,上述像素值比较处理是对上述划分单位中的从上述存储器读出的上述像素值和被读出这次的像素值的像素的前一次的像素值进行比较的处理。
18.一种粘连判断方法,是具备CPU、GPU、存储器、以及将它们连接的总线、和图像获取部的装置判断图像数据是否粘连的粘连判断方法,该图像获取部获取以每个像素的像素值表示由相机拍摄到的图像的上述图像数据并保存于上述存储器,其中,
上述图像获取部根据已将一帧的量的上述图像数据的一部分或者全部的上述图像数据保存于上述存储器,来将表示保存已结束的保存完成通知发送至上述CPU,
上述GPU在从上述CPU接受从上述存储器读出粘连判断位置的像素的上述像素值的读出指示的情况下,从上述存储器读出上述像素值并发送至上述CPU,
上述CPU根据接收到上述保存完成通知来对上述GPU发送上述读出指示,
上述CPU进行像素值比较处理,以判断上述图像数据是否粘连,上述像素值比较处理是对从上述存储器读出的上述像素值和被读出这次的像素值的像素的前一次的像素值进行比较的处理,
上述CPU将成为上述粘连判断位置的像素位置设为一帧的量的像素位置的一部分。
CN202080039853.XA 2019-06-03 2020-03-20 粘连判断装置以及粘连判断方法 Active CN113892259B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019103813A JP7247760B2 (ja) 2019-06-03 2019-06-03 固着判断装置および固着判断方法
JP2019-103813 2019-06-03
PCT/JP2020/012557 WO2020246117A1 (ja) 2019-06-03 2020-03-20 固着判断装置および固着判断方法

Publications (2)

Publication Number Publication Date
CN113892259A CN113892259A (zh) 2022-01-04
CN113892259B true CN113892259B (zh) 2024-03-22

Family

ID=73649337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080039853.XA Active CN113892259B (zh) 2019-06-03 2020-03-20 粘连判断装置以及粘连判断方法

Country Status (5)

Country Link
US (1) US20220058412A1 (zh)
JP (1) JP7247760B2 (zh)
CN (1) CN113892259B (zh)
DE (1) DE112020002689T5 (zh)
WO (1) WO2020246117A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102663270B1 (ko) * 2022-01-25 2024-05-07 현대모비스 주식회사 차량의 디스플레이 장치의 화면 정지 오류를 검출하는 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4698622B2 (ja) * 2007-01-31 2011-06-08 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像異常検出装置、映像伝送装置、映像異常検出方法、及び映像伝送方法
JP5207823B2 (ja) * 2008-05-14 2013-06-12 アルパイン株式会社 画像判断装置および画像判断方法
JP2016225904A (ja) * 2015-06-02 2016-12-28 株式会社デンソー 画像信号処理装置
CN107102936A (zh) * 2017-05-27 2017-08-29 腾讯科技(深圳)有限公司 一种流畅度的评估方法和移动终端以及存储介质
JP2018079839A (ja) * 2016-11-17 2018-05-24 株式会社デンソー 車両用表示システムおよびフリーズ検出装置
JP2018107588A (ja) * 2016-12-26 2018-07-05 ルネサスエレクトロニクス株式会社 画像処理装置および半導体装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060164228A1 (en) * 2005-01-18 2006-07-27 Huan-Chin Tseng Rearview mirror with multiple monitors
US7750956B2 (en) * 2005-11-09 2010-07-06 Nvidia Corporation Using a graphics processing unit to correct video and audio data
EP3151552A4 (en) 2014-05-30 2018-02-21 Hitachi Kokusai Electric Inc. Monitoring system and camera device
US10575746B2 (en) 2017-12-14 2020-03-03 Biosense Webster (Israel) Ltd. Epicardial mapping

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4698622B2 (ja) * 2007-01-31 2011-06-08 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像異常検出装置、映像伝送装置、映像異常検出方法、及び映像伝送方法
JP5207823B2 (ja) * 2008-05-14 2013-06-12 アルパイン株式会社 画像判断装置および画像判断方法
JP2016225904A (ja) * 2015-06-02 2016-12-28 株式会社デンソー 画像信号処理装置
JP2018079839A (ja) * 2016-11-17 2018-05-24 株式会社デンソー 車両用表示システムおよびフリーズ検出装置
JP2018107588A (ja) * 2016-12-26 2018-07-05 ルネサスエレクトロニクス株式会社 画像処理装置および半導体装置
CN107102936A (zh) * 2017-05-27 2017-08-29 腾讯科技(深圳)有限公司 一种流畅度的评估方法和移动终端以及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CPU/GPU协同并行计算研究综述;卢风顺等;计算机科学;第38卷(第3期);5-9+46 *
CPU/GPU异构环境下图像协同并行处理模型;杨洪余;集成技术;第6卷(第05期);8-18 *

Also Published As

Publication number Publication date
US20220058412A1 (en) 2022-02-24
JP7247760B2 (ja) 2023-03-29
JP2020198551A (ja) 2020-12-10
CN113892259A (zh) 2022-01-04
DE112020002689T5 (de) 2022-04-07
WO2020246117A1 (ja) 2020-12-10

Similar Documents

Publication Publication Date Title
CN109565547B (zh) 图像处理装置、图像处理方法以及图像处理电路
JP6891460B2 (ja) 車両用表示システムおよびフリーズ検出装置
US7679655B2 (en) Image-data processing apparatus, image-data processing method, and imaging system for flicker correction
EP2579570B1 (en) Signal processing device and still image generation method
WO2016021127A1 (ja) 表示機器
US8648941B2 (en) Image processor, method of controlling the same, and storage medium
US10228699B2 (en) Image generation apparatus
JP5759907B2 (ja) 車載撮像装置
CN113892259B (zh) 粘连判断装置以及粘连判断方法
EP1718064A1 (en) Image generating apparatus for vehicles and method
US20160050342A1 (en) Image processing apparatus
JP6317914B2 (ja) 車載画像処理装置
US10088770B2 (en) Imaging display system and imaging display method
JP5207823B2 (ja) 画像判断装置および画像判断方法
US20210211605A1 (en) Image processing apparatus and image display system
US20220060604A1 (en) Driver assistance system, driver assisting method, and non-transitory storage medium
JP7333135B2 (ja) 信号処理回路
US9264609B2 (en) Image processing apparatus using overlap width data
KR20130029962A (ko) 차량용 영상 표시 장치 및 차량용 카메라로부터 입력된 급격한 영상 변화 표시 방법
US11006068B1 (en) Video recording based on image variance
JP2001184586A (ja) 画像処理装置、画像処理方法及び車両監視システム
CN112238819A (zh) 用于记录车辆的行驶影像的装置及方法
JP2019096972A (ja) 情報処理装置
US20220417495A1 (en) Stale video detection
JP7009295B2 (ja) 表示制御装置、表示制御方法及びカメラモニタリングシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant