CN107018314A - 拍摄系统 - Google Patents

拍摄系统 Download PDF

Info

Publication number
CN107018314A
CN107018314A CN201610982193.4A CN201610982193A CN107018314A CN 107018314 A CN107018314 A CN 107018314A CN 201610982193 A CN201610982193 A CN 201610982193A CN 107018314 A CN107018314 A CN 107018314A
Authority
CN
China
Prior art keywords
heating portion
work
shooting
control unit
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201610982193.4A
Other languages
English (en)
Inventor
原田裕士
出水义房
玉置友康
畑山弘孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN107018314A publication Critical patent/CN107018314A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/55—Details of cameras or camera bodies; Accessories therefor with provision for heating or cooling, e.g. in aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B3/00—Ohmic-resistance heating
    • H05B3/84—Heating arrangements specially adapted for transparent or reflecting areas, e.g. for demisting or de-icing windows, mirrors or vehicle windshields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/023—Cleaning windscreens, windows or optical devices including defroster or demisting means
    • B60S1/026—Cleaning windscreens, windows or optical devices including defroster or demisting means using electrical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • B60S1/0848—Cleaning devices for cameras on vehicle
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B1/00—Details of electric heating devices
    • H05B1/02—Automatic switching arrangements specially adapted to apparatus ; Control of heating devices
    • H05B1/0227—Applications
    • H05B1/023—Industrial applications
    • H05B1/0236—Industrial applications for vehicles
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B3/00—Ohmic-resistance heating
    • H05B3/84—Heating arrangements specially adapted for transparent or reflecting areas, e.g. for demisting or de-icing windows, mirrors or vehicle windshields
    • H05B3/86—Heating arrangements specially adapted for transparent or reflecting areas, e.g. for demisting or de-icing windows, mirrors or vehicle windshields the heating conductors being embedded in the transparent or reflecting material
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026—Windows, e.g. windscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Resistance Heating (AREA)

Abstract

本发明提供拍摄系统。提供一种在消除拍摄图像不清晰的状态的处理中，抑制不必要的电力消耗的技术。拍摄装置(10)透过车辆的玻璃拍摄车外。图像处理部(24)判定拍摄装置(10)拍摄的拍摄图像是否清晰。在图像处理部(24)判定为拍摄图像不清晰的情况下，控制部(26)使升温部(18)工作从而使玻璃区域升温。如果在从升温部(18)工作起到经过规定时间为止拍摄图像不清晰的状态未消除，则控制部(26)在经过规定时间时停止升温部(18)的工作，禁止以后的升温部(18)的工作。

Description

拍摄系统
技术领域
本发明涉及搭载于车辆的拍摄系统。
背景技术
以往，已知有在车厢内设置拍摄装置，透过玻璃拍摄车辆外部(车外)的系统。搭载于车辆的驾驶辅助系统依据车载拍摄装置透过玻璃拍摄到的图像检测车辆周围的行人、车辆，实施对驾驶员输出警报等的驾驶辅助处理。如果车载拍摄装置的拍摄范围中所含的玻璃区域结雾，则车载拍摄装置无法良好地拍摄车外，因此驾驶辅助系统必须中止基于拍摄图像的驾驶辅助处理。因此，优选防止或除去玻璃的结雾，使车载拍摄装置能够良好地拍摄车外。
专利文献1公开了透过车辆的玻璃拍摄车外的拍摄系统。在专利文献1所公开的拍摄系统中，在车载拍摄装置的拍摄范围所含的玻璃区域设置使玻璃升温的热丝，如果基于车载拍摄装置的拍摄图像判断为在玻璃结雾，则使热丝发热除去玻璃的结雾。另一方面，当玻璃未结雾时，使热丝不进行工作以避免消耗不必要的电力。
专利文献1：日本特开2004-112329号公报
为了判定在玻璃上结雾，例如可以设置专用的结雾检测用传感器，不过如专利文献1所公开的那样，如果采用通过检测到拍摄图像不清晰即判定玻璃的结雾的方法，则无需设置专用的传感器，能够实现低成本化。然而，根据该方法，当在车辆行驶中玻璃上附着有泥等污垢的情况下，也会检测到拍摄图像不清晰。在专利文献1的技术中，在检测到拍摄图像处于不清晰的状态的期间，使热丝持续工作，不过由于玻璃变热后无法除去附着的污垢，因此造成不必要的电力消耗。
发明内容
本发明是鉴于上述情况而形成的，其目的在于提供在消除拍摄图像不清晰的状态的处理中，抑制不必要的电力消耗的技术。
为了解决上述课题，本发明的某个方式的搭载于车辆的拍摄系统具备：拍摄装置，该拍摄装置透过车辆的玻璃拍摄车外；升温部，该升温部用于至少使拍摄装置的拍摄范围中所含的玻璃的区域升温；图像处理部，该图像处理部判定拍摄装置所拍摄的拍摄图像是否清晰；以及控制部，该控制部在图像处理部判定为拍摄图像不清晰的情况下，使升温部工作从而使玻璃的区域升温。如果从升温部工作起到经过规定时间为止拍摄图像不清晰的状态未消除，则控制部在经过规定时间时停止升温部的工作，禁止以后的升温部的工作。
根据该方式，在从升温部工作起到经过规定时间为止拍摄图像不清晰的状态仍未消除的情况下，拍摄图像不清晰并非由玻璃的结雾或上霜所致，而是玻璃受到污染所致的可能性较高，因此通过禁止以后的升温部的工作，能够抑制不必要的电力消耗。
图像处理部具有判定拍摄图像不清晰的状态是否消除的功能。如果图像处理部判定为在从升温部工作起经过规定时间时拍摄图像不清晰的状态未消除，则控制部禁止以后的升温部的工作。由此，能够抑制不必要的电力消耗。
图像处理部具有判定拍摄图像不清晰的状态是否消除的功能。如果图像处理部判定为在从升温部工作起经过规定时间之前拍摄图像不清晰的状态已消除，则控制部不禁止规定时间经过后的升温部的工作。由于升温部的工作使得拍摄图像变得清晰，由此在经过规定时间后使升温部仍能够工作，由此能够有效地防止或除去玻璃的结雾或上霜的发生。
在升温部的工作禁止中，如果图像处理部判定为拍摄图像不清晰的状态已消除，则控制部也可以解除升温部的工作禁止。当玻璃的污垢被除去的情况下，控制部迅速使升温部复原成能够工作的状态，由此随后在玻璃结雾或上霜的情况下，使升温部工作，能够除去玻璃的结雾或上霜。
根据本发明，提供在消除拍摄图像不清晰的状态的处理中，抑制不必要的电力消耗的技术。
附图说明
图1为表示搭载于车辆的拍摄系统的图。
图2为表示处理装置的结构的图。
图3中，(a)以及(b)为表示拍摄装置所拍摄的拍摄图像的例子的图。
图4为表示拍摄状态判定处理的流程图的图。
图5为表示升温控制的流程图的一例的图。
图6为表示升温控制中的时序图的一例的图。
图7为表示升温控制中的时序图的其他例子的图。
图8为表示升温控制的流程图的其他例子的图。
具体实施方式
图1示出搭载于车辆的拍摄系统1。实施例的拍摄系统1具备拍摄装置10、升温部18以及处理装置20。拍摄装置10安装于车辆内，透过车辆2的玻璃拍摄车外。在图1所示的例子中，拍摄装置10透过前风挡玻璃12拍摄车辆2的前方。拍摄装置10具备拍摄元件13，可以作为单眼拍摄装置、立体拍摄装置、红外拍摄装置构成。此外，拍摄装置10除了具备拍摄元件13以外，还可以具备激光传感器等的物体检测传感器。拍摄装置10的框体以拍摄元件13的光轴14朝向车辆前方的方式被安装于前风挡玻璃12、后视镜或者车厢顶部等。
拍摄装置10对车外进行周期性拍摄，并将拍摄图像向处理装置20供给。拍摄范围15表现拍摄元件13的左右方向的视场角，拍摄区域16是拍摄装置10的拍摄范围15中所含的前风挡玻璃12的区域，换句话说是由拍摄元件13拍摄的前风挡玻璃12的区域。
升温部18设置在拍摄区域16的周围，以便至少使拍摄区域16升温。例如升温部18可以是接受电力的供给而发热的热丝。作为升温部18的热丝可以形成于前风挡玻璃12的内表面，也可以形成于前风挡玻璃12的内部。另外，作为升温部18的热丝可以不形成在拍摄区域16的周围，而通过透明材料形成在拍摄区域16的内侧。此外，升温部18可以设置于拍摄装置10侧，例如可以是设置于拍摄装置10的机罩的热丝，也可以构成为向拍摄区域16供给热风。
图2示出处理装置20的结构。处理装置20具备拍摄图像取得部22、图像处理部24以及控制部26。在图2中，作为进行各种处理的功能模块记载的各要素，在硬件方面可以由电路块、存储器、其他的LSI构成，在软件方面由加载于存储器的程序等实现。因此，对于本领域技术人员而言，这些功能模块可以仅由硬件、仅由软件或者硬件与软件的组合来实现是显而易见的，均未被限定。
拍摄图像取得部22取得由拍摄装置10周期性地拍摄的拍摄图像，并向图像处理部24供给。图像处理部24具有判定拍摄装置10拍摄的拍摄图像是否清晰的功能。前风挡玻璃12的拍摄区域16由拍摄元件13拍摄，因此如果拍摄区域16结雾或上霜，会使拍摄元件13无法良好地拍摄外部，拍摄图像变得不清晰。
在实施例中，由拍摄装置10取得的拍摄图像被用于驾驶辅助系统所进行的驾驶辅助处理。图像处理部24具有为了进行驾驶辅助处理而从拍摄图像检测车辆、人等的物体的功能。具体而言，图像处理部24将拍摄图像中所含的边缘、边角等作为特征点进行检测，并利用模板匹配检测拍摄图像中所含的物体。此外，图像处理部24可以针对在时间上连续的多个拍摄图像跟踪特征点，检测物体与本车的速度差等的信息。以这样的信息为基础，驾驶辅助系统判定检测的物体与本车的碰撞可能性，实施向驾驶员输出警报等的驾驶辅助处理。此外，结构物等的静止物的特征点从多个拍摄图像中的差分中提取，因此为了便于图像处理部24检测特征点，车辆2优选以规定的速度(例如5km/h)以上行驶。
图3(a)以及图3(b)示出拍摄装置10所拍摄的拍摄图像的例子。图3(a)所示的拍摄图像10a被良好地拍摄，图像处理部24将拍摄图像10a进行图像解析来检测特征点，检测拍摄图像中所含的物体。另一方面，图3(b)所示的拍摄图像10b未被良好地拍摄，图像处理部24无法从拍摄图像10b适当检测特征点。
实施例的图像处理部24在无法从拍摄图像适当取得特征点的情况下，判定为拍摄图像不清晰。例如，图像处理部24如图3(a)以及图3(b)所示那样将拍摄图像分割成多个区域，确定能够检测特征点的分割区域和无法检测特征点的分割区域。在该例中，将拍摄图像分割为25(5×5)个区域。图3(a)的拍摄图像10a被良好地拍摄，因此图像处理部24在拍摄图像10a的全部的分割区域检测到特征点。另一方面，图3(b)的拍摄图像10b未得到良好拍摄，图像处理部24在拍摄图像10b的几个分割区域中无法检测到特征点。实施例的图像处理部24根据能够检测特征点的分割区域的数目与无法检测特征点的分割区域的数目，判定拍摄图像是清晰还是不清晰。
如果在多个分割区域中的、第1规定的比例(Ru％)以上的分割区域未检测到特征点，则图像处理部24可以判定为拍摄图像不清晰。例如，当未检测到特征点的区域数目为总数的50％以上的情况下，图像处理部24判定为拍摄图像不清晰。如果判定为拍摄图像不清晰，则图像处理部24将不清晰标志设定为“有效”。
在本例中，分割区域的总数为25个，因此如果在13个以上的分割区域未检测到特征点，则图像处理部24判定为拍摄图像不清晰。另一方面，在未检测到特征点的区域数目比总数的50％少的情况下，换句话说在未检测到特征点的区域数目为12个以下的情况下，图像处理部24判定为拍摄图像清晰。
图像处理部24在判定为拍摄图像处于不清晰的状态后，判定不清晰的状态是否消除。如果分割拍摄图像的多个分割区域中的、未检测到特征点的分割区域为第2规定的比例(Rl％)以下，则图像处理部24可以判定拍摄图像不清晰的状态已消除。这样，图像处理部24具有判定拍摄图像是否清晰的功能和判定拍摄图像不清晰的状态是否消除的功能，以下，将该功能的处理称作“拍摄状态判定处理”。在拍摄状态判定处理中，当将表示用于判定拍摄图像处于不清晰的状态的第1规定的比例的判定阈值Ru与表示用于判定拍摄图像不清晰的状态消除的第2规定的比例的判定阈值Rl进行比较时，设定为Ru＞Rl。
例如当将Rl与Ru设定为相等的情况下，尽管玻璃的状态无变化，在拍摄状态判定处理的判定结果中也会产生偏差。因此，优选通过设定为Ru＞Rl，来使拍摄状态判定处理的判定结果稳定。例如，当未检测到特征点的区域数为分割区域总数的30％以下的情况下，图像处理部24判定拍摄图像不清晰的状态已消除。如果判定拍摄图像不清晰的状态消除，则将图像处理部24不清晰标志设定为“无效”。
图4示出拍摄状态判定处理的流程图。拍摄状态判定处理在实施条件成立的情况下(S10的是)被执行。该实施条件至少包括车辆2的起动开关被操作且IG(点火开关)接通。另外，如上所述，图像处理部24对于特征点的检测在车辆2以规定的速度(例如5km/h)以上行驶时被适当执行，因此拍摄状态判定处理可以在IG接通且车辆2的速度达到规定速度(例如5km/h)以上时实施。不清晰标志在初始状态下被设定为“无效”。
在不清晰标志被设定为无效的情况(S12的是)下，图像处理部24判定拍摄图像是否清晰(S14)。在此，如果在多个分割区域中的、大于第1规定的比例(Ru％)的分割区域未检测到特征点，则图像处理部24判定为拍摄图像不清晰(S14的否)，如果在第1规定的比例以上的分割区域检测到特征点，则判定为拍摄图像清晰(S14的是)。如果判定为拍摄图像不清晰，则图像处理部24将不清晰标志设定为有效(S16)。此外，图像处理部24也可以在时间上连续的多张拍摄图像中，连续检测出未检测到特征点的分割区域的比例达到第1规定的比例(Ru％)以上的情况下，判定为拍摄图像不清晰。
当不清晰标志被设定为有效的情况(S12的否)下，图像处理部24判定拍摄图像不清晰的状态是否消除(S18)。在此，如果相对于分割区域的总数，未检测到特征点的分割区域数为第2规定的比例(Rl％)以下，则图像处理部24判定为拍摄图像不清晰的状态已消除(S18的是)，如果未检测到特征点的分割区域数比第2规定的比例(Rl％)多，则判定为拍摄图像不清晰的状态未消除(S18的否)。如果判定为拍摄图像不清晰的状态已消除，则图像处理部24将不清晰标志设定为无效(S20)。此外，图像处理部24也可以在时间上连续的多张拍摄图像中，连续检测出未检测到特征点的分割区域的比例为第2规定的比例(Rl％)以下的情况下，判定为拍摄图像不清晰的状态已消除。
拍摄状态判定处理被实施直至实施条件不再成立(S10的否)。该拍摄状态判定处理为了进行基于拍摄图像的驾驶辅助处理而被周期性实施，例如可以以1秒以下的周期实施。此外，拍摄状态判定处理可以与根据拍摄图像检测物体的处理同时实施。在判定为拍摄图像处于不清晰的状态，不清晰标志被设定为有效的期间，需要中止基于拍摄图像的驾驶辅助处理。
控制部26被从图像处理部24通知拍摄图像是否清晰的判定结果。图像处理部24将以规定的周期实施的拍摄状态判定处理的判定结果、即不清晰标志的标志值通知给控制部26。此外，不清晰标志的标志值被保存于规定的存储器(未图示)，控制部26可以与图像处理部24的拍摄状态判定周期同步，参照保存于存储器的标志值。控制部26始终监视不清晰标志的标志值。
一般而言，玻璃的结雾是由于车外的气温偏低的情况下，玻璃附近的气温度下降，玻璃附近的空气中所含的水分形成在玻璃面上而产生的。因此，当产生玻璃的结雾的情况下，控制部26使升温部18工作而使拍摄区域16升温，从而迅速除去拍摄区域16的结雾。此外，当在玻璃产生上霜的情况下，控制部26也使升温部18工作，从而除去拍摄区域16的霜。在升温部18为热丝的情况下，控制部26将热丝通电而使之发热。通过将升温部18的工作时间设定为足以除去结雾或上霜的第1规定时间(例如3分钟)，能够在到停止升温部18的工作为止的期间内，除去拍摄区域16的结雾、上霜，使得拍摄装置10能够拍摄到清晰的图像。
此外，即使外部气温不为低温的情况下，当雨天时等车辆内的湿度高的情况下，也会在玻璃产生结雾。因此，在实施例中，当判定为拍摄图像不清晰的情况下，换句话说不清晰标志由无效变更为有效的情况下，控制部26判定出行中的状况为容易产生玻璃结雾的状况，以使升温部18周期性地重复工作、不工作的方式控制升温部18。控制部26通过控制升温部18以便交替重复第1规定时间的工作与第2规定时间的不工作，能够防止拍摄区域16结雾，并且与一直工作的情况相比，能够降低电力消耗。以下，将控制部26对于升温部18的控制称为“升温控制”。例如控制部26可以控制以使升温部18每过3分钟在工作与不工作间切换。
然而，当由于在拍摄区域16的玻璃外面附着污垢，导致图像处理部24判定为拍摄图像不清晰的情况下，即使拍摄区域16升温污垢也不能被除去，因此拍摄图像不清晰的状态无法消除。因此，如果使升温部18工作第1规定时间后拍摄装置10仍无法拍摄到清晰的图像，则不是在玻璃上结雾或上霜，而是玻璃受到污染的可能性较高。因此，如果从升温部18工作到经过第1规定时间(例如3分钟)为止拍摄图像不清晰的状态都还未消除，则控制部26在经过第1规定时间时停止升温部18的工作，禁止以后的升温部18的工作。由此，能够避免使升温部18不必要地工作而消耗无用的电力的状况。此时，控制部26将工作禁止标志设定为“有效”，避免在工作禁止标志有效的期间使升温部18工作。此外，工作禁止标志在初始状态下被设定为“无效”，如果工作禁止标志被设定为“有效”，则控制部26到工作禁止标志变更为“无效”为止使升温部18不工作。
此外，拍摄区域16的玻璃外面的污垢例如存在由驾驶员起动雨刷器刮除的情况。在污垢被刮除后，拍摄装置10拍摄清晰的图像，因此图像处理部24能够合适地从拍摄图像中检测边缘、边角等的特征点。因此，在升温部18的工作禁止中，在图像处理部24判定为拍摄图像不清晰的状态已消除后，图像处理部24将不清晰标志设定为“无效”，控制部26接收到不清晰标志从“有效”变化为“无效”，将工作禁止标志设定为“无效”。在工作禁止标志成为无效后，控制部26解除升温部18的工作禁止，换句话说将升温部18恢复为能够工作的状态。
图5为表示控制部26所进行的升温控制的流程图的一例。该升温控制在车辆2的起动开关被操作且IG(点火开关)接通时开始。此外，升温控制也可以在IG接通且车辆2的速度达到规定速度(例如5km/h)以上时开始。该规定速度优选设定为能够实施图像处理部24所进行的特征点检测处理的速度。
控制部26监视不清晰标志的标志值，具体地说监视不清晰标志是否从“无效”向“有效”变化(S30)。在不清晰标志无效的期间(S30的否)持续S30中的监视。如果不清晰标志有效(S30的是)，则控制部26判定工作禁止标志是否被设定为有效(S32)。如果工作禁止标志被设定为无效(S32的否)，则控制部26使升温部18工作(S34)，使前风挡玻璃12的拍摄区域16升温。控制部26使升温部18工作直至经过第1规定时间为止(S36的否)。
在使升温部18工作后，如果经过第1规定时间(S36的是)，则控制部26停止升温部18的工作(S38)，并且参照经过第1规定时间时的不清晰标志的标志值(S40)。S40的步骤为判定以后的升温部18可否工作的工作可否判定处理。此外，图像处理部24所进行的拍摄状态判定处理、控制部26所进行的升温控制基于相同的时钟实施。拍摄状态判定处理被周期性地实施，在通过拍摄状态判定处理生成判定结果的正时，执行判定经过第1规定时间的步骤(S36的是)、S38的步骤以及S40的步骤。因此，控制部26参照的不清晰标志的标志值表示在经过第1规定时间时由图像处理部24判定的结果。在此，当不清晰标志被设定为无效的情况下，即当图像处理部24判定为从升温部18工作起经过第1规定时间时拍摄图像清晰的情况(S40的否)下，控制部26为了较好地除去玻璃结雾，将工作禁止标志保持为“无效”的状态而不变更，将升温部18维持在能够工作的状态。
另一方面，在不清晰标志被设定为有效的情况下，即当图像处理部24判定为从升温部18工作起经过第1规定时间时拍摄图像不清晰的状态仍未消除的情况(S40的是)下，控制部26将工作禁止标志设定为有效，禁止以后的升温部18的工作(S42)。当即便使升温部18工作第1规定时间，却仍未消除拍摄图像不清晰的状态的情况下，认为拍摄区域16受到泥等污染。当拍摄区域16受到污染的情况下，即便使升温部18工作，污垢也无法被除去，因此控制部26将工作禁止标志设定为有效，禁止以后的升温部18的工作，由此抑制无用的电力消耗。
控制部26从停止升温部18的工作起到经过第2规定时间为止(S44的否)使升温部18不进行工作。在经过第2规定时间后(S44的是)，如果结束条件不成立(S46的否)，则返回S32，如果结束条件成立(S46的是)，则结束控制部26所进行的升温控制。S46中的结束条件例如可以是点火开关断开。此外，在图5所示的流程图中，虽然S46被作为S44后的步骤简便示出，不过S46的结束条件判定在升温控制开始后就一直被实施，如果判定为结束条件成立，则结束控制部26所进行的升温控制。
返回S32，控制部26判定工作禁止标志是否被设定为有效。如果工作禁止标志被设定为无效(S32的否)，则控制部26实施S34～S44的处理，换句话说，反复进行将升温部18工作第1规定时间使拍摄区域16升温，并持续第2规定时间使升温部18不工作的控制。
另一方面，如果工作禁止标志被设定为有效(S32的是)，则控制部26使升温部18不进行工作。控制部26监视不清晰标志的标志值，具体地说监视不清晰标志是否从“有效”向“无效”变化(S50)。在不清晰标志有效的期间(S50的否)持续S50中的监视。如果不清晰标志无效(S50的是)，则控制部26将工作禁止标志设定为无效(S52)。换句话说，在升温部18的工作禁止中，如果图像处理部24判定为拍摄图像不清晰的状态已消除，则控制部26解除升温部18的工作禁止。由此，控制部26将升温部18恢复到能够工作的状态。
在实施例中，交替重复升温部18的工作、不工作的升温控制通过不清晰标志从无效变更为有效(S30的是)、判定为出行中的状况处于玻璃容易结雾的状况而实施。因此，如果工作禁止标志被设定为有效，则可见拍摄图像不清晰的原因是附着于玻璃外面的污垢，出行中的状况是否处于玻璃容易结雾的状况并不清楚。因此，控制部26在将工作禁止标志从有效变更为无效后，再次实施S30的不清晰标志的监视处理，判定出行中的状况是否为玻璃容易结雾的状况。以上的升温控制被实施直至结束条件成立(S46的是)。
图6以及图7表示升温控制中的时序图。图6表示在从升温部18的工作开始起的第1规定时间内能够取得清晰的拍摄图像时的时序图，图7表示在从升温部18的工作开始起的第1规定时间内拍摄图像不清晰的状态未消除的时序图。
对图6的时序图进行说明。在时刻t1，图像处理部24判定为拍摄图像不清晰，将不清晰标志设定为有效。通过不清晰标志变为有效，控制部26使升温部18工作。在时刻t2，图像处理部24判定为拍摄图像不清晰的状态已消除，将不清晰标志设定为无效。控制部26在第1规定时间(t3-t1)的期间，使升温部18工作，在时刻t3停止升温部18的工作。控制部26在第2规定时间(t4-t3)的期间使升温部18不进行工作，在时刻t4以后，实施周期性重复升温部18的工作、不工作的升温控制。
在图6所示的时序图中，通过使拍摄区域16升温，从而在时刻t2拍摄图像不清晰的状态已消除，因此工作禁止标志未变为有效，控制部26在时刻t4以后可以使升温部18工作。
对图7的时序图进行说明。在时刻t1，图像处理部24判定为拍摄图像不清晰，将不清晰标志设定为有效。通过不清晰标志变为有效，控制部26使升温部18工作。控制部26在第1规定时间(t3-t1)的期间，使升温部18工作，在时刻t3停止升温部18的工作。在时刻t3，不清晰标志被设定为有效，使升温部18工作第1规定时间后拍摄图像不清晰的状态仍未消除，因此控制部26将工作禁止标志设定为有效。如果工作禁止标志变为有效，则升温部18的工作被禁止，因此在时刻t3以后，控制部26中止升温控制。
随后，在时刻t6，如果前风挡玻璃12的污垢被雨刷器刮除，则图像处理部24判定为拍摄图像不清晰的状态已消除，将不清晰标志设定为无效。由此，控制部26将工作禁止标志设定为无效，因此，在时刻t6以后，控制部26将升温部18恢复为能够工作的状态。这样，在升温部18的工作禁止中，如果图像处理部24判定为拍摄图像不清晰的状态已消除，则控制部26解除升温部18的工作禁止，使升温部18成为能够工作的状态。这样，在拍摄区域16的污垢除去后，控制部26解除升温部18的工作禁止，由此随后在拍摄图像不清晰的情况下，能够使升温部18很好地工作。
图8示出控制部26所进行的升温控制的流程图的其他例子。与图5所示的流程图相比，区别在于图5中的S40的工作可否判定处理在图8中变更为S40a，其他的步骤未变更。
在图8所示的升温控制中，控制部26在将升温部18工作第1规定时间又停止后，判定在使升温部18工作的第1规定时间内，不清晰标志是否无效(S40a)。换句话说，控制部26判定从使升温部18工作开始到经过第1规定时间为止，是否存在判定图像处理部24判定拍摄图像不清晰的状态已消除的情况。如上所述，图像处理部24所进行的拍摄状态判定处理与控制部26所进行的升温控制基于相同的时钟实施，在到经过第1规定时间为止(S36的否)的期间，拍摄状态判定处理被以规定的周期实施。控制部26在到经过第1规定时间为止(S36的否)的期间，在生成判定结果的时钟正时参照拍摄状态判定处理的判定结果，判定不清晰标志是否无效。例如是否经过第1规定时间的判定处理可以以与拍摄状态判定处理的周期相同的周期实施，控制部26可以在每次是否经过第1规定时间的判定时(S36的否)，确认不清晰标志的标志值。如果不清晰标志无效，则控制部26将表示无效的信息存储于存储器(未图示)。在判定经过第1规定时间时(S36的是)，控制部26可以确认表示无效的信息是否已存储于存储器，由此判定是否存在不清晰标志无效的情况。这样，控制部26判定到经过第1规定时间为止是否存在不清晰标志无效的时候(S40a)。
在此，如果图像处理部24判定在从升温部18工作起经过第1规定时间之前判定拍摄图像不清晰的状态已消除(S40a的是)，则控制部26将工作禁止标志保持为“无效”而不变更，将升温部18维持在能够工作的状态，不禁止经过第1规定时间后的升温部18的工作。这是由于：在升温部18的工作中至少存在一次拍摄图像变得清晰的情况，因此拍摄图像不清晰的原因并非玻璃受到污染，而是玻璃的结雾或上霜。
另一方面，如果图像处理部24未判定为在从升温部18工作到经过第1规定时间之前拍摄图像不清晰的状态已消除(S40a的否)，则控制部26将工作禁止标志设定为“有效”(S42)。在升温部18的工作中，如果不清晰标志一次都未变为无效，则判断拍摄图像不清晰原因是玻璃受到污染，因此控制部26禁止以后的升温部18的工作，中止升温控制。
至此，对如果从升温部18工作起经过第1规定时间之前拍摄图像不清晰的状态并未消除，则控制部26禁止经过第1规定时间后的升温部18的工作的情况进行了说明。不过实施例不过为例示而已，对于本领域技术人员而言，对各构成要素的组合实施各种变形是显而易见的，这样的变形例也都应包含于本发明的范围中。
如实施例中说明的那样，玻璃的结雾是在外部气温低的情况下，由于玻璃附近的空气中所含的水分形成于玻璃面而产生的。因此，车辆2可以具有测定外部气温的温度传感器，控制部26在由温度传感器测定的外部气温为规定的温度以下的低温的情况下，判断为处于容易产生玻璃结雾的状况，对升温部18进行升温控制。在这种情况下，如果工作禁止标志被设定为有效，则控制部26禁止升温部18的工作。
在实施例中，示出拍摄装置10以拍摄车辆前方的方式安装于车辆2的例子，不过也可以以拍摄其他方向、例如车辆后方、车辆侧方的方式将拍摄装置10安装于车辆2。
其中，符号说明如下：
1：拍摄系统；2：车辆；10：拍摄装置；12：前风挡玻璃；18：升温部；20：处理装置；22：拍摄图像取得部；24：图像处理部；26：控制部。

Claims (4)

1.一种拍摄系统，被搭载于车辆，其特征在于，
所述拍摄系统具备：
拍摄装置，该拍摄装置透过车辆的玻璃拍摄车外；
升温部，该升温部用于至少使所述拍摄装置的拍摄范围中所含的玻璃的区域升温；
图像处理部，该图像处理部判定所述拍摄装置所拍摄的拍摄图像是否清晰；以及
控制部，该控制部在所述图像处理部判定为拍摄图像不清晰的情况下，使所述升温部工作从而使所述玻璃的区域升温，
如果从所述升温部工作起到经过规定时间为止拍摄图像不清晰的状态未消除，则所述控制部在经过规定时间时停止所述升温部的工作，禁止以后的所述升温部的工作。
2.根据权利要求1所述的拍摄系统，其特征在于，
所述图像处理部具有判定拍摄图像不清晰的状态是否已消除的功能，
如果所述图像处理部判定为在从所述升温部工作起经过规定时间时拍摄图像不清晰的状态未消除，则所述控制部禁止以后的所述升温部的工作。
3.根据权利要求1所述的拍摄系统，其特征在于，
所述图像处理部具有判定拍摄图像不清晰的状态是否已消除的功能，
如果所述图像处理部判定为在从所述升温部工作起经过规定时间之前拍摄图像不清晰的状态已消除，则所述控制部不禁止经过规定时间后的所述升温部的工作。
4.根据权利要求1或2所述的拍摄系统，其特征在于，
在所述升温部的工作禁止中，如果所述图像处理部判定为拍摄图像不清晰的状态已消除，则所述控制部解除所述升温部的工作禁止。
CN201610982193.4A 2015-11-12 2016-11-08 拍摄系统 Withdrawn CN107018314A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015221853A JP2017092752A (ja) 2015-11-12 2015-11-12 撮像システム
JP2015-221853 2015-11-12

Publications (1)

Publication Number Publication Date
CN107018314A true CN107018314A (zh) 2017-08-04

Family

ID=57280934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610982193.4A Withdrawn CN107018314A (zh) 2015-11-12 2016-11-08 拍摄系统

Country Status (5)

Country Link
US (1) US20170136961A1 (zh)
EP (1) EP3169051A1 (zh)
JP (1) JP2017092752A (zh)
KR (1) KR20170055907A (zh)
CN (1) CN107018314A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109383216A (zh) * 2017-08-10 2019-02-26 郑州宇通客车股份有限公司 一种车辆风挡起雾识别系统、方法及车用玻璃
CN109660702A (zh) * 2017-10-12 2019-04-19 丰田自动车株式会社 照相机清洁装置
CN110557558A (zh) * 2018-05-31 2019-12-10 丰田自动车株式会社 物体监视装置
CN110618570A (zh) * 2019-08-21 2019-12-27 广东弘景光电科技股份有限公司 摄像模组自动加热方法及装置
CN111347998A (zh) * 2018-12-20 2020-06-30 本田技研工业株式会社 移动体用拍摄系统
CN111547011A (zh) * 2019-02-12 2020-08-18 丰田自动车株式会社 车辆
CN116170657A (zh) * 2022-12-12 2023-05-26 浙江大华技术股份有限公司 一种摄像设备除雾方法、装置、电子装置和存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6879065B2 (ja) * 2017-06-13 2021-06-02 株式会社デンソー 車両用撮影装置
JP2019004254A (ja) * 2017-06-13 2019-01-10 株式会社デンソー 車両用撮影装置
US20190098705A1 (en) * 2017-09-25 2019-03-28 Ford Global Technologies, Llc Windshield defrost
US11367175B2 (en) 2018-03-22 2022-06-21 Hitachi Astemo, Ltd. In-vehicle stereo camera
US11176426B2 (en) * 2018-06-18 2021-11-16 Zoox, Inc. Sensor obstruction detection and mitigation using vibration and/or heat
DE102019109748A1 (de) * 2019-04-12 2020-10-15 Connaught Electronics Ltd. Bildverarbeitungsverfahren
DE112021005102T5 (de) * 2020-12-14 2023-08-17 Hitachi Astemo, Ltd. Bildverarbeitungsvorrichtung
JP7187590B2 (ja) * 2021-01-27 2022-12-12 キヤノン株式会社 光学系、撮像装置、車載システムおよび移動装置
EP4109400A1 (en) * 2021-06-22 2022-12-28 AIRBUS HELICOPTERS DEUTSCHLAND GmbH A method of quantifying a loss of visibility through a transparent object
US20230373504A1 (en) * 2022-05-18 2023-11-23 Ford Global Technologies, Llc Vision obstruction mitigation

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5325912A (en) * 1991-11-27 1994-07-05 Honda Giken Kogyo Kabushiki Kaisha Air conditioning system with reduced energy consumption during defrosting for an electric vehicle
JP2004112329A (ja) * 2002-09-18 2004-04-08 Toyota Motor Corp 撮像システム
JP2004189026A (ja) * 2002-12-09 2004-07-08 Nissan Motor Co Ltd 曇り除去装置
CN102099738A (zh) * 2008-07-16 2011-06-15 西门子公司 用于对玻璃面尤其是对室外摄像机的保护玻璃进行加热的加热装置以及具有保护玻璃的电子的和/或光学的装置
US20120162407A1 (en) * 2010-12-28 2012-06-28 Fujitsu Limited Video processing device
CN203015015U (zh) * 2012-11-28 2013-06-19 新疆立昂电信技术有限公司 车载高清云台系统
JP2014035370A (ja) * 2012-08-07 2014-02-24 Tokai Rika Co Ltd レンズヒータ
CN104684769A (zh) * 2011-12-08 2015-06-03 大陆汽车系统公司 车辆安装的光学和传感器清洁系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5325912A (en) * 1991-11-27 1994-07-05 Honda Giken Kogyo Kabushiki Kaisha Air conditioning system with reduced energy consumption during defrosting for an electric vehicle
JP2004112329A (ja) * 2002-09-18 2004-04-08 Toyota Motor Corp 撮像システム
JP2004189026A (ja) * 2002-12-09 2004-07-08 Nissan Motor Co Ltd 曇り除去装置
CN102099738A (zh) * 2008-07-16 2011-06-15 西门子公司 用于对玻璃面尤其是对室外摄像机的保护玻璃进行加热的加热装置以及具有保护玻璃的电子的和/或光学的装置
US20120162407A1 (en) * 2010-12-28 2012-06-28 Fujitsu Limited Video processing device
CN104684769A (zh) * 2011-12-08 2015-06-03 大陆汽车系统公司 车辆安装的光学和传感器清洁系统
JP2014035370A (ja) * 2012-08-07 2014-02-24 Tokai Rika Co Ltd レンズヒータ
CN203015015U (zh) * 2012-11-28 2013-06-19 新疆立昂电信技术有限公司 车载高清云台系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109383216A (zh) * 2017-08-10 2019-02-26 郑州宇通客车股份有限公司 一种车辆风挡起雾识别系统、方法及车用玻璃
CN109660702A (zh) * 2017-10-12 2019-04-19 丰田自动车株式会社 照相机清洁装置
CN109660702B (zh) * 2017-10-12 2020-12-15 丰田自动车株式会社 照相机清洁装置
CN110557558A (zh) * 2018-05-31 2019-12-10 丰田自动车株式会社 物体监视装置
CN111347998A (zh) * 2018-12-20 2020-06-30 本田技研工业株式会社 移动体用拍摄系统
CN111347998B (zh) * 2018-12-20 2023-04-07 本田技研工业株式会社 移动体用拍摄系统
CN111547011A (zh) * 2019-02-12 2020-08-18 丰田自动车株式会社 车辆
CN110618570A (zh) * 2019-08-21 2019-12-27 广东弘景光电科技股份有限公司 摄像模组自动加热方法及装置
WO2021031479A1 (zh) * 2019-08-21 2021-02-25 广东弘景光电科技股份有限公司 摄像模组自动加热方法及装置
CN116170657A (zh) * 2022-12-12 2023-05-26 浙江大华技术股份有限公司 一种摄像设备除雾方法、装置、电子装置和存储介质
CN116170657B (zh) * 2022-12-12 2023-10-03 浙江大华技术股份有限公司 一种摄像设备除雾方法、装置、电子装置和存储介质

Also Published As

Publication number Publication date
KR20170055907A (ko) 2017-05-22
US20170136961A1 (en) 2017-05-18
JP2017092752A (ja) 2017-05-25
EP3169051A1 (en) 2017-05-17

Similar Documents

Publication Publication Date Title
CN107018314A (zh) 拍摄系统
US10196041B2 (en) Imaging system
JP5210994B2 (ja) 車両用画像表示装置
JP4888838B2 (ja) 運転者撮像装置および運転者撮像方法
JP6485234B2 (ja) 路面表示装置
CN107380111A (zh) 用于控制气囊的装置和方法
TWI820194B (zh) 電子機器及固體攝像裝置
CN104412573A (zh) 车载装置
CN103523014A (zh) 车载装置
WO2018037790A1 (ja) 画像処理装置、画像撮影装置、および画像処理方法、並びにプログラム
US7865029B2 (en) Image processing device and method
JP2008250904A (ja) 車線区分線情報検出装置、走行車線維持装置、車線区分線認識方法
CN106218587A (zh) 一种开启除雾功能的方法和设备
CN108482367A (zh) 一种基于智能后视镜辅助驾驶的方法、装置及系统
CN107826116A (zh) 基于移动终端的汽车主动安全驾驶辅助系统的操作方法
JP6947099B2 (ja) 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
JP2016058025A (ja) 車両用記録装置
WO2018207666A1 (ja) 撮像素子及びその駆動方法、並びに、電子機器
JP2007058805A (ja) 前方環境認識装置
JP2004112329A (ja) 撮像システム
JP6841725B2 (ja) 他車監視システム
JP5541099B2 (ja) 道路区画線認識装置
JP2009029350A (ja) 車両の乗員検知装置
JP2020136811A (ja) 固体撮像装置及び撮像装置
JP2003044863A (ja) 仕切線認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20170804

WW01 Invention patent application withdrawn after publication