CN114040107A - 智能汽车图像拍摄系统、方法、车辆及介质 - Google Patents
智能汽车图像拍摄系统、方法、车辆及介质 Download PDFInfo
- Publication number
- CN114040107A CN114040107A CN202111374637.3A CN202111374637A CN114040107A CN 114040107 A CN114040107 A CN 114040107A CN 202111374637 A CN202111374637 A CN 202111374637A CN 114040107 A CN114040107 A CN 114040107A
- Authority
- CN
- China
- Prior art keywords
- shooting
- target
- vehicle
- image
- intention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000003068 static effect Effects 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims abstract description 11
- 230000009471 action Effects 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 29
- 230000005540 biological transmission Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 15
- 230000003993 interaction Effects 0.000 claims description 7
- 230000036544 posture Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 238000004148 unit process Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种智能汽车图像拍摄系统及方法，所述方法包括识别车内人员的语音或动作是否表征拍摄意图，若是则启动智能汽车拍摄系统；定位到有拍摄意图的车内人员并检测其拍摄意图的拍摄方向，根据所述拍摄意图的拍摄方向确定窗外风景中的拍摄目标，同时生成拍摄指令；基于所述拍摄指令，通过目标跟踪算法判断拍摄目标状态；若拍摄目标为静态，直接拍摄静态风景影像；若拍摄目标为动态，通过目标跟踪算法的跟踪结果，拍摄并记录拍摄目标的运动轨迹；在拍摄结束后处理拍摄到的影像文件并存储。
Description
技术领域
本发明涉及智能驾驶技术领域，尤其涉及一种智能汽车图像拍摄系统、方法、车辆及介质。
背景技术
随着自媒体时代的爆发，摄像已经越来越普遍地进入人们日常生活中，应用场景越来越广泛；而在汽车驾驶过程中，人们对沿途风景的拍摄分享也成为了一种潮流需求。当前主要使用的拍摄方式有拍照和录像两种类型，对于静态风景，一般采用拍照方式进行留存；而对于动态物体，则一般采用录像方式记录连续运动轨迹；这些方式往往需要用户手持拍摄设备，通过手动或定时触发的方式来记录窗外风景或动态物体，常常会出现错失记录时机或者由于移动设备不稳导致图像残影、不清晰等问题，无法满足人们的社交分享需求。
在智能驾驶领域，车载图像拍摄系统已经存在，可以满足人们在驾驶过程中拍摄图像的需求；但这些方式通常是接收到用户的拍摄指令后启动拍摄装置，即时拍摄车外景物；但这些方式过于僵化，不能智能确定用户实际想拍摄的景物，而且不能自动全方位、多角度拍摄多张景物图像供用户选择，这往往会使用户错失掉心仪的车外景物和最佳角度图像；另外这些方式只能记录某一瞬间的图像，无法给用户提供动态目标的跟踪短视频，在当前更潮流的移动短视频分享时代已经远远无法满足用户的需求。
因此现有技术还有待于进一步发展。
发明内容
针对上述技术问题，本发明提供了一种智能汽车图像拍摄系统、方法、车辆及介质，能够智能确定用户实际拍摄目标，并自动拍摄确定目标的多角度静态图像和处于运动状态的移动轨迹视频，为用户提供多种选择方式，大大提高了拍摄目标的准确性，满足了用户获取心仪景物图像的迫切需求。
本发明实施例的第一方面，提供一种智能汽车图像拍摄系统，包括：
拍摄意图识别设备、影像拍摄单元设备和图像处理单元；
所述拍摄意图识别设备包括语音识别模块、视线检测模块和拍摄意图处理器，所述拍摄意图处理模块根据语音识别模块的识别结果和/或视线检测模块的检测结果判断车内人员是否有拍摄意图，若有拍摄意图，则所述拍摄意图处理器发出拍摄指令，并根据所述视线检测模块检测对应车内人员的视线方向锁定拍摄目标；
所述影像拍摄单元设备包括安装于车辆内部与外部的拍摄装置、拍摄处理器和目标跟踪模块，所述拍摄处理器接收所述拍摄指令后，启动所述目标跟踪模块计算并判断拍摄目标是否为动态，当不能确定拍摄目标状态或判断拍摄目标为静态时，启动所述拍摄装置拍摄车外静态风景，当判断拍摄目标为动态时，所述拍摄装置基于所述跟踪结果进行角度调整记录拍摄目标的动态轨迹，直至拍摄目标超出拍摄范围；
所述图像处理单元在拍摄结束后处理拍摄到的图像文件。
可选地，所述拍摄意图识别设备用于通过所述语音识别模块识别车内人员的拍摄意图，当识别结果为存在拍摄意图时判定车内人员有拍摄意图并定位到具体车内人员，并确定拍摄意图的预设时间内肢体姿态检测结果。
可选地，所述拍摄意图识别设备用于通过所述视线检测模块捕捉有拍摄意图的车内人员视线方向，并根据检测结果锁定拍摄目标。
可选地，所述目标跟踪模块用于根据所述目标跟踪模块的跟踪结果，通过锁定的拍摄目标的测速判断其是否为动态，若拍摄目标相对速度为当前车速，可判断目标为静态，反之则为动态。
可选地，所述目标跟踪模块还用于确定拍摄目标为静态时，无需目标跟踪算法，直接拍摄静态风景；判断拍摄目标为动态时，通过目标跟踪模块提供的跟踪结果，拍摄装置跟踪拍摄视频，记录下其整个运动轨迹，直至其完全消失在拍摄框之外。
可选地，所述图像处理单元还用于在所述拍摄装置在拍摄视频时自动截取视频中的精彩瞬间作为图片保存，实现动态拍摄和静态拍摄。
可选地，所述图像处理单元还用于根据目标跟踪算法得到某些特殊的运算节点，自动截取该运算节点附近的照片作为所述精彩瞬间。
可选地，所述拍摄装置包括一组安装在车身外部、能够旋转角度的周视摄像头，以及内置于车内的一组摄像头。
可选地，所述的智能汽车图像拍摄系统，还包括：图像存储模块、图像传输模块和图像处理模块，
所述图像存储模块的存储方式为本地存储、云端上传存储；
所述图像传输模块的传输方式为USB传输、局域网传输、蓝牙传输或云端下载；
所述图像处理模块支持设定缓存时间，删除所述图像存储模块中超过缓存时间的图像。
可选地，所述的智能汽车图像拍摄系统，还包括：交互控制单元，用于接收所有原始发出的指令和数据流，经过所述交互控制单元解析以后再传出。
本发明实施例的第三方面，提供一种智能汽车图像拍摄方法，包括如下步骤：
识别车内人员的语音或动作是否表征拍摄意图，若是则启动智能汽车拍摄系统；
定位到有拍摄意图的车内人员并检测其拍摄意图的拍摄方向，根据所述拍摄意图的拍摄方向确定窗外风景中的拍摄目标，同时生成拍摄指令；
基于所述拍摄指令，通过目标跟踪算法判断拍摄目标状态；
若拍摄目标为静态，直接拍摄静态风景影像；
若拍摄目标为动态，通过目标跟踪算法的跟踪结果，拍摄并记录拍摄目标的运动轨迹；
在拍摄结束后处理拍摄到的影像文件并存储。
可选地，所述识别车内人员的语音或动作是否表征拍摄意图，包括：
根据车内人员的语音内容识别是否有表征拍摄意图的词语或语句；或者
根据车内人员的头部朝向车窗外和/或手部动作的肢体姿态判断是否有表征拍摄意图。
可选地，所述通过目标跟踪算法判断拍摄目标状态，包括：
当无法确定拍摄目标或判断拍摄目标为静态时，拍摄车外静态风景。
可选地，所述在拍摄结束后处理拍摄到的影像文件，包括：
在拍摄视频时自动截取视频中的精彩瞬间作为图片保存。
可选地，所述拍摄装置包括一组安装在车身外部、能够旋转角度的周视摄像头，以及内置于车内的一组摄像头。
本发明实施例的第三方面，提供一种车辆，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述的智能汽车图像拍摄的方法的步骤。
本发明实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上述的智能汽车图像拍摄的方法的步骤。
本发明提供一种将动作感知算法、目标感知算法和目标跟踪算法结合在一起的基于固定目标的智能汽车图像拍摄系统和方法，其不仅可以人机交互自动多角度拍摄图像，还可以智能锁定到用户实际想拍摄的固定目标，并记录处于运动状态的固定目标的移动轨迹视频，具有拍摄对象精准、操作便捷、选择多样等特点。
附图说明
图1是本发明的智能汽车图像拍摄系统的结构示意图；
图2是本发明的智能汽车图像拍摄方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在此公开一种基于固定目标的智能汽车图像拍摄系统（以下简称抓拍系统），图1示出了抓拍系统的结构图，包括：拍摄意图识别设备100、图像拍摄设备200和图像处理单元300。拍摄意图识别设备100包括语音识别模块、视线检测模块和拍摄意图处理器，图像拍摄设备200包括拍摄装置、拍摄处理器和目标跟踪模块，图像处理单元300在拍摄结束后处理拍摄到的图像文件。
其中，拍摄意图识别设备100中，语音识别模块根据语音识别结果判断车内人员是否有拍摄意图，视线检测模块捕捉有拍摄意图的车内人员视线方向，并根据检测结果对应车内人员视线方向从而锁定拍摄目标。例如，当语音识别结果为“拍照”或“拍摄”时判定车内人员有拍摄意图并定位到具体车内人员，同时查看识别到拍摄意图前后预设时间内比如1s内视线方向检测结果，而后拍摄意图处理器根据语音识别模块和视线识别模块的识别结果，向图像拍摄设备200发出拍摄指令。
拍摄处理器接受拍摄指令后，启动目标跟踪模块计算并判断拍摄目标是否为动态，图像拍摄设备200根据目标跟踪模块的跟踪结果，例如通过锁定的拍摄目标的测速判断其是否为动态，若拍摄目标相对速度为当前车速，可判断目标为静态，反之则为动态。当不能确定拍摄目标或判断拍摄目标为静态时，启动拍摄装置直接拍摄车外静态风景，当判断拍摄目标为动态时，拍摄装置基于目标跟踪模块提供的跟踪结果，进行角度调整从而跟踪拍摄视频，记录拍摄目标的整个动态轨迹，直至拍摄目标超出拍摄范围。
也就是说，当拍摄装置接收到拍摄指令后，目标跟踪模块确定拍摄目标并判断该拍摄目标的状态。当目标跟踪模块无法确定拍摄目标或判断拍摄目标为静态时，拍摄处理器启动拍摄装置拍摄车外静态风景，当目标跟踪模块判断拍摄目标为动态时，拍摄处理器启动目标跟踪模块计算拍摄目标的跟踪结果，而后根据该跟踪结果，启动拍摄装置跟踪拍摄目标的移动轨迹拍摄视频，直至拍摄目标超出拍摄装置拍摄范围。其中，拍摄装置可以是一组固定在车身外部并环绕车身一周的固定摄像头，或者是多个随机安装在车身外部、能够旋转角度的周视摄像头，用于从多个角度来拍摄图像。同样的，为了检测车内人员的视线方向，车内同样设有拍摄装置的摄像头。
其中图像处理单元300包括：图像存储模块、图像传输模块和图像处理模块，图像存储模块的存储方式为本地存储、云端上传存储；图像传输模块的传输方式为USB传输、局域网传输、蓝牙传输或云端下载；图像处理模块支持设定缓存时间，删除图像存储模块中超过缓存时间的图像，还具备交互控制单元，包括指令交换器和数据流交换器，用于接收所有原始发出的指令和数据流，经过交互控制单元解析以后再传送给对应的接收方，但不限于此。
图像拍摄设备200结束拍摄以后，图像处理单元300的图像存储模块接收到图像拍摄设备200发送的图像数据，根据需求选择存储方式将图像数据保存成图像文件。外部电子设备可以通过图像传输模块，通过一个传输方式来获取图像存储模块的图像文件。图像处理模块可以设置文件缓存期，当图像文件超过缓存期以后则将该图像文件删除，减少存储冗余，避免拍摄车外图像时发生文件存储失败，从而导致错失最新的图像文件。
又，本发明还可以具备交互控制单元，其具有指令交换器和数据流交换器。指令交换器用于接收本发明中所有控制器发出的指令，经过解析以后再将指令发送到需要接受指令的另一方；数据流交换器用于在各个模块之间传输不同格式的数据流，例如车内人员的动作数据和拍摄图像的图像数据；通过交互控制单元，将不同类型的指令和不同格式的数据解析成标准的指令格式和数据格式，避免出现模块之间指令无法识别和数据格式不符合规范等问题，实现系统内部各个模块之间的相互控制和数据传输，提高了系统响应速度。
图2是本发明中智能汽车图像拍摄方法的流程图。以下结合附图进一步描述本发明。所述方法包括以下步骤。
S21：识别车内人员的语音或动作是否表征拍摄意图，若是则启动智能汽车拍摄系统。
例如，根据车内人员的语音内容识别是否有表征拍摄意图的词语或语句。
当语音识别结果为“拍风景”或“小智小智，你看外面的风景多好看”，则表征用户想要拍摄车外风景。
或者根据车内人员的头部朝向车窗外和/或手部动作的肢体姿态判断是否有表征拍摄意图。
例如，检测到车内人员头部朝向窗外，并且有相应的手部动作时（常见的有手指指向窗外），则表征用户注意力在车窗外，想要拍摄车外风景。
S22：定位到有拍摄意图的车内人员并检测其拍摄意图的拍摄方向，根据所述拍摄意图的拍摄方向确定窗外风景中的拍摄目标，同时生成拍摄指令。
S23：基于所述拍摄指令，通过目标跟踪算法判断拍摄目标状态。
S24：若拍摄目标为静态，直接拍摄静态风景影像；若拍摄目标为动态，通过目标跟踪算法的跟踪结果，拍摄并记录拍摄目标的运动轨迹。
S25：在拍摄结束后处理拍摄到的影像文件并存储。
具体的，当车辆行驶时，启动智能汽车拍摄系统，拍摄意图识别设备同步启动并处于持续运行状态，实时检测车内语音环境，判断车内语音是否满足图像拍摄设备的启动条件，当识别到与“拍照”等含义相似语音内容时即满足启动条件时，拍摄意图处理器生成拍摄指令，同时定位到有拍摄意图的车内人员并检测其视线方向确定拍摄目标图像拍摄设备接收拍摄指令后启动，拍摄处理器接受拍摄指令后启动目标跟踪模块计算并判断拍摄目标是否为动态，拍摄装置基于跟踪结果拍摄视频或直接拍摄图片。
具体而言，车辆行驶时，车内人员根据自己需求选择启动智能汽车拍摄系统，拍摄意图识别设备通过语音识别模块识别车内人员拍摄意图，当识别结果为“拍照”或“拍摄”时判定车内人员有拍摄意图并定位到具体车内人员，同时查看识别到拍摄意图前后1s内视线检测结果。更具体而言，语音识别模块持续语音识别，例如当识别到语音信号时，在特征提取之前，先对原始语音进行处理，部分消除噪声和不同说话人带来的影响，而后利用声学模型、语言模型和词典等解码器对语音信号进行识别，而后判断识别结果，看是否为具有拍摄意图的语音信号，同时锁定该语音信号发出者。
本发明的语音识别采用近场识别，因此相比于远场识别信噪比比较高，可以不需要借助VAD（语音端点检测），通过简单的算法便可判断出是否有语音。同时，由于距离近，受噪声的影响程度小，能够达到一个比较高的识别率。同时，通过车内声源定位装置定位语音信号发出者。车内声源定位装置包括时间差计算单元和位置判定单元，时间差计算单元计算语音到达不同麦克风阵列的时间差，位置判定单元基于时间差矩阵和不同麦克风阵列的车内安装位置计算语音发出者所在的位置，结合车内摄像头视觉检测结果，准确定位语音发出者。
随后，视线识别模块使用摄像头来实时检测车内语音信号发出者的眼神动作，例如可通过人脸检测和关键点检测来截取头部姿势和左右眼图像，通过视线评估模型等来锁定语音者视线方向和视线焦点，由此锁定拍摄目标。
由此，拍摄意图处理器基于两者识别结果发出拍摄指令。另，识别方式不限于上述，只要能实现所需功能即可。更具体而言，锁定拍摄目标是通过拍摄装置，例如安装于车身外的周视摄像头，将拍摄目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转换为数字信号，图像系统对这些信号进行各种运算来抽取目标的特征进而锁定拍摄目标。通常情况下可选图像中的线对象或者点对象作为提取的特征量。对于线对象的提取使用的方法主要有hough变换、随机hough变换、小波变换等；而提取点对象的常用方法有边缘检测方法、角点检测方法等。例如使用SIFT角点检测获取运动物体的特征点。
前述摄像头检测结果涉及深度学习目标检测模型，以faster-rcnn为例，作为一种CNN网络目标检测方法，faster-rcnn首先将整张图片输入CNN进行提取feature maps，然后输入RPN网络并通过修正生成较准确的proposal，Roi Pooling层综合前述信息生成proposal feature maps，最后由全连接层判定目标类别。一个能够应用的深度学习目标检测模型一般经过数据采集、数据标注、模型建立、模型训练等过程。
图像拍摄设备收到拍摄指令以后，拍摄处理器根据拍摄目标控制多个拍摄视野内可观测到拍摄目标的拍摄装置启动，例如启动多个随机安装在车身外部的周视摄像头，旋转角度对准拍摄目标并调焦。目标跟踪模块计算并判断拍摄目标是否为动态，目标跟踪的原理是以前述提取特征为标准，遍历后面帧图像的每个位置，对每个位置进行相同特征的提取，然后做比较，确定目标的位置。另，目标跟踪算法不限于上述，只要能实现所需功能即可。
若拍摄目标相对速度为当前车速，可判断目标为静态，反之则为动态。当不能确定拍摄目标或判断拍摄目标为静态时，拍摄处理器启动拍摄装置直接拍摄车外静态风景照片，当判断拍摄目标为动态时，拍摄装置基于目标跟踪模块提供的跟踪结果，进行角度调整从而跟踪拍摄视频，记录拍摄目标的整个动态轨迹，直至拍摄目标超出拍摄范围。
更具体而言，本发明提出的测速方法是一种基于机器视觉的测速方法，按照图像处理、特征提取、特征匹配、距离测量的顺序得到一段时间内物体相对本车位置的变化，再根据帧频频率导出时间的变化量，由位移除以时间则可以得到物体相对本车的速度。这种速度测量方法相对于专用的测速设备，如利用电磁波、声波、光波等在物体表面反射经理的时间差或多普勒频谱偏移的设备而言，节省了人力物力，测量更加便捷。计算位置变化的大小由以下技术方案实现，准备工作为对车身周视相机进行标定，得到图像中每行像素点与实际尺寸大小的对应关系，并通过拟合得到每行像素点与实际尺寸大小对应的非线性近似方程，即像素坐标系和实际坐标系的转换关系，为相对位移的计算提供支撑。
当然也可以根据目标跟踪算法直接判断拍摄目标的是否相对移动。
图像拍摄结束以后，图像拍摄设备将图像数据发送到图像处理单元中，并保存到图像存储模块例如车机本地存储，生成照片或者视频等图像文件。可通过USB传输的方式将手机与车机相连，把照片或者视频等图像文件复制到手机存储。又，也可删除存储模块中超过缓存时间的图像，图像处理模块支持设定缓存时间，通过删除超过缓存时间的图像可以减少存储模块的存储冗余，避免发生文件存储失败从而导致无法及时保存最新的图像文件。
根据本发明公开的固定目标的智能汽车图像拍摄系统和方法，通过人机交互的方式启动汽车图像拍摄系统，减少了车内人员的操作动作，提高了驾驶安全性；此外，本系统通过目标感知算法确定车内人员的实际需要拍摄的固定目标，多角度地拍摄该固定目标，不仅提高了图像的质量，还给用户提供了更多可选择的照片，能够从中选出想要拍摄目标的最佳角度图像，；同时本系统还结合了目标跟踪系统，对于处于运动状态的物体，除了进行静态图像拍摄以外，还提供了其移动轨迹视频，给用户带来了更优质、更多样的拍摄体验，大大提高了用户对智能汽车的驾驶满意度。
本发明还提供一种车辆，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的智能汽车图像拍摄的方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述的智能汽车图像拍摄的方法的步骤。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
可以理解，计算机可读存储介质可以包括：能够携带计算机程序的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器 (ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。计算机程序包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。
在本发明的某些实施方式中，所述装置可以包括控制器，控制器是一个单片机芯片，集成了处理器、存储器，通讯模块等。处理器可以是指控制器包含的处理器。处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (17)
1.一种智能汽车图像拍摄系统，包括：
拍摄意图识别设备、影像拍摄单元设备和图像处理单元；
所述拍摄意图识别设备包括语音识别模块、视线检测模块和拍摄意图处理器，所述拍摄意图处理模块根据语音识别模块的识别结果和/或视线检测模块的检测结果判断车内人员是否有拍摄意图，若有拍摄意图，则所述拍摄意图处理器发出拍摄指令，并根据所述视线检测模块检测对应车内人员的视线方向锁定拍摄目标；
所述影像拍摄单元设备包括安装于车辆内部与外部的拍摄装置、拍摄处理器和目标跟踪模块，所述拍摄处理器接收所述拍摄指令后，启动所述目标跟踪模块计算并判断拍摄目标是否为动态，当不能确定拍摄目标状态或判断拍摄目标为静态时，启动所述拍摄装置拍摄车外静态风景，当判断拍摄目标为动态时，所述拍摄装置基于所述跟踪结果进行角度调整记录拍摄目标的动态轨迹，直至拍摄目标超出拍摄范围；
所述图像处理单元在拍摄结束后处理拍摄到的图像文件。
2.根据权利要求1所述的智能汽车图像拍摄系统，其特征在于，
所述拍摄意图识别设备用于通过所述语音识别模块识别车内人员的拍摄意图，当识别结果为存在拍摄意图时判定车内人员有拍摄意图并定位到具体车内人员，并确定拍摄意图的预设时间内肢体姿态检测结果。
3.根据权利要求1所述的智能汽车图像拍摄系统，其特征在于，
所述拍摄意图识别设备用于通过所述视线检测模块捕捉有拍摄意图的车内人员视线方向，并根据检测结果锁定拍摄目标。
4.根据权利要求1所述的智能汽车图像拍摄系统，其特征在于，
所述目标跟踪模块用于根据所述目标跟踪模块的跟踪结果，通过锁定的拍摄目标的测速判断其是否为动态，若拍摄目标相对速度为当前车速，可判断目标为静态，反之则为动态。
5.根据权利要求4所述的智能汽车图像拍摄系统，其特征在于，
所述目标跟踪模块还用于确定拍摄目标为静态时，无需目标跟踪算法，直接拍摄静态风景；判断拍摄目标为动态时，通过目标跟踪模块提供的跟踪结果，拍摄装置跟踪拍摄视频，记录下其整个运动轨迹，直至其完全消失在拍摄框之外。
6.根据权利要求1所述的智能汽车图像拍摄系统，其特征在于，
所述图像处理单元还用于在所述拍摄装置在拍摄视频时自动截取视频中的精彩瞬间作为图片保存，实现动态拍摄和静态拍摄。
7.根据权利要求6所述的智能汽车图像拍摄系统，其特征在于，
所述图像处理单元还用于根据目标跟踪算法得到某些特殊的运算节点，自动截取该运算节点附近的照片作为所述精彩瞬间。
8.根据权利要求1所述的智能汽车图像拍摄系统，其特征在于，
所述拍摄装置包括一组安装在车身外部、能够旋转角度的周视摄像头，以及内置于车内的一组摄像头。
9.根据权利要求1所述的智能汽车图像拍摄系统，其特征在于，
还包括：图像存储模块、图像传输模块和图像处理模块，
所述图像存储模块的存储方式为本地存储、云端上传存储；
所述图像传输模块的传输方式为USB传输、局域网传输、蓝牙传输或云端下载；
所述图像处理模块支持设定缓存时间，删除所述图像存储模块中超过缓存时间的图像。
10.根据权利要求9所述的智能汽车图像拍摄系统，其特征在于，
还包括交互控制单元，用于接收所有原始发出的指令和数据流，经过所述交互控制单元解析以后再传出。
11.一种智能汽车图像拍摄方法，包括如下步骤：
识别车内人员的语音或动作是否表征拍摄意图，若是则启动智能汽车拍摄系统；
定位到有拍摄意图的车内人员并检测其拍摄意图的拍摄方向，根据所述拍摄意图的拍摄方向确定窗外风景中的拍摄目标，同时生成拍摄指令；
基于所述拍摄指令，通过目标跟踪算法判断拍摄目标状态；
若拍摄目标为静态，直接拍摄静态风景影像；
若拍摄目标为动态，通过目标跟踪算法的跟踪结果，拍摄并记录拍摄目标的运动轨迹；
在拍摄结束后处理拍摄到的影像文件并存储。
12.根据权利要求11所述的智能汽车图像拍摄方法，其特征在于，所述识别车内人员的语音或动作是否表征拍摄意图，包括：
根据车内人员的语音内容识别是否有表征拍摄意图的词语或语句；或者
根据车内人员的头部朝向车窗外和/或手部动作的肢体姿态判断是否有表征拍摄意图。
13.根据权利要求11所述的智能汽车图像拍摄方法，其特征在于，所述通过目标跟踪算法判断拍摄目标状态，包括：
当无法确定拍摄目标或判断拍摄目标为静态时，拍摄车外静态风景。
14.根据权利要求11所述的智能汽车图像拍摄方法，其特征在于，所述在拍摄结束后处理拍摄到的影像文件，包括：
在拍摄视频时自动截取视频中的精彩瞬间作为图片保存。
15.根据权利要求11所述的智能汽车图像拍摄方法，其特征在于，
所述拍摄装置包括一组安装在车身外部、能够旋转角度的周视摄像头，以及内置于车内的一组摄像头。
16.一种车辆，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求11至15的智能汽车图像拍摄方法的步骤。
17.一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求11至15的智能汽车图像拍摄方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111374637.3A CN114040107B (zh) | 2021-11-19 | 2021-11-19 | 智能汽车图像拍摄系统、方法、车辆及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111374637.3A CN114040107B (zh) | 2021-11-19 | 2021-11-19 | 智能汽车图像拍摄系统、方法、车辆及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114040107A true CN114040107A (zh) | 2022-02-11 |
| CN114040107B CN114040107B (zh) | 2024-04-16 |
Family
ID=80144884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111374637.3A Active CN114040107B (zh) | 2021-11-19 | 2021-11-19 | 智能汽车图像拍摄系统、方法、车辆及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114040107B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114760417A (zh) * | 2022-04-25 | 2022-07-15 | 北京地平线信息技术有限公司 | 一种图像拍摄方法和装置、电子设备和存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019052197A1 (zh) * | 2017-09-18 | 2019-03-21 | 深圳市道通智能航空技术有限公司 | 飞行器参数设定方法和装置 |
| WO2019061063A1 (zh) * | 2017-09-27 | 2019-04-04 | 深圳市大疆创新科技有限公司 | 无人机图像采集方法及无人机 |
| CN111061912A (zh) * | 2018-10-16 | 2020-04-24 | 华为技术有限公司 | 一种处理视频文件的方法及电子设备 |
| US20200184655A1 (en) * | 2017-09-04 | 2020-06-11 | Tencent Technology (Shenzhen) Company Limited | Image processing method, terminal, and storage medium |
| CN111917980A (zh) * | 2020-07-29 | 2020-11-10 | Oppo（重庆）智能科技有限公司 | 拍照控制方法及装置、存储介质和电子设备 |
| CN112070061A (zh) * | 2020-09-22 | 2020-12-11 | 苏州臻迪智能科技有限公司 | 基于无人机的运动监控方法及装置 |
| CN112109729A (zh) * | 2019-06-19 | 2020-12-22 | 宝马股份公司 | 用于车载系统的人机交互方法、装置和系统 |
| CN112532833A (zh) * | 2020-11-24 | 2021-03-19 | 重庆长安汽车股份有限公司 | 智能拍录系统 |
| CN112601056A (zh) * | 2021-03-04 | 2021-04-02 | 智己汽车科技有限公司 | 一种图像获取与分享方法、装置以及车辆 |
| CN213094331U (zh) * | 2021-02-26 | 2021-04-30 | 智己汽车科技有限公司 | 方向盘及车辆 |
| CN112804441A (zh) * | 2019-11-14 | 2021-05-14 | 长城汽车股份有限公司 | 无人机的控制方法及装置 |
| CN112954207A (zh) * | 2021-02-05 | 2021-06-11 | 北京瞰瞰科技有限公司 | 驾驶沿途景观抓拍方法、装置以及汽车中控台 |
| CN113228620A (zh) * | 2021-03-30 | 2021-08-06 | 华为技术有限公司 | 一种图像的获取方法以及相关设备 |
-
2021
- 2021-11-19 CN CN202111374637.3A patent/CN114040107B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200184655A1 (en) * | 2017-09-04 | 2020-06-11 | Tencent Technology (Shenzhen) Company Limited | Image processing method, terminal, and storage medium |
| WO2019052197A1 (zh) * | 2017-09-18 | 2019-03-21 | 深圳市道通智能航空技术有限公司 | 飞行器参数设定方法和装置 |
| WO2019061063A1 (zh) * | 2017-09-27 | 2019-04-04 | 深圳市大疆创新科技有限公司 | 无人机图像采集方法及无人机 |
| CN111061912A (zh) * | 2018-10-16 | 2020-04-24 | 华为技术有限公司 | 一种处理视频文件的方法及电子设备 |
| CN112109729A (zh) * | 2019-06-19 | 2020-12-22 | 宝马股份公司 | 用于车载系统的人机交互方法、装置和系统 |
| CN112804441A (zh) * | 2019-11-14 | 2021-05-14 | 长城汽车股份有限公司 | 无人机的控制方法及装置 |
| CN111917980A (zh) * | 2020-07-29 | 2020-11-10 | Oppo（重庆）智能科技有限公司 | 拍照控制方法及装置、存储介质和电子设备 |
| CN112070061A (zh) * | 2020-09-22 | 2020-12-11 | 苏州臻迪智能科技有限公司 | 基于无人机的运动监控方法及装置 |
| CN112532833A (zh) * | 2020-11-24 | 2021-03-19 | 重庆长安汽车股份有限公司 | 智能拍录系统 |
| CN112954207A (zh) * | 2021-02-05 | 2021-06-11 | 北京瞰瞰科技有限公司 | 驾驶沿途景观抓拍方法、装置以及汽车中控台 |
| CN213094331U (zh) * | 2021-02-26 | 2021-04-30 | 智己汽车科技有限公司 | 方向盘及车辆 |
| CN112601056A (zh) * | 2021-03-04 | 2021-04-02 | 智己汽车科技有限公司 | 一种图像获取与分享方法、装置以及车辆 |
| CN113228620A (zh) * | 2021-03-30 | 2021-08-06 | 华为技术有限公司 | 一种图像的获取方法以及相关设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114760417A (zh) * | 2022-04-25 | 2022-07-15 | 北京地平线信息技术有限公司 | 一种图像拍摄方法和装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114040107B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11688034B2 (en) | Virtual lens simulation for video and photo cropping | |
| CN111641794B (zh) | 声音信号采集方法和电子设备 | |
| JP4770178B2 (ja) | カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法 | |
| KR101530255B1 (ko) | 객체 자동 추적 장치가 구비된 cctv 시스템 | |
| CN111294488B (zh) | 摄像设备及其控制方法和存储介质 | |
| US10893191B2 (en) | Image capturing apparatus, method of controlling the same, and storage medium | |
| CN105718862A (zh) | 一种单摄像头教师自动跟踪方法、装置及录播系统 | |
| US20190304081A1 (en) | Arrangement for generating head related transfer function filters | |
| EP2998935B1 (en) | Image processing device, image processing method, and program | |
| CN111251307B (zh) | 应用于机器人的语音采集方法和装置、一种机器人 | |
| CN108965713A (zh) | 图像采集方法、装置以及计算机可读存储介质 | |
| JP2011217202A (ja) | 画像取得装置 | |
| WO2017147827A1 (zh) | 一种图像获取方法 | |
| CN110881105B (zh) | 一种拍摄方法及电子设备 | |
| CN114040107B (zh) | 智能汽车图像拍摄系统、方法、车辆及介质 | |
| CN112839165B (zh) | 人脸跟踪摄像的实现方法、装置、计算机设备和存储介质 | |
| CN117813581A (zh) | 多角度手部跟踪 | |
| CN117859339A (zh) | 媒体设备及其控制方法和装置、目标跟踪方法和装置 | |
| CN116405774A (zh) | 视频处理方法与电子设备 | |
| CN110730378A (zh) | 一种信息处理方法及系统 | |
| JP2017063276A (ja) | 映像表示装置、映像表示方法、及びプログラム | |
| JP7199808B2 (ja) | 撮像装置およびその制御方法 | |
| JP2019027824A (ja) | 表示制御装置、表示制御システム、表示制御方法、及び表示制御プログラム | |
| CN116668809A (zh) | 一种车内乘客与车外景观实时交互方法及相关设备 | |
| CN117412163A (zh) | 拍摄方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |