CN106600548A - 鱼眼摄像头图像处理方法和系统 - Google Patents

鱼眼摄像头图像处理方法和系统 Download PDF

Info

Publication number
CN106600548A
CN106600548A CN201611026448.6A CN201611026448A CN106600548A CN 106600548 A CN106600548 A CN 106600548A CN 201611026448 A CN201611026448 A CN 201611026448A CN 106600548 A CN106600548 A CN 106600548A
Authority
CN
China
Prior art keywords
correction chart
image
chart picture
portrait
current time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611026448.6A
Other languages
English (en)
Other versions
CN106600548B (zh
Inventor
运如靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd, Guangzhou Shirui Electronics Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Publication of CN106600548A publication Critical patent/CN106600548A/zh
Application granted granted Critical
Publication of CN106600548B publication Critical patent/CN106600548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/80—
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本发明涉及一种鱼眼摄像头图像处理方法和系统，鱼眼摄像头图像处理方法包括：获取实时拍摄生成的视频图像；对视频图像进行畸变校正得到第一分辨率的校正图像；对校正图像进行图像识别并获取人像位置；判断当前时刻与前一时刻的校正图像的人像位置是否有相对移动；若否则获取前一时刻校正图像的截取中心点；若是则获取人像偏移方向和人像偏移距离并移动前一时刻校正图像的截取中心点；以获取的截取中心点为中心，根据预设的截取尺寸截取当前时刻的校正图像，得到第二分辨率的分段图像。如此，既可满足显示器可支持显示的分辨率，还可变换不同视场角的图像进行分段输出，增大视场角。

Description

鱼眼摄像头图像处理方法和系统
技术领域
本发明涉及图像处理技术领域，特别是涉及一种鱼眼摄像头图像处理方法和系统。
背景技术
摄像头作为一种视频输入设备，被广泛运用于视频会议、远程医疗及实时监控等方面；鱼眼摄像头作为一种视频输入设备，其最大的优势在于视角宽(视角接近或等于180°)，适用于拍摄较大场景的照片或视频，而同时，鱼眼摄像头拍摄得到的图像通常存在一定程度的畸变，除了画面中心的景物保持不变，其他本应水平或垂直的景物都发生了相应的变化。
为提高鱼眼摄像头的图像视觉效果，通常需要对鱼眼摄像头拍摄得到的图像进行畸变校正后输出。然而，对图像进行畸变校正后，通常会出现图像的分辨率大于显示器可支持的最大分辨率，例如，畸变校正后图像的分辨率为4K*2K，显示器的分辨率为1080P。传统的解决方式是直接从处理后的图像中截取一部分图像输出，使输出的图像满足显示器可显示的分辨率，但是这样得到的视频图像场景固定，整体视场角变窄。
发明内容
基于此，有必要针对上述问题，提供一种增大整体视场角的鱼眼摄像头图像处理方法和系统。
一种鱼眼摄像头图像处理方法，包括如下步骤：
获取实时拍摄生成的视频图像；
对所述视频图像进行畸变校正，得到第一分辨率的校正图像；
对所述校正图像进行图像识别并获取人像位置；
判断当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置是否有相对移动；
若否，获取前一时刻的校正图像的截取中心点；
若是，则根据当前时刻的校正图像与前一时刻的校正图像获取人像偏移方向和人像偏移距离，按照所述人像偏移方向和所述人像偏移距离移动前一时刻的校正图像的截取中心点，获取得到当前时刻的校正图像的截取中心点；
以获取的截取中心点为中心，根据预设的截取尺寸对当前时刻的校正图像进行图像截取，得到当前时刻的第二分辨率的分段图像。
一种鱼眼摄像头图像处理系统，包括：
图像获取模块，用于获取实时拍摄生成的视频图像；
图像校正模块，用于对所述视频图像进行畸变校正，得到第一分辨率的校正图像；
位置获取模块，用于对所述校正图像进行图像识别并获取人像位置；
人像位置比较模块，用于判断当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置是否有相对移动；
中心点获取模块，用于在当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置没有相对移动时，获取前一时刻的校正图像的截取中心点；
中心点更新模块，用于在当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置有相对移动时，根据当前时刻的校正图像与前一时刻的校正图像获取人像偏移方向和人像偏移距离，按照所述人像偏移方向和所述人像偏移距离移动前一时刻的校正图像的截取中心点，获取得到当前时刻的校正图像的截取中心点；
图像截取模块，用于以获取的截取中心点为中心，根据预设的截取尺寸对当前时刻的校正图像进行图像截取，得到当前时刻的第二分辨率的分段图像。
上述鱼眼摄像头图像处理方法和系统，获取实时拍摄生成的视频图像后，对视频图像进行畸变校正，得到分辨率大小为第一分辨率的校正图像，对校正图像进行图像识别并获取人像位置。然后，对校正图像进行分析以确定当前时刻的校正图像的截取中心点，具体流程为：判断当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置是否有相对移动；若否，则直接获取前一时刻的校正图像的截取中心点；若是，则根据当前时刻的校正图像与前一时刻的校正图像获取人像偏移方向和人像偏移距离，按照人像偏移方向和人像偏移距离移动前一时刻的校正图像的截取中心点，获取得到当前时刻的校正图像的截取中心点。最后，以获取的截取中心点为中心，根据预设的截取尺寸对当前时刻的校正图像进行图像截取，得到当前时刻的分辨率大小为第二分辨率的分段图像。如此，通过对视频图像进行畸变校正后，根据人像位置的移动来调整截取中心点，从而可以调整截取位置，得到对应校正图像不同场景部分的分段图像；因此，在满足显示器可支持显示的分辨率的同时，变换不同视场角的图像进行分段输出，可调整的视场角范围与最初拍摄的视场角相等，相比于现有固定场景的图像处理方式，上述鱼眼摄像头图像处理方法可增大视场角。
附图说明
图1为一实施例中鱼眼摄像头图像处理方法的流程图；
图2为一实施例中校正图像与分段图像的示意图；
图3为另一实施例中鱼眼摄像头图像处理方法的流程图；
图4为一实施例中鱼眼摄像头图像处理系统的模块框图；
图5为另一实施例中鱼眼摄像头图像处理系统的模块框图。
具体实施方式
参考图1，一实施例中的鱼眼摄像头图像处理方法，包括如下步骤。
S110：获取实时拍摄生成的视频图像。
视频由多个静止的图像按照高于人眼可识别的帧率输出得到。视频图像即指组成视频的图像，每一个时刻对应一张视频图像。本实施例中的视频图像可采用鱼眼摄像头进行拍摄得到，具体可采用鱼眼180度单摄像头拍摄，通过感光器件(COMS)进行光电处理得到视频图像。
S120：对视频图像进行畸变校正，得到第一分辨率的校正图像。
对于采用摄像头拍摄后得到畸变的视频图像，例如鱼眼摄像头拍摄，为使得视频图像恢复正常以便于观看，可采用公知的校正方法对视频图像进行畸变校正，例如本实施例中可以采用ISP(Image Signal Processor图像信号处理器)芯片对视频图像进行拉伸平展。由于各时刻分别对应一张视频图像，因此，各时刻分别对应有一张校正图像。其中，第一分辨率指校正图像对应的分辨率，通常大于畸变校正之前视频图像的分辨率。
S130：对校正图像进行图像识别并获取人像位置。
人像位置指校正图像中人所在的位置，可以是人的整体轮廓范围或某个部位的轮廓范围，例如人的头部轮廓范围，也可以是指人的某个具体部位的位置点，例如校正图像中人像的中心位置。
S160：判断当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置是否有相对移动。
通过分析相邻两张校正图像的人像位置是否有相对移动，从而分析拍摄画面中的人物是否有位置的移动。若否，则执行步骤S170，若是，则执行步骤S180。
其中，判断相邻两张校正图像的人像位置是否相对移动的具体操作，可以是判断人像位置的整体轮廓范围或人像位置的某个部位的轮廓范围是否有移动，例如判断头像轮廓是否有移动，也可以是判断人的某个具体部位的位置点，例如判断校正图像中人像的中心位置是否移动。
S170：获取前一时刻的校正图像的截取中心点。
当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置没有相对移动，表示拍摄画面中人物没有移动，此时直接获取前一张校正图像对应的截取中心点，无需调整。
S180：根据当前时刻的校正图像与前一时刻的校正图像获取人像偏移方向和人像偏移距离，按照人像偏移方向和人像偏移距离移动前一时刻的校正图像的截取中心点，获取得到当前时刻的校正图像的截取中心点。
当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置有相对移动，表示拍摄画面中人物移动，此时需要调整截取中心点。通过根据人像偏移方向和人像偏移距离调整前一时刻校正图像的截取中心点，使得截取中心点的移动方向和移动量与实际人物移动相对应。
S190：以获取的截取中心点为中心，根据预设的截取尺寸对当前时刻的校正图像进行图像截取，得到当前时刻的第二分辨率的分段图像。
第二分辨率指分段图像的分辨率大小，小于或等于用于显示分段图像的显示器可支持显示的分辨率大小。具体地，第二分辨率小于第一分辨率，即分段图像的分辨率小于校正图像的分辨率。如此，通过从校正图像中截取得到分段图像，可以满足较底分辨率的显示器进行显示。本实施例中，采用鱼眼180度单摄像头拍摄得到的视频图像校正之后分辨率为4K*2K，用于显示分段图像的显示器可支持显示的分辨率为1080P，即第一分辨率为4K*2K，第二分辨率为1080P。
预设的截取尺寸具体为多少，可以根据分段图像对应的第二分辨率的大小进行设置。对校正图像进行截取得到的分段图像，为校正图像的部分图像。例如，参考图2，侧边A到侧边B的尺寸大小对应为校正图像，分辨率大小为第一分辨率，侧边C到侧边D的尺寸大小对应为分段图像，其辨率大小为第二分辨率。
上述鱼眼摄像头图像处理方法，获取实时拍摄生成的视频图像后，对视频图像进行畸变校正，得到分辨率大小为第一分辨率的校正图像，对校正图像进行图像识别并获取人像位置。然后，对校正图像进行分析以确定当前时刻的校正图像的截取中心点，具体流程为：判断当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置是否有相对移动；若否，则直接获取前一时刻的校正图像的截取中心点；若是，则根据当前时刻的校正图像与前一时刻的校正图像获取人像偏移方向和人像偏移距离，按照人像偏移方向和人像偏移距离移动前一时刻的校正图像的截取中心点，获取得到当前时刻的校正图像的截取中心点。最后，以获取的截取中心点为中心，根据预设的截取尺寸对当前时刻的校正图像进行图像截取，得到当前时刻的分辨率大小为第二分辨率的分段图像。如此，通过对视频图像进行畸变校正后，根据人像位置的移动来调整截取中心点，从而可以调整截取位置，得到对应校正图像不同场景部分的分段图像；因此，在满足显示器可支持显示的分辨率的同时，变换不同视场角的图像进行分段输出，可调整的视场角范围与最初拍摄的视场角相等，相比于现有固定场景的图像处理方式，上述鱼眼摄像头图像处理方法可增大视场角。
在一实施例中，步骤S130包括步骤(a1)至步骤(a3)。
步骤(a1)：对校正图像进行像素点切分得到数据包。
对校正图像进行像素点切分后得到的数据包为对应所有像素点的数据包，可以是以单个像素点为一个单位进行划分切割，也可以是以多个像素点为一个单位进行划分切割，具体可由采用的器件类型决定。例如，采用ISP芯片对校正图像进行像素点切分时，切分的最小单位由ISP芯片的类型决定。
步骤(a2)：对数据包进行解码得到解码图像。
对数据包进行解码处理，可以采用DSP(Digital Signal Process数字信号处理)芯片实现。
步骤(a3)：对解码图像进行图像识别并获取人像位置。
校正图像一般比较像素比较大，通过对校正图像先进行像素点切分，以便于后续进行图像识别，可提高图像识别处理的准确度。
在一实施例中，参考图3，步骤S130之后，步骤S160之前，还包括步骤S140和步骤S150。
S140：判断当前时刻的校正图像是否为第一张校正图像。若否，则执行步骤S160，若是，则执行步骤S150。
第一张校正图像指按时间顺序排列最前的校正图像。通过判断当前时刻的校正图像是否为第一张校正图像，可以判断当前时刻的校正图像之前是否存在对应有校正图像。
S150：获取预设的位置点作为当前时刻的校正图像的截取中心点。
当前时刻的校正图像为第一张校正图像，表示当前时刻为多个视频图像对应的最早时刻，没有可对比的校正图像，此时获取预设的位置点作为截取中心点，以便对当前时刻的校正图像进行后续处理。其中，预设的位置点可以根据实际需要具体设置，可以使预设的位置点与人像位置重合，使得截取得到的分段图像中人像位于中间位置。例如，对于拍摄时将人物定于画面中间的情况而言，预设的位置点可以设置为校正图像的中心点，对于拍摄时将人物定于画面偏左侧的情况而言，预设的位置点可以设置为校正图像的中心偏左侧的点。可以理解，预设的位置点也可与人像位置不重合，此时截取得到的分段图像中人像则不在中间位置。
在一实施例中，步骤S180中，根据当前时刻的校正图像与前一时刻的校正图像获取人像偏移方向和人像偏移距离，包括：获取当前时刻的校正图像的人像位置与前一时刻的校正图像的人像位置的相对距离值，判断相对距离值是否大于或等于预设距离值；若是，则获取当前时刻的校正图像的人像位置相对于前一时刻的校正图像的人像位置的人像偏移方向，并将相对距离值作为人像偏移距离；若否，则设置人像偏移方向为无，设置人像偏移距离为零。
其中，预设距离值可以根据实际需要具体设置，预设距离值越小，可引起截取中心点调整的相对距离值越小。通过比较相对距离值与预设距离值，在相对距离值大于或等于预设距离值时才进行截取中心点的调节，避免因微小的移动而引起对截取中心点频繁的调节，节省程序。
在一实施例中，继续参考图3，步骤S190之后，还包括步骤S210：
以时间先后为顺序，按照预设帧率输出各时刻的分段图像，得到待播放视频。
预设帧率为大于人眼可以识别的帧率，可以预先设置。例如，本实施例中，预设帧率为30帧/秒。将各时刻的分段图像按照时间先后进行输出，具体可以是输出至显示器，以便得到待播放视频进行显示播放。
具体地，步骤S210具体可以为：对分段图像进行存储、压缩和接口格式转换得到处理图像，以时间先后为顺序、按照预设帧率输出处理图像得到待播放视频。其中，接口格式转换指将分段图像的接口格式转换为与显示器连接接口对应的格式，以便显示器识别接收。
在一实施例中，步骤S190之后，还包括步骤(b1)至步骤(b3)。
步骤(b1)：对各时刻的分段图像进行图像识别，得到肢体动作类型。
肢体动作类型指分段图像中人像某个肢体的动作，包括点头、摇头、手部交叉、右手划勾、右手划圈等。
步骤(b2)：判断肢体动作类型是否属于预设类型。若是，则执行步骤(b3)；若否，则可以不执行。
步骤(b3)：查询与肢体动作类型对应的操作指令，并根据操作指令执行对应操作。
预设类型指预先存储的动作类型。具体地，每一个预设类型对应存储有一个操作指令。当肢体动作类型属于预设类型时，表示该肢体动作类型对应有操作指令，查询获取该操作指令并执行。例如，预设动作类型包括双手交叉，对应的操作指令为截屏保存；当识别到分段图像中有双手交叉的肢体动作类型时，自动执行截屏保存操作。通过步骤(b1)至步骤(b3)，实现图像处理的自动化操作，提高用户使用便利性。
可以理解，步骤(b1)至步骤(b3)可以与步骤S210同时执行，可以于步骤S210之前执行，也可以于步骤S210之后执行。
参考图4，一实施例中的鱼眼摄像头图像处理系统，包括图像获取模块110、图像校正模块120、位置获取模块130、人像位置比较模块160、中心点获取模块170、中心点更新模块180和图像截取模块190。
图像获取模块110用于获取实时拍摄生成的视频图像。
图像校正模块120用于对视频图像进行畸变校正，得到第一分辨率的校正图像。
位置获取模块130用于对校正图像进行图像识别并获取人像位置。
人像位置比较模块160用于判断当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置是否有相对移动。
通过分析相邻两张校正图像的人像位置是否有相对移动，从而分析拍摄画面中的人物是否有位置的移动。
中心点获取模块170用于在当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置没有相对移动时，获取前一时刻的校正图像的截取中心点。
当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置没有相对移动，表示拍摄画面中人物没有移动，此时可以直接获取前一张校正图像对应的截取中心点，无需调整。
中心点更新模块180用于在当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置有相对移动时，根据当前时刻的校正图像与前一时刻的校正图像获取人像偏移方向和人像偏移距离，按照人像偏移方向人像偏移距离移动前一时刻的校正图像的截取中心点，获取得到当前时刻的校正图像的截取中心点。
通过根据人像偏移方向和人像偏移距离调整截取中心点，使得截取中心点的移动方向和移动量与实际人物移动相对应。
图像截取模块190用于以获取的截取中心点为中心，根据预设的截取尺寸对当前时刻的校正图像进行图像截取，得到当前时刻的第二分辨率的分段图像。
通过从校正图像中截取得到分段图像，可以满足较低分辨率的显示器进行显示。本实施例中，采用鱼眼180度单摄像头拍摄得到的视频图像校正之后分辨率为4K*2K，用于显示分段图像的显示器可支持显示的分辨率为1080P，即第一分辨率为4K*2K，第二分辨率为1080P。
上述鱼眼摄像头图像处理系统，图像获取模块110获取实时拍摄生成的视频图像后，图像校正模块120对视频图像进行畸变校正，得到分辨率大小为第一分辨率的校正图像，位置获取模块130对校正图像进行图像识别并获取人像位置。然后对校正图像进行分析以确定当前时刻的截取中心点，具体为：人像位置比较模块160判断当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置是否有相对移动；若没有相对移动，则中心点获取模块170直接获取前一时刻的校正图像的截取中心点；若有相对移动，则中心点更新模块180根据当前时刻的校正图像与前一时刻的校正图像获取人像偏移方向和人像偏移距离，按照人像偏移方向和人像偏移距离移动前一时刻的校正图像的截取中心点，获取得到当前时刻的校正图像的截取中心点。最后，图像截取模块190以获取的截取中心点为中心，根据预设的截取尺寸对当前时刻的校正图像进行图像截取，得到当前时刻的分辨率大小为第二分辨率的分段图像。如此，通过对视频图像进行畸变校正后，根据人像位置的移动来调整截取中心点，从而可以调整截取位置，得到对应校正图像不同场景部分的分段图像；因此，在满足显示器可支持显示的分辨率的同时，变换不同视场角的图像进行分段输出，可调整的视场角范围与最初拍摄的视场角相等，相比于现有固定场景的图像处理方式，上述鱼眼摄像头图像处理方法可增大视场角。
在一实施例中，位置获取模块130包括像素点切分单元(图未示)、数据包解码单元和图像识别单元。像素点切分单元用于对校正图像进行像素点切分得到数据包。数据包解码单元用于对数据包进行解码得到解码图像。图像识别单元用于对解码图像进行图像识别并获取人像位置。校正图像一般比较像素比较大，通过对校正图像先进行像素点切分，以便于后续进行图像识别，可提高图像识别处理的准确度。
在一实施例中，参考图5，上述鱼眼摄像头图像处理系统还包括图像分析模块140和中心点确定模块150。图像分析模块140用于判断当前时刻的校正图像是否为第一张校正图像。中心点确定模块150用于在当前时刻的校正图像为第一张校正图像时，获取预设的位置点作为当前时刻的校正图像的截取中心点，在当前时刻的校正图像不为第一张校正图像时，控制人像位置比较模块160判断当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置是否有相对移动。
在一实施例中，中心点更新模块180根据当前时刻的校正图像与前一时刻的校正图像获取人像偏移方向和人像偏移距离，具体可以是：获取当前时刻的校正图像的人像位置与前一时刻的校正图像的人像位置的相对距离值，判断相对距离值是否大于或等于预设距离值；若是，则获取当前时刻的校正图像的人像位置相对于前一时刻的校正图像的人像位置的人像偏移方向，并将相对距离值作为人像偏移距离；若否，则设置人像偏移方向为无，设置人像偏移距离为零。
通过比较相对距离值与预设距离值，在相对距离值大于或等于预设距离值时才进行截取中心点的调节，避免因微小的移动而引起对截取中心点频繁的调节，节省程序。
在一实施例中，上述鱼眼摄像头图像处理系统还包括视频输出模块(图未示)，用于以时间先后为顺序，按照预设帧率输出各时刻的分段图像，得到待播放视频。
预设帧率为大于人眼可以识别的帧率，可以预先设置。例如，本实施例中，预设帧率为30帧/秒。将各时刻的分段图像按照时间先后进行输出，具体可以是输出至显示器，以便得到待播放视频进行显示播放。
本实施例中，视频输出模块具体用于：对分段图像进行存储、压缩和接口格式转换得到处理图像，以时间先后为顺序、按照预设帧率输出处理图像得到待播放视频。其中，接口格式转换指将分段图像的接口格式转换为与显示器连接接口对应的格式，以便显示器识别接收。
在一实施例中，上述鱼眼摄像头图像处理系统还包括动作分析模块(图未示)，用于对分段图像进行图像识别，得到肢体动作类型，判断肢体动作类型是否属于预设类型，若是，则查询与肢体动作类型对应的操作指令，并根据操作指令执行对应操作。
预设类型指预先存储的动作类型。具体地，每一个预设类型对应存储有一个操作指令。当肢体动作类型属于预设类型时，表示该肢体动作类型对应有操作指令，查询获取该操作指令并执行。例如，预设动作类型包括双手交叉，对应的操作指令为截屏保存；当识别到分段图像中有双手交叉的肢体动作类型时，自动执行截屏保存操作。通过动作分析模块进行肢体动作分析，可实现图像处理的自动化操作，提高用户使用便利性。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种鱼眼摄像头图像处理方法，其特征在于，包括如下步骤：
获取实时拍摄生成的视频图像；
对所述视频图像进行畸变校正，得到第一分辨率的校正图像；
对所述校正图像进行图像识别并获取人像位置；
判断当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置是否有相对移动；
若否，获取前一时刻的校正图像的截取中心点；
若是，则根据当前时刻的校正图像与前一时刻的校正图像获取人像偏移方向和人像偏移距离，按照所述人像偏移方向和所述人像偏移距离移动前一时刻的校正图像的截取中心点，获取得到当前时刻的校正图像的截取中心点；
以获取的截取中心点为中心，根据预设的截取尺寸对当前时刻的校正图像进行图像截取，得到当前时刻的第二分辨率的分段图像。
2.根据权利要求1所述的鱼眼摄像头图像处理方法，其特征在于，所述对所述校正图像进行图像识别并获取人像位置的步骤，包括：
对所述校正图像进行像素点切分得到数据包；
对所述数据包进行解码得到解码图像；
对所述解码图像进行图像识别并获取人像位置。
3.根据权利要求1所述的鱼眼摄像头图像处理方法，其特征在于，所述对所述校正图像进行图像识别并获取人像位置的步骤之后，所述判断当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置是否有相对移动的步骤之前，还包括：
判断当前时刻的校正图像是否为第一张校正图像；
若是，则获取预设的位置点作为当前时刻的校正图像的截取中心点；
若否，则进行所述判断当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置是否有相对移动的步骤。
4.根据权利要求1所述的鱼眼摄像头图像处理方法，其特征在于，所述以获取的截取中心点为中心，根据预设的截取尺寸对当前时刻的校正图像进行图像截取，得到当前时刻的第二分辨率的分段图像的步骤之后，还包括：
以时间先后为顺序，按照预设帧率输出各时刻的分段图像，得到待播放视频。
5.根据权利要求1所述的鱼眼摄像头图像处理方法，其特征在于，所述以获取的截取中心点为中心，根据预设的截取尺寸对当前时刻的校正图像进行图像截取，得到当前时刻的第二分辨率的分段图像的步骤之后，还包括：
对各时刻的分段图像进行图像识别，得到肢体动作类型；
判断所述肢体动作类型是否属于预设类型；
若是，则查询与所述肢体动作类型对应的操作指令，并根据所述操作指令执行对应操作。
6.一种鱼眼摄像头图像处理系统，其特征在于，包括：
图像获取模块，用于获取实时拍摄生成的视频图像；
图像校正模块，用于对所述视频图像进行畸变校正，得到第一分辨率的校正图像；
位置获取模块，用于对所述校正图像进行图像识别并获取人像位置；
人像位置比较模块，用于判断当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置是否有相对移动；
中心点获取模块，用于在当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置没有相对移动时，获取前一时刻的校正图像的截取中心点；
中心点更新模块，用于在当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置有相对移动时，根据当前时刻的校正图像与前一时刻的校正图像获取人像偏移方向和人像偏移距离，按照所述人像偏移方向和所述人像偏移距离移动前一时刻的校正图像的截取中心点，获取得到当前时刻的校正图像的截取中心点；
图像截取模块，用于以获取的截取中心点为中心，根据预设的截取尺寸对当前时刻的校正图像进行图像截取，得到当前时刻的第二分辨率的分段图像。
7.根据权利要求6所述的鱼眼摄像头图像处理系统，其特征在于，所述位置获取模块包括：
像素点切分单元，用于对所述校正图像进行像素点切分得到数据包；
数据包解码单元，用于对所述数据包进行解码得到解码图像；
图像识别单元，用于对所述解码图像进行图像识别并获取人像位置。
8.根据权利要求6所述的鱼眼摄像头图像处理系统，其特征在于，还包括：
图像分析模块，用于判断当前时刻的校正图像是否为第一张校正图像；
中心点确定模块，用于在当前时刻的校正图像为第一张校正图像时，获取预设的位置点作为当前时刻的校正图像的截取中心点，在当前时刻的校正图像不为第一张校正图像时，控制所述人像位置比较模块判断当前时刻对应校正图像的人像位置与前一时刻对应校正图像的人像位置是否有相对移动。
9.根据权利要求6所述的鱼眼摄像头图像处理系统，其特征在于，还包括视频输出模块，用于以时间先后为顺序，按照预设帧率输出各时刻的分段图像，得到待播放视频。
10.根据权利要求6所述的鱼眼摄像头图像处理系统，其特征在于，还包括动作分析模块，用于对所述分段图像进行图像识别，得到肢体动作类型，判断所述肢体动作类型是否属于预设类型，若是，则查询与所述肢体动作类型对应的操作指令，并根据所述操作指令执行对应操作。
CN201611026448.6A 2016-10-20 2016-11-18 鱼眼摄像头图像处理方法和系统 Active CN106600548B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2016109161703 2016-10-20
CN201610916170 2016-10-20

Publications (2)

Publication Number Publication Date
CN106600548A true CN106600548A (zh) 2017-04-26
CN106600548B CN106600548B (zh) 2020-01-07

Family

ID=58592470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611026448.6A Active CN106600548B (zh) 2016-10-20 2016-11-18 鱼眼摄像头图像处理方法和系统

Country Status (1)

Country Link
CN (1) CN106600548B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104562A (zh) * 2017-06-21 2018-12-28 佳能株式会社 信息处理设备、信息处理方法和记录介质
CN109919852A (zh) * 2018-12-31 2019-06-21 中国科学院软件研究所 一种光学遥感图像的屋顶视角校正方法
CN111277745A (zh) * 2018-12-04 2020-06-12 北京奇虎科技有限公司 目标人员的追踪方法、装置、电子设备及可读存储介质
CN112997214A (zh) * 2018-11-13 2021-06-18 索尼公司 信息处理装置、信息处理方法和程序
CN112991216A (zh) * 2021-03-18 2021-06-18 支付宝(杭州)信息技术有限公司 鱼眼图像的矫正方法、系统、智能货架以及图像处理方法
CN113052119A (zh) * 2021-04-07 2021-06-29 兴体(广州)智能科技有限公司 球类运动跟踪摄像方法及系统
CN113076881A (zh) * 2021-04-07 2021-07-06 兴体(广州)智能科技有限公司 运动人体跟踪摄像方法及摄像系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061260A (ja) * 2007-09-21 2008-03-13 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法
CN101753807A (zh) * 2009-12-16 2010-06-23 惠州Tcl移动通信有限公司 一种图像摄取装置
CN104392435A (zh) * 2014-11-10 2015-03-04 中科院微电子研究所昆山分所 鱼眼相机标定方法及标定装置
CN104660897A (zh) * 2013-11-20 2015-05-27 浪潮乐金数字移动通信有限公司 基于移动终端的360度全景图像获取方法
JP2016081425A (ja) * 2014-10-21 2016-05-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN205647708U (zh) * 2016-04-22 2016-10-12 深圳市洞视光电技术有限公司 使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061260A (ja) * 2007-09-21 2008-03-13 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法
CN101753807A (zh) * 2009-12-16 2010-06-23 惠州Tcl移动通信有限公司 一种图像摄取装置
CN104660897A (zh) * 2013-11-20 2015-05-27 浪潮乐金数字移动通信有限公司 基于移动终端的360度全景图像获取方法
JP2016081425A (ja) * 2014-10-21 2016-05-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN104392435A (zh) * 2014-11-10 2015-03-04 中科院微电子研究所昆山分所 鱼眼相机标定方法及标定装置
CN205647708U (zh) * 2016-04-22 2016-10-12 深圳市洞视光电技术有限公司 使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104562A (zh) * 2017-06-21 2018-12-28 佳能株式会社 信息处理设备、信息处理方法和记录介质
CN112997214A (zh) * 2018-11-13 2021-06-18 索尼公司 信息处理装置、信息处理方法和程序
CN112997214B (zh) * 2018-11-13 2024-04-26 索尼公司 信息处理装置、信息处理方法和程序
CN111277745A (zh) * 2018-12-04 2020-06-12 北京奇虎科技有限公司 目标人员的追踪方法、装置、电子设备及可读存储介质
CN111277745B (zh) * 2018-12-04 2023-12-05 北京奇虎科技有限公司 目标人员的追踪方法、装置、电子设备及可读存储介质
CN109919852A (zh) * 2018-12-31 2019-06-21 中国科学院软件研究所 一种光学遥感图像的屋顶视角校正方法
CN109919852B (zh) * 2018-12-31 2021-04-30 中国科学院软件研究所 一种光学遥感图像的屋顶视角校正方法
CN112991216A (zh) * 2021-03-18 2021-06-18 支付宝(杭州)信息技术有限公司 鱼眼图像的矫正方法、系统、智能货架以及图像处理方法
CN113052119A (zh) * 2021-04-07 2021-06-29 兴体(广州)智能科技有限公司 球类运动跟踪摄像方法及系统
CN113076881A (zh) * 2021-04-07 2021-07-06 兴体(广州)智能科技有限公司 运动人体跟踪摄像方法及摄像系统
CN113052119B (zh) * 2021-04-07 2024-03-15 兴体(广州)智能科技有限公司 球类运动跟踪摄像方法及系统

Also Published As

Publication number Publication date
CN106600548B (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN106600548A (zh) 鱼眼摄像头图像处理方法和系统
US11082675B2 (en) Method and system of lens shading color correction using block matching
US10404926B2 (en) Warp processing for image capture
EP3593524B1 (en) Image quality assessment
US10306165B2 (en) Image generating method and dual-lens device
US9041834B2 (en) Systems and methods for reducing noise in video streams
WO2020168967A1 (zh) 图像采集方法、电子设备和计算机可读存储介质
US20190166302A1 (en) Method and apparatus for blurring preview picture and storage medium
CN109660738B (zh) 基于双摄像头的曝光控制方法及系统
CN105827935B (zh) 一种终端截图的方法及终端
CN107911682B (zh) 图像白平衡处理方法、装置、存储介质和电子设备
WO2019105305A1 (zh) 图像亮度处理方法、计算机可读存储介质和电子设备
EP3891974B1 (en) High dynamic range anti-ghosting and fusion
WO2018040480A1 (zh) 一种调整扫描状态的方法及装置
JP6206542B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111866437B (zh) 一种用于视频会议双摄像头的自动切换方法、装置、终端设备以及存储介质
US20190095713A1 (en) Scene classification for image processing
JP6907274B2 (ja) 撮像装置及び撮像方法
CN114449130B (zh) 一种多摄像头的视频融合方法及系统
CN110930340B (zh) 一种图像处理方法及装置
US10861127B1 (en) Image and video processing using multiple pipelines
KR102171162B1 (ko) 타임 슬라이스 영상 생성 방법 및 장치
CN116208851A (zh) 图像处理方法及相关装置
CN114827477B (zh) 延时摄影的方法、装置、电子设备及介质
US20230260282A1 (en) Information processing devices, information processing methods and video streaming system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant