图像标注方法、装置、系统及细胞标注方法
技术领域
本公开涉及人工智能技术领域,具体而言,涉及一种图像标注方法、图像标注装置、图像标注系统及细胞标注方法。
背景技术
为了获取图像中的信息,通常需要对图像中的对象进行标注,目前对图像进行标注的方法主要有两种:人工标注和自动标注,其中人工标注是通过人工方式对图像中的对象进行识别并标记,自动标注是基于人工智能实现对图像中的对象的识别和标记。图像标注广泛应用于多个领域,其中医学领域应用较多。
以对病理切片中的细胞进行标注为例,在标注细胞时需要准确勾勒出细胞的边界,如果仅通过人工标注的方式对病理切片中的细胞进行标注,需要耗费大量的人力物力,并且标注成本也非常高。
鉴于此,本领域亟需开发一种新的图像标注方法。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的实施例提供了一种图像标注方法、图像标注装置、图像标注系统及细胞标注方法,进而至少在一定程度上可以避免人工对待标注图像中的目标对象进行标注,提高了标注效率,降低了标注成本,另外通过将待标注图像分割为超像素进行标注,减少了计算量,进一步提高了标注效率。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开实施例的一个方面,提供了一种图像标注方法,包括:获取待标注图像,所述待标注图像中包含对目标对象进行预标注的标识;对所述待标注图像进行图像分割,以获取与所述待标注图像对应的超像素;根据所述标识对应的像素信息和所述超像素中的像素信息进行超像素聚类,以对所述目标对象进行标注。
根据本公开实施例的一个方面,提供了一种图像标注装置,包括:预标注模块,用于获取待标注图像,所述待标注图像中包含对目标对象进行预标注的标识;图像分割模块,用于对所述待标注图像进行图像分割,以获取与所述待标注图像对应的超像素;像素聚类模块,用于根据所述标识对应的像素信息和所述超像素中的像素信息进行超像素聚类,以对所述目标对象进行标注。
在本公开的一些实施例中,基于前述方案,所述图像分割模块配置为:对所述待标注图像的图像格式进行转换,以获取目标图像;根据预设分割数量对所述目标图像进行预分割,并在预分割形成的图像区域中形成初始种子点;根据所述初始种子点确定目标邻域,并根据所述初始种子点和所述目标邻域中的像素之间的像素梯度确定目标种子点;计算所述目标种子点与所述目标邻域中各像素的距离,根据所述距离对所述目标邻域中的像素进行划分,以形成所述超像素。
在本公开的一些实施例中,所述超像素的数量为多个;基于前述方案,所述像素聚类模块包括:搜索区域生成单元,用于从多个所述超像素中确定目标超像素,根据所述目标超像素的种子点和预设距离确定搜索区域;标记超像素获取单元,用于获取所述搜索区域中与所述标记点对应的标记超像素;像素聚类单元,用于根据所述标记超像素中的像素信息和所述目标超像素中的像素信息进行超像素聚类,以对所述目标对象进行标注。
在本公开的一些实施例中,基于前述方案,所述搜索区域生成单元配置为:获取所述种子点的第一坐标和第二坐标;根据所述第一坐标和所述预设距离确定第一边界和第二边界,同时根据所述第二坐标和所述预设距离确定第三边界和第四边界;根据所述第一边界、所述第二边界、所述第三边界和所述第四边界确定所述搜索区域。
在本公开的一些实施例中,所述像素信息包括坐标信息和色彩信息;基于前述方案,所述像素聚类单元包括:第一信息获取单元,用于获取所述标记超像素的种子点的第一坐标信息及第一色彩信息,同时获取所述目标超像素的种子点的第二坐标信息及第二色彩信息;第一距离获取单元,用于根据所述第一坐标信息和所述第二坐标信息确定第一二维空间距离;第二距离获取单元,用于根据所述第一色彩信息和所述第二色彩信息确定第一色彩空间距离;第一判断单元,用于根据所述第一二维空间距离和所述第一色彩空间距离确定第一目标距离,并根据所述第一目标距离对所述目标超像素进行判断,以根据判断结果对所述目标对象进行标注。
在本公开的一些实施例中,基于前述方案,所述第一距离获取单元配置为:根据所述搜索区域对应的坐标信息确定所述搜索区域中的最大空间距离;根据所述第一坐标信息和所述第二坐标信息确定第一空间距离;将所述第一空间距离与所述最大空间距离相除,以获取所述第一二维空间距离。
在本公开的一些实施例中,基于前述方案,所述第二距离获取单元包括:根据所述待标注图像中的最大色彩值和最小色彩值确定最大色彩距离;根据所述第一色彩信息和所述第二色彩信息确定第一色彩距离;将所述第一色彩距离与所述最大色彩距离相除,以获取所述第一色彩空间距离。
在本公开的一些实施例中,基于前述方案,所述第一判断单元配置为:对所述第一二维空间距离和所述第一色彩空间距离进行加权求和,以获取与所述目标超像素对应的距离;从与所述目标超像素对应的距离中确定一最小距离,并将所述最小距离作为所述第一目标距离。
在本公开的一些实施例中,基于前述方案,所述第一判断单元配置为:将所述第一目标距离与第一预设阈值进行比较,根据比较结果对所述目标超像素进行分类;当所述第一目标距离大于所述第一预设阈值时,判定所述目标超像素属于背景区域;当所述第一目标距离小于或等于所述第一预设阈值时,判定所述目标超像素属于所述标识对应的目标对象,并将所述目标超像素与所述标注超像素聚类。
在本公开的一些实施例中,基于前述方案,所述图像标注装置还包括:像素均值计算模块,用于计算所述超像素中所有像素的像素均值,并将所述超像素中所有像素的像素值替换为所述像素均值。
在本公开的一些实施例中,所述像素信息包括坐标信息和色彩信息;基于前述方案,所述像素聚类模块包括:第二信息获取单元,用于获取所述标记超像素中任意一点的第三坐标信息及第三色彩信息,同时获取所述目标超像素中任意一点的第四坐标信息及第四色彩信息;第三距离获取单元,用于根据所述第三坐标信息和所述第四坐标信息确定第二二维空间距离;第四距离获取单元,用于根据所述第三色彩信息和所述第四色彩信息确定第二色彩空间距离;第二判断单元,用于根据所述第二二维空间距离和所述第二色彩空间距离确定第二目标距离,并根据所述第二目标距离对所述目标超像素进行判断,以根据判断结果对所述目标对象进行标注。
在本公开的一些实施例中,基于前述方案,所述第三距离获取单元配置为:对所述第二二维空间距离和所述第二色彩空间距离进行加权求和,以获取与所述目标超像素对应的距离;从与所述目标超像素对应的距离中确定一最小距离,并将所述最小距离作为所述第二目标距离。
在本公开的一些实施例中,基于前述方案,所述第四距离获取单元配置为:将所述第二目标距离与第二预设阈值进行比较,根据比较结果对所述目标超像素进行分类;当所述第二目标距离大于所述第二预设阈值时,判定所述目标超像素属于背景区域;当所述第二目标距离小于或等于所述第二预设阈值时,判定所述目标超像素属于所述标识对应的目标对象,并将所述目标超像素与所述标注超像素聚合。
根据本公开实施例的一个方面,提供了一种图像标注系统,包括:拍摄装置,用于拍摄包含目标对象的待标注图像;预标注装置,与所述拍摄装置连接,用于获取所述待标注图像,并对所述目标对象进行预标注,以形成对所述目标对象进行预标注的标识;图像处理装置,与所述预标注装置连接,用于接收预标注后的所述待标注图像,并且所述图像处理装置包括一个或多个处理器,其中,所述存储装置用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器对预标注后的所述待标注图像执行如上述实施例中所述的图像标注方法;显示装置,与所述图像处理装置连接,用于接收所述图像处理装置输出的图像标注结果,并将所述图像标注结果显示于所述显示装置的显示屏幕上。
根据本公开实施例的一个方面,提供了一种细胞标注方法,包括:获取待标注病理图像,所述待标注病理图像中包含对细胞进行预标注的标识;对所述待标注病理图像进行图像分割,以获取与所述待标注病理图像对应的超像素;根据所述标识对应的像素信息和所述超像素中的像素信息进行超像素聚类,以对所述细胞进行标注。
在本公开的一些实施例所提供的技术方案中,首先对待标注图像中的目标对象进行预标注形成标识,接着对待标注图像进行图像分割以获取与待标注图像对应的超像素;最后根据标识对应的像素信息和超像素中的像素信息进行超像素聚类,实现对目标对象的标注。本公开的技术方案能够在人工标注的基础上结合机器标注实现对目标对象的半自动标注,避免对目标对象的完全人工标注,节省了人力物力,提高了标记效率;另外对待标注图像进行图像分割形成超像素,能够减少像素聚类时的计算量,进一步提高了标记效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了可以应用本公开实施例的技术方案的示例性系统架构的示意图;
图2示意性示出了相关技术中的人工标注的流程示意图;
图3示意性示出了根据本公开的一个实施例的图像标注方法的流程示意图;
图4示意性示出了根据本公开的一个实施例的人工标注细胞的界面示意图;
图5示意性示出了根据本公开的一个实施例的超像素分割的流程示意图;
图6示意性示出了根据本公开的一个实施例的超像素分割后的图像界面示意图;
图7示意性示出了根据本公开的一个实施例的像素聚类的流程示意图;
图8示意性示出了根据本公开的一个实施例的像素聚类的流程示意图;
图9示意性示出了根据本公开的一个实施例的计算第一二维空间距离的流程示意图;
图10示意性示出了根据本公开的一个实施例的计算第一色彩空间距离的流程示意图;
图11示意性示出了根据本公开的一个实施例的标注目标对象的流程示意图;
图12示意性示出了根据本公开的一个实施例的调整像素值后的超像素界面示意图;
图13示意性示出了根据本公开的一个实施例的另一种超像素聚类的流程示意图;
图14示意性示出了根据本公开的一个实施例的超像素聚类后的细胞标注界面示意图;
图15A-15B示意性示出了根据本公开的一个实施例的两幅病理图像中细胞标注的界面示意图;
图16示意性示出了根据本公开的一个实施例的图像标注装置的框图;
图17示意性示出了根据本公开的一个实施例的细胞标注装置的框图;
图18示意性示出了根据本公开的一个实施例的图像标注系统的框图;
图19示出了适于用来实现本公开实施例的图像处理装置的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本公开实施例的技术方案的示例性系统架构的示意图。
如图1所示,系统架构100可以包括终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线通信链路、无线通信链路等等。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实际需要,可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。终端设备101可以是诸如摄像机、照相机、智能手机等带有成像单元的拍摄装置,通过终端设备101可以获取包含目标对象的待标注图像。
在本公开的一个实施例中,终端设备101通过网络102向服务器103发送包含目标对象的待标注图像,其中目标对象为经过预标注的目标对象,也就是说,待标注图像中包含对目标对象进行预标注的标识,服务器103获取待标注图像后,可以对待标注图像进行图像分割,以获取与待标注图像对应的超像素。在获取超像素后,服务器103可以根据标识对应的像素信息和超像素中的像素信息进行超像素聚类,其中像素信息包含坐标信息和色彩信息,通过标识对应的像素信息和超像素中的像素信息可以计算标识所在的超像素与目标超像素的距离,根据该距离可以确定目标距离,进而可以根据目标距离能够对目标超像素的类型进行判断,并根据判断结果对待标注图像中的像素进行聚类,实现对目标对象的标注。进一步的,在获取超像素后,可以计算超像素中所有像素的像素均值,并以该像素均值替换超像素中的所有像素值,再根据与标记点对应的像素信息和超像素中的像素信息进行超像素聚类,实现对目标对象的标注。本公开实施例的技术方案能够避免通过人工标注的方式对待标注图像中的目标对象,降低了标注成本,提高了标注效率;另外,对待标注图像进行图像分割形成超像素,基于超像素进行标注能够减少计算量,进一步提高标注效率。
需要说明的是,本公开实施例所提供的图像标注方法一般由服务器执行,相应地,图像标注装置一般设置于服务器中。但是,在本公开的其它实施例中,也可以由终端设备执行本公开实施例所提供的图像标注方案。
以病理图像的细胞标注为例对相关技术中的图像标注进行说明。病理学是细胞形态的微观研究,能够补充原位分子信息,通过将组织样品从体内取出,然后将其置于固定剂中制作成用于在显微镜下观察的病理切片。通常病理切片中细胞是比较重要的判断依据,因此很多任务需要对细胞进行检测与分割,由于细胞检测与分割时需要进行细胞数据的标注,标注时需要准确勾勒出细胞的边界,而目前主要通过人工方式实现对病理切片的细胞标注,图2示出了人工标注的流程示意图,如图2所示,在步骤S201中,获取病理图像;在步骤S202中,人工勾画轮廓;通常可以使用画图工具或标注工具,通过人工方法勾画病理图像中细胞的边界;在步骤S203中,图像孔洞填充;由于步骤S202的人工勾画过程中可能出现遗漏,在勾画的边界中存在孔洞,因此可以在人工标注结果进行处理得到细胞的边界线后对边界线进行孔洞填充,以得到与病理图像对应的像素级标注结果。
虽然能够通过人工对细胞进行标注,但是人工勾画细胞边界是一项非常耗时耗力的任务,需要大量的人力和物力才能完成一批标注任务,标注效率过低。
鉴于相关技术中存在的问题,本公开实施例提供了一种图像标注方法,该图像标注方法是基于机器学习实现的,机器学习属于人工智能的一种,人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本公开实施例提供的方案涉及人工智能的图像处理技术,具体通过如下实施例进行说明:
本公开实施例首先提出了一种图像标注方法,该图像标注方法可以应用于医学图像分析领域、刑侦图像分析领域,也可以用于需要对具有复杂细节的图像进行标注的其它领域,以下以医学图像分析领域中的细胞标注为例对本公开实施例的技术方案的实现细节进行详细阐述:
图3示意性示出了根据本公开的一个实施例的图像标注方法的流程图,该图像标注方法可以由服务器来执行,该服务器可以是图1中所示的服务器103。参照图3所示,该图像标注方法至少包括步骤S310至步骤S330,详细介绍如下:
在步骤S310中,获取待标注图像,所述待标注图像中包含对目标对象进行预标注的标识。
在本公开的一个实施例中,通过终端设备101可以获取待标注图像,该待标注图像可以是对由组织样本制成的病理切片进行拍摄所获取的包含细胞的图像,其中所包含的细胞即为待标注图像中的目标对象。相应地,该终端设备101可以是用于对病理切片进行观察拍照以获取包含细胞的图像的智能显微镜,该智能显微镜中集成有实时拍摄装置,能够实时对显微镜中放大的病理切片图像进行拍摄,以获取待标注图像。另外,该终端设备101还可以是由显微镜和拍摄装置组成的终端系统,当调节显微镜的目镜和物镜获取到清晰的切片画面时,通过拍摄装置对目镜中的切片画面进行拍摄,以获取待标注图像。
在本公开的一个实施例中,在获取待标注图像后,可以对其中的细胞进行预标注,具体地,可以通过人工标注的方式对细胞进行预标注。标注人员可以通过标点的方式对待标注图像中的细胞进行标注,图4示出了人工标注细胞的界面示意图,如图4所示,在待标注图像中存在多个标识,该些标识位于细胞内,用于对细胞所处的位置进行标示,该些标识可以是具有各种形状的标识,例如可以是点状标识、线状标识、三角形标识、圆形标识等,也可以是字符标识等等,只要可以明确细胞的位置即可,本公开实施例对标识的具体表现形式不做具体限定。值得说明的是,该些标识可以位于细胞内的任意位置,只要可以对细胞的位置进行标示即可。
在步骤S320中,对所述待标注图像进行图像分割,以获取与所述待标注图像对应的超像素。
在本公开的一个实施例中,对待标注图像进行预标注之后,可以对待标注图像进行图像分割,具体地可以对待标注图像进行超像素分割,以获取与待标注图像对应的超像素。超像素是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域,对待标注图像进行图像分割获取超像素的方法可以是基于图论的方法,也可以是基于梯度上升的方法。
图5示出了超像素分割的流程示意图,如图5所示,超像素分割的流程至少包括步骤S501-S504,具体地:
在步骤S501中,对待标注图像的图像格式进行转换,以获取目标图像。
在本公开的一个实施例中,通常由终端设备101拍摄得到的待标注图像都是RGB格式的,在进行超像素分割时,可以将RGB格式转换为Lab格式,Lab格式是由亮度L和有关色彩的a,b三个要素组成,L的值域由0(黑色)到100(白色),a表示从洋红色到绿色的范围,b表示从黄色至蓝色的范围。通过对待标注图像的图像格式进行转换,所获取的具有Lab格式的待标注图像即为目标图像。
在步骤S502中,根据预设分割数量对目标图像进行预分割,并在预分割形成的图像区域中形成初始种子点。
在本公开的一个实施例中,在对目标图像进行分割之前,需要预先设定合适的分割数量,该分割数量即为最终所要获取的超像素的数量,根据目标图像的大小、目标对象的数量及目标对象在目标图像中所占比例可以设置不同的分割数量,例如可以设置为1000、2000个等等,本公开实施例对此不做具体限定。
在本公开的一个实施例中,确定预设分割数量后,可以对目标图像进行预分割,将目标图像分割为具有预设分割数量的多个图像区域,接着可以在各个图像区域中确定初始种子点,该初始种子点即为聚类中心,并且相邻两相邻初始种子点的距离的大小近似为单一超像素的大小的平方根。
在步骤S503中,根据初始种子点确定目标邻域,并根据初始种子点和目标邻域中各像素之间的像素梯度确定目标种子点。
在本公开的一个实施例中,为了避免种子点落在梯度较大的轮廓边界上,以免影响后续聚类效果,可以根据初始种子点确定目标邻域,计算该目标邻域中所有像素与初始种子点之间的像素梯度,并将种子点转移到具有最小像素梯度的像素位置处,转移后的种子点即为目标种子点。
在步骤S504中,计算目标种子点与目标邻域中各像素的距离,根据距离对所述目标邻域中的像素进行划分,以形成超像素。
在本公开的一个实施例中,对于目标邻域中每个搜索到的像素,可以计算其与目标种子点的距离,并根据该距离对像素进行聚类,以形成超像素。其中,像素与目标种子点之间的距离包括颜色距离和空间距离。在像素聚类的过程中,由于每个像素点都会被多个目标种子点搜索到,所以每个像素点都会有多个与周围目标种子点的距离,取最小距离值对应的目标种子点作为该像素的聚类中心,即可将该像素划分到最小距离值对应的目标种子点所在的区域,形成超像素。
进一步地,可以循环执行步骤S501-S504,直到误差收敛,进而获取最终的超像素。图6示出了超像素分割后的图像界面示意图,如图6所示,目标图像经过超像素分割后,形成多个超像素,即图中所示的不规则区域,每个区域中包含多个像素,且各区域所包含的像素的颜色、亮度等特征近似。
在步骤S330中,根据所述标识对应的像素信息和所述超像素中的像素信息进行超像素聚类,以对所述目标对象进行标注。
在本公开的一个实施例中,在确定用于标示细胞的标识,并对待标注图像进行超像素分割形成超像素后,可以根据标识对应的像素信息及超像素中的像素信息进行超像素聚类,以对细胞进行标注。
作为对步骤S330的具体说明,图7示出了像素聚类的流程示意图,如图7所示,像素聚类的流程至少包括步骤S701-S703,具体地:
在步骤S701中,从多个超像素中确定目标超像素,根据目标超像素的种子点和预设距离确定搜索区域。
在本公开的一个实施例中,根据预设分割数量对目标图像进行分割后,可以获取多个超像素。在进行像素聚类时,可以将多个超像素中的任意一个作为目标超像素,并根据目标超像素和其邻域内的标识进行局部的像素聚类,接着通过遍历各个超像素,实现对待标注图像中所有像素的聚类。
在本公开的一个实施例中,从多个超像素中确定目标超像素后,可以根据目标超像素的种子点和预设距离确定搜索区域,具体地,可以先获取目标超像素的种子点的位置信息,该位置信息包括第一坐标和第二坐标;接着根据第一坐标和预设距离能够确定第一边界和第二边界,同时根据第二坐标和预设距离能够确定第三边界和第四边界;最后可以根据第一边界、第二边界、第三边界和第四边界确定搜索区域。举例而言,目标超像素的种子点的位置信息为(X,Y),设定沿X方向和Y方向的预设距离均为200,那么根据横坐标X和X方向的预设距离200能够确定第一边界对应的横坐标为X-100,第二边界对应的横坐标为X+100;根据纵坐标Y和Y方向的预设距离200能够确定第三边界对应的纵坐标为Y-100,第四边界对应的纵坐标为Y+100;最后根据四个边界对应的坐标值即可确定一搜索区域,相应地,该搜索区域的四个顶点坐标分别为(X-100,Y-100)、(X+100,Y-100)、(X+100,Y+100)、(X-100,Y+100)。值得说明的是,搜索区域的横向距离和纵向距离可以相同,也可以不同,本公开实施例对此不做具体限定。
在步骤S702中,获取搜索区域中与标记点对应的标记超像素。
在本公开的一个实施例中,由于本公开实施例所提供的图像标注方法是用于对病理图像中的细胞进行标注,也就是要确定细胞的边界,那么在对待标注图像进行像素聚类时,首要目标就是将与目标对象的特征相近的像素都聚集到目标对象的标识处,因此在像素聚类时需要获取搜索区域中的标记点,并根据标记点对应的标记超像素与搜索区域中其它超像素之间的关系确定哪些超像素为背景,哪些超像素为目标对象的一部分。
在步骤S703中,根据标记超像素中的像素信息和目标超像素中的像素信息进行超像素聚类,以对目标对象进行标注。
在本公开的一个实施例中,可以根据标记超像素和目标超像素之间的距离进行超像素聚类,具体地,可以根据标记超像素中种子点的像素信息和目标超像素中种子点的像素信息进行超像素聚类,其中,种子点即为超像素的聚类中心。
作为对步骤S703的具体说明,图8示出了像素聚类的流程示意图,如图8所示,像素聚类的流程至少包括步骤S801-S804,具体地:
在步骤S801中,获取标记超像素的种子点的第一坐标信息及第一色彩信息,同时获取目标超像素的种子点的第二坐标信息及第二色彩信息。
在本公开的一个实施例中,超像素的像素信息包括坐标信息和色彩信息,也就是说标记超像素和目标超像素之间的距离包括色彩空间距离和二维空间距离。为了获取标记超像素和目标超像素之间的距离,首先需要分别获取标记超像素的种子点的坐标信息和色彩信息及目标超像素的种子点的坐标信息和色彩信息。
在步骤S802中,根据第一坐标信息和第二坐标信息确定第一二维空间距离。
在本公开的一个实施例中,根据坐标信息能够确定两个超像素之间的二维空间距离,作为对步骤S802的具体说明,图9示出了计算第一二维空间距离的流程示意图,如图9所示,第一二维空间距离的计算方法至少包括步骤S901-S903,具体地:
在步骤S901中,根据搜索区域对应的坐标信息确定搜索区域中的最大空间距离。
在本公开的一个实施例中,从图6中可以看出,超像素的边界类似于四边形,那么根据超像素种子点形成的搜索区域也大致为一四边形,进而可以确定该搜索区域的最大空间距离即为搜索区域的对角线长度。
在步骤S902中,根据第一坐标信息和第二坐标信息确定第一空间距离。
在步骤S903中,将第一空间距离与最大空间距离相除,以获取第一二维空间距离。
进一步地,可以根据公式(1)计算第一二维空间距离,公式(1)如下所示:
space_distance=distance(coordinate(sp),coordinate(cell_sp))/cor_max (1)
其中,space_distance为第一二维空间距离,coordinate(cell_sp)为第一坐标信息,coordinate(sp)为第二坐标信息,cor_max为搜索区域的最大空间距离,distance(coordinate(sp),coordinate(cell_sp))为第一空间距离。
在步骤S803中,根据第一色彩信息和第二色彩信息确定第一色彩空间距离。
在本公开的一个实施例中,根据色彩信息能够确定两个超像素之间的色彩空间距离,作为对步骤S803的具体说明,图10示出了计算第一色彩空间距离的流程示意图,如图10所示,第一色彩空间距离的计算方法至少包括步骤S1001-S1003,具体地:
在步骤S1001中,根据待标注图像中的最大色彩值和最小色彩值确定最大色彩距离。
在本公开的一个实施例中,待标注图像进行超像素分割后,可以将其图像格式转换为RGB格式,也可以保持Lab格式不变,例如将图像格式转换为了RGB格式,那么其中的最大色彩值可以为(255,255,255),最小色彩值可以为(0,0,0),根据该最大色彩值和最小色彩值即可计算得出最大色彩距离。
在步骤S1002中,根据第一色彩信息和第二色彩信息确定第一色彩距离。
在步骤S1003中,将第一色彩距离与最大色彩距离相除,以获取第一色彩空间距离。
进一步地,可以根据公式(2)计算第一色彩空间距离,公式(2)如下所示:
color_distance=distance(color(sp),colord(cell_sp))/color_max (2)
其中,color_distance为第一色彩空间距离,colord(cell_sp)为第一色彩信息,colord(sp)为第二色彩信息,color_max为最大色彩距离,distance(color(sp),color(cell_sp))为第一色彩距离。
在本公开的一个实施例中,最大空间距离、第一空间距离、最大色彩距离、第一色彩距离均可以根据任意的距离计算方法获取,例如可以根据欧式距离、马氏距离、曼哈顿距离等距离计算方法获得,本公开实施例对此不做具体限定。
在步骤S804中,根据第一二维空间距离和第一色彩空间距离确定第一目标距离,并根据第一目标距离对目标超像素进行判断,以根据判断结果对目标对象进行标注。
在本公开的一个实施例中,获取第一二维空间距离和第一色彩空间距离后,可以根据二者确定与目标超像素对应的距离,即标记超像素与目标超像素之间的距离。具体地,可以将第一二维空间距离与第一色彩空间距离进行加权求和,以获取与目标超像素对应的距离,其中第一色彩空间距离对应的权重和第一二维空间距离的权重可以根据各超像素之间的最大像素差值确定,例如当最大像素差值大于一预设阈值时,可以判定待标注图像的颜色差异较大,那么可以根据最大像素差值设定一较小的与第一色彩空间距离对应的权重;当最大像素差值小于或等于预设阈值时,可以判定待标注图像的颜色差异较小,那么可以根据最大像素差值设定一较大的与第一色彩空间距离对应的权重;相应地,根据与第一色彩空间距离对应的权重即可确定与第一二维空间距离对应的权重。其中,预设阈值可以根据实际需要进行设定,本公开实施例对此不作具体限定。获取各标识对应的标注超像素与目标超像素之间的距离后,可以从多个距离中确定一最小距离,该最小距离即为第一目标距离。
在本公开的一个实施例中,获取第一目标距离后,可以根据第一目标距离对目标超像素进行判断,以根据判断结果对目标对象进行标注。图11示出了标注目标对象的流程示意图,如图11所示,在步骤S1101中,将第一目标距离与第一预设阈值进行比较,根据比较结果对目标超像素进行分类;在步骤S1102中,当第一目标距离大于第一预设阈值时,判定目标超像素属于背景区域;在步骤S1103中,当第一目标距离小于或等于第一预设阈值时,判定目标超像素属于标识对应的目标对象,并将目标超像素与标注超像素聚合。其中,第一预设阈值可以根据实际需要进行设定,例如可以设置为0.1,本公开的实施例对此不做具体限定。当完成对所有超像素的遍历,即可获取聚集于标识周围的超像素聚类,实现对目标对象的标注。
在本公开的实施例中,在根据超像素之间的距离进行超像素聚类之前,可以对超像素中的像素值进行调整,以避免个别异常像素值对聚类结果的影响,提高鲁棒性。具体可以通过求取各个超像素中所有像素的像素均值,并将超像素中各像素的像素值替换为对应的像素均值以调整像素值。图12示出了调整像素值后的超像素界面示意图,如图12所示,相比于图6所示的超像素界面示意图,调整像素值后的超像素的色彩差异较小,且各超像素之间的边界更清晰。
进一步地,对超像素进行均值处理后,可以根据标识对应的像素信息和超像素中的像素信息进行超像素聚类,以对目标对象进行标注。与图7所示的超像素聚类的流程类似,可以从多个均值处理后的超像素中确定任一超像素作为目标超像素,根据目标超像素的种子点与预设距离确定搜索区域;接着从搜索区域中确定与标记点对应的标记超像素;最后根据标记超像素中的像素信息和目标超像素中的像素信息进行超像素聚类,以对目标对象进行标注。
与图8所示的超像素聚类的流程稍有不同,图13示出了另一种超像素聚类的流程示意图,如图13所示,在步骤S1301中,获取标记超像素中任意一点的第三坐标信息及第三色彩信息,同时获取目标超像素中任意一点的第四坐标信息及第四色彩信息;在步骤S1302中,根据第三坐标信息和第四坐标信息确定第二二维空间距离;在步骤S1303中,根据第三色彩信息和第四色彩信息确定第二色彩空间距离;在步骤S1304中,根据第二二维空间距离和第二色彩空间距离确定第二目标距离,并根据第二目标距离对目标超像素进行判断,以根据判断结果对目标对象进行标注。其中步骤S1302-S1304中计算第二二维空间距离、第二色彩空间距离的方法与图8中计算第一二维空间距离、第一色彩空间距离的方法相同,在此不再赘述。与图8所示的超像素聚类流程的不同之处在于,在步骤S1301中,可以选择标记超像素和目标超像素中的任意一个像素的像素信息进行距离计算,由于进行了像素均值处理,所以超像素中的任意像素对应的色彩信息都是一样的,虽然坐标信息稍有差别,但是对于超像素的分类结果的影响可以忽略不计,这样一来,超像素聚类的过程更简单易行,进一步提高了处理效率和标注效率。
进一步地,在获取第二二维空间距离和第二色彩空间距离后,可以对二者进行加权求和,以获取与目标超像素对应的距离;接着通过对所有超像素进行遍历可以获取多个与目标超像素对应的距离,从中选取最小的距离,即可获得第二目标距离;最后将第二目标距离与第二预设阈值进行比较,并根据比较结果对目标超像素进行分类,当第二目标距离大于第二预设阈值时,判定目标超像素属于背景区域;当第二目标距离小于或等于第二预设阈值时,判定目标超像素属于标识对应的目标对象,并将目标超像素与标注超像素聚合,以实现对目标对象的标注。图14示出了超像素聚类后的细胞标注界面示意图,如图14所示,其中亮度较高的部分即为超像素聚类后的细胞,亮度较低的部分即为背景。值得说明的是,第二预设阈值和第一预设阈值可以相同,也可以不同,但是为了保证标注结果的一致性,优选将第一预设阈值与第二预设阈值设置为相同值。
在本公开的一个实施例中,完成超像素聚类后即可获得目标对象的像素级标注结果,进一步地,可以对目标对象的像素级标注结果进行二值化标记,例如将目标对象之外的像素都标记为0,目标对象对应的像素都标记为1,这样就可以清楚地区分目标对象与背景,为后续的图像处理提供便利。
本公开实施例中的图像标注方法主要应用于细胞标注领域,相应地,本公开实施例还公开了一种细胞标注方法,该方法的具体流程为:首先获取待标注病理图像,该待标注病理图像中包含对细胞进行预标注的标识;然后对该待标注病理图像进行图像分割,以获取与待标注病理图像对应的超像素;最后根据标识对应的像素信息和超像素中的像素信息进行超像素聚类,以对细胞进行标注。其中,待标注病理图像可以是对患者的病理组织切片进行拍照获得的图像,预标注的标识是通过人工标注的方式所形成的标识,通过人工标注结合机器标注的方式对细胞进行标注,避免了完全通过人工标注的方式标注细胞,提高了标注效率,降低了标注成本,另外通过超像素分割,根据超像素之间的距离进行聚类,减少了计算量,进一步提高了标注效率。
图15A-15B示出了两幅病理图像中细胞标注的界面示意图,如图15A所示,原始病理图像1501经人工标注后形成包含标识的待标注病理图像1502;接着通过对待标注病理图像1502进行图像分割,能够获取超像素分割图像1503;最后根据包含标识的待标注病理图像1502和超像素分割图像1503进行超像素聚类,即可获得包含标注细胞的目标图像1504,其中亮度较高的部分即为标注的细胞。与图15A类似,图15B示出了另一组细胞标注的界面示意图,如图15B所示,原始病理图像1505经人工预标注和超像素分割后分别形成待标注病理图像1506和超像素分割图像1507,最后根据待标注病理图像1506和超像素分割图像1507进行超像素聚类,即可获得包含标注细胞的目标图像1508,同样,其中亮度较高的部分即为标注的细胞。
本公开实施例中的图像标注方法还可以用于对其它类型图像中的对象进行标注,例如对花海中的花蕊进行标注、对植物组织切片中的细胞进行标注等等,以对花蕊进行标注为例,首先可以人工对图像中的花蕊进行预标注,形成位于花蕊区域内的标识;接着可以对预标注后的图像进行超像素分割,以获取多个超像素;然后选定目标超像素,以该目标超像素的种子点为基准确定搜索区域,计算搜索区域中所有标识对应的超像素与目标超像素之间的距离,从中获取最小距离,并根据最小距离与预设阈值的大小关系对目标超像素的类型进行判断,当判定目标超像素为背景时不做聚类,当判定目标超像素属于花蕊时将目标超像素与标识对应的超像素聚类,以获取花蕊的像素级标注结果。
本公开中的图像标注方法通过人工标点的方法对待标注图像中的目标对象进行预标注,然后对预标注后的待标注图像进行超像素分割、像素均值处理及聚类处理,以获取目标对象像素级标注结果。本公开的图像标注方法是基于人工标注结合机器标注的半自动图像标注,避免了完全通过人工标注的方式对目标对象进行标注,提高了标注效率,降低了标注成本,另外通过超像素分割,根据超像素之间的距离进行聚类,减少了计算量,进一步提高了标注效率。除此之外,本公开的图像标注方法不依赖硬件环境,具有较强的适用性,可以处理各类需要标注的图像。
以下介绍本公开的装置实施例,可以用于执行本公开上述实施例中的图像标注方法。对于本公开装置实施例中未披露的细节,请参照本公开上述的图像标注方法的实施例。
图16示意性示出了根据本公开的一个实施例的图像标注装置的框图。
参照图16所示,根据本公开的一个实施例的图像标注装置1600,包括:预标注模块1601、图像分割模块1602和像素聚类模块1603。
其中,预标注模块1601,用于获取待标注图像,所述待标注图像中包含对目标对象进行预标注的标识;图像分割模块1602,用于对所述待标注图像进行图像分割,以获取与所述待标注图像对应的超像素;像素聚类模块1603,用于根据所述标识对应的像素信息和所述超像素中的像素信息进行超像素聚类,以对所述目标对象进行标注。
在本公开的一个实施例中,所述图像分割模块1602配置为:对所述待标注图像的图像格式进行转换,以获取目标图像;根据预设分割数量对所述目标图像进行预分割,并在预分割形成的图像区域中形成初始种子点;根据所述初始种子点确定目标邻域,并根据所述初始种子点和所述目标邻域中的像素之间的像素梯度确定目标种子点;计算所述目标种子点与所述目标邻域中的像素的距离,根据所述距离对所述目标邻域中的像素进行划分,以形成所述超像素。
在本公开的一个实施例中,所述超像素的数量为多个;所述像素聚类模块1603包括:搜索区域生成单元,用于从多个所述超像素中确定目标超像素,根据所述目标超像素的种子点和预设距离确定搜索区域;标记超像素获取单元,用于获取所述搜索区域中与所述标记点对应的标记超像素;像素聚类单元,用于根据所述标记超像素中的像素信息和所述目标超像素中的像素信息进行超像素聚类,以对所述目标对象进行标注。
在本公开的一个实施例中,所述搜索区域生成单元配置为:获取所述种子点的第一坐标和第二坐标;根据所述第一坐标和所述预设距离确定第一边界和第二边界,同时根据所述第二坐标和所述预设距离确定第三边界和第四边界;根据所述第一边界、所述第二边界、所述第三边界和所述第四边界确定所述搜索区域。
在本公开的一个实施例中,所述像素信息包括坐标信息和色彩信息;所述像素聚类单元包括:第一信息获取单元,用于获取所述标记超像素的种子点的第一坐标信息及第一色彩信息,同时获取所述目标超像素的种子点的第二坐标信息及第二色彩信息;第一距离获取单元,用于根据所述第一坐标信息和所述第二坐标信息确定第一二维空间距离;第二距离获取单元,用于根据所述第一色彩信息和所述第二色彩信息确定第一色彩空间距离;第一判断单元,用于根据所述第一二维空间距离和所述第一色彩空间距离确定第一目标距离,并根据所述第一目标距离对所述目标超像素进行判断,以根据判断结果对所述目标对象进行标注。
在本公开的一个实施例中,所述第一距离获取单元配置为:根据所述搜索区域对应的坐标信息确定所述搜索区域中的最大空间距离;根据所述第一坐标信息和所述第二坐标信息确定第一空间距离;将所述第一空间距离与所述最大空间距离相除,以获取所述第一二维空间距离。
在本公开的一个实施例中,所述第二距离获取单元包括:根据所述待标注图像中的最大色彩值和最小色彩值确定最大色彩距离;根据所述第一色彩信息和所述第二色彩信息确定第一色彩距离;将所述第一色彩距离与所述最大色彩距离相除,以获取所述第一色彩空间距离。
在本公开的一个实施例中,所述第一判断单元配置为:对所述第一二维空间距离和所述第一色彩空间距离进行加权求和,以获取与所述目标超像素对应的距离;从与所述目标超像素对应的距离中确定一最小距离,并将所述最小距离作为所述第一目标距离。
在本公开的一个实施例中,所述第一判断单元配置为:将所述第一目标距离与第一预设阈值进行比较,根据比较结果对所述目标超像素进行分类;当所述第一目标距离大于所述第一预设阈值时,判定所述目标超像素属于背景区域;当所述第一目标距离小于或等于所述第一预设阈值时,判定所述目标超像素属于所述标识对应的目标对象,并将所述目标超像素与所述标注超像素聚类。
在本公开的一个实施例中,图像标注装置1600还包括:像素均值计算模块,用于计算所述超像素中所有像素的像素均值,并将所述超像素中所有像素的像素值替换为所述像素均值。
在本公开的一个实施例中,所述像素信息包括坐标信息和色彩信息;所述像素聚类模块1603包括:第二信息获取单元,用于获取所述标记超像素中任意一点的第三坐标信息及第三色彩信息,同时获取所述目标超像素中任意一点的第四坐标信息及第四色彩信息;第三距离获取单元,用于根据所述第三坐标信息和所述第四坐标信息确定第二二维空间距离;第四距离获取单元,用于根据所述第三色彩信息和所述第四色彩信息确定第二色彩空间距离;第二判断单元,用于根据所述第二二维空间距离和所述第二色彩空间距离确定第二目标距离,并根据所述第二目标距离对所述目标超像素进行判断,以根据判断结果对所述目标对象进行标注。
在本公开的一个实施例中,所述第三距离获取单元配置为:对所述第二二维空间距离和所述第二色彩空间距离进行加权求和,以获取与所述目标超像素对应的距离;从与所述目标超像素对应的距离中确定一最小距离,并将所述最小距离作为所述第二目标距离。
在本公开的一个实施例中,所述第四距离获取单元配置为:将所述第二目标距离与第二预设阈值进行比较,根据比较结果对所述目标超像素进行分类;当所述第二目标距离大于所述第二预设阈值时,判定所述目标超像素属于背景区域;当所述第二目标距离小于或等于所述第二预设阈值时,判定所述目标超像素属于所述标识对应的目标对象,并将所述目标超像素与所述标注超像素聚类。
图17示意性示出了根据本公开的一个实施例的细胞标注装置的框图。
参照图17所示,根据本公开的一个实施例的细胞标注装置1700,包括:细胞预标注模块1701、图像分割模块1702和像素聚类模块1703。
其中,细胞预标注模块1701,用于获取待标注病理图像,所述待标注病理图像中包含对细胞进行预标注的标识;图像分割模块1702,用于对所述待标注病理图像进行图像分割,以获取与所述待标注病理图像对应的超像素;像素聚类模块1703,用于根据所述标识对应的像素信息和所述超像素中的像素信息进行超像素聚类,以对所述细胞进行标注。
本公开还提供了一种图像标注系统,图18示出了图像标注系统的结构示意图,如图18所示,图像标注系统1800包括:拍摄装置1801、预标注装置1802、图像处理装置1803和显示装置1804。
具体地,拍摄装置1801,用于拍摄包含目标对象的待标注图像;预标注装置1802,与所述拍摄装置连接,用于获取所述待标注图像,并对所述目标对象进行预标注,以形成对所述目标对象进行预标注的标识;图像处理装置1803,与所述预标注装置连接,用于接收预标注后的所述待标注图像,并且所述图像处理装置包括一个或多个处理器,其中,所述存储装置用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器对预标注后的所述待标注图像执行如上述实施例中所述的图像标注方法;显示装置1804,与所述图像处理装置连接,用于接收所述图像处理装置输出的图像标注结果,并将所述图像标注结果显示于所述显示装置的显示屏幕上。
图19示出了适于用来实现本公开实施例的图像处理装置1803的计算机系统的结构示意图。
需要说明的是,图19示出的图像处理装置1803的计算机系统1900仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图19所示,计算机系统1900包括中央处理单元(Central Processing Unit,CPU)1901,其可以根据存储在只读存储器(Read-Only Memory,ROM)1902中的程序或者从存储部分1908加载到随机访问存储器(Random Access Memory,RAM)1903中的程序而执行各种适当的动作和处理,实现上述实施例中所述的图像标注方法。在RAM 1903中,还存储有系统操作所需的各种程序和数据。CPU 1901、ROM 1902以及RAM 1903通过总线1904彼此相连。输入/输出(Input/Output,I/O)接口1905也连接至总线1904。
以下部件连接至I/O接口1905:包括键盘、鼠标等的输入部分1906;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分1907;包括硬盘等的存储部分1908;以及包括诸如LAN(Local AreaNetwork,局域网)卡、调制解调器等的网络接口卡的通信部分1909。通信部分1909经由诸如因特网的网络执行通信处理。驱动器1910也根据需要连接至I/O接口1905。可拆卸介质1911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1910上,以便于从其上读出的计算机程序根据需要被安装入存储部分1908。
特别地,根据本公开的实施例,下文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1909从网络上被下载和安装,和/或从可拆卸介质1911被安装。在该计算机程序被中央处理单元(CPU)1901执行时,执行本公开的系统中限定的各种功能。
需要说明的是,本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本公开还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的图像处理装置中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现上述实施例中所述的方法。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。