CN113709331B - 一种数字天文成像方法及终端设备上的图像信号处理器 - Google Patents

Abstract

一种数字天文成像方法，可选地在终端设备上实现，包括以下步骤：获取包括天空区域的拍摄图像的图像数据，从该图像数据中获取天空数据，获取终端设备的全局定位信息，获取终端设备的运动数据，获取天文特征信息，并对图像数据、天空数据、全局定位信息、运动数据和天文特征信息进行图像数据合成，以提供包括合成天空区域的最终图像。

Description

一种数字天文成像方法及终端设备上的图像信号处理器

技术领域

本申请涉及可选地包括天文摄影和天文摄像在内的数字天体成像领域中的图像处理，尤其涉及一种可选地在带有数字摄像传感器的终端设备上实现的数字天文成像方法、执行该方法的图像信号处理器(ISP，Image Signal Processor)和包括这种ISP的终端设备。

背景技术

天文成像，指的是对天体的成像，即采集天体的静态图像和/或录制一段时间内天体的视频。其中，采集的天体包括，例如，行星系统、恒星、星团、星系等。这种摄影和摄像方式可以将太空中人的肉眼看不到的物体可视化。特别是，可以提供天文摄像的预览模式，让用户预览太空中的物体的录制视频。

有两种方式进行天文成像。第一种方式是通过专业的图像采集装置，包括数码单反相机(DSLR,Digital Single Lens Reflex)、三脚架和三脚架与地球运动同步器来进行天文成像，以避免因曝光时间过长而产生星轨(见图1(b)中的示例星轨)。此外，近来天文成像在数字成像领域越来越普及。因此，也可以使用数字摄像设备，例如，摄像手机。

第二种方式是使用天空替换软件作为后期处理。这种方式需要一个专用的软件作为后期处理器，并且通常会生成不真实的假天文成像内容。此外，假如所有设备的用户都会分享有着相同的、或者随机的天空图案的夜空照片或视频，仅仅使用一个银河系图像替换夜空将变得相当重复乏味并且最终将给予多余的属性。

此外，上述用DSLR或摄像手机采集天文图像或视频的方式有几个缺点。首先，需要一个专用的照片采集装置，包括三脚架和地球运动同步器等。此外，所需的采集时间可长达数分钟。此外，大气条件也起着一定的作用，只有在大气光污染较小、天空晴朗(即无云)的情况下，才能生成天文成像内容。此外，为了实现想要的输出，需要Luminar、AdobePhotoshop等后期处理软件。在这方面，现有的数字摄像手机上安装的软件应用程序的性能还不够好。

由于上述原因，很难为用户带来真实的天文影像。因此，为了能将天文摄像推广到大量的智能手机用户，就需要一种既不需要专用的天文摄影和摄像设置，也不需要用户进行后期处理软件来改善最终图像和视频的方法，从而解决传统天文成像的上述弊端。

发明内容

因此，本申请的目的是提供一种可选地在终端设备中实现的数字天文成像的方法，以高效地生成真实的、有增强精度的天文成像内容。此外，本申请的目的在于提供一种图像信号处理器(ISP，Image Signal Processor)，其被配置为执行该方法的步骤。此外，本申请的目的是提供一种包含该ISP的终端设备。

根据权利要求1所述的方法、根据权利要求13所述的ISP以及根据权利要求14所述的终端设备能够解决上述提出的问题。

根据本申请、可选地在终端设备上实现的数字天文成像方法包括以下步骤：从包含在终端设备中的数字摄像传感器获取获取包括天空区域的采集图像的图像数据；从图像数据中获取天空数据；获取终端设备的全球定位信息；获取终端设备的运动数据；获取天文特征信息，其中，天文特征信息关联于天空中的一个或多个锚点；以及对图像数据、天空数据、全球定位信息、运动数据和天文特征信息进行图像数据合成，以提供包括合成天空区域的最终图像。其中，图像数据可选地指的是所采集图像的图像像素数据，天空数据可选地指的是图像数据中所包含的、关联于所采集图像中的天空区域的数据。进一步地，全局定位信息可选地涉及图像被采集时终端设备的位置，而运动数据可选地涉及采集图像时终端设备的方向和姿态。此外，天空中的一个或多个锚点可选地指实际夜空中的亮星或星座。天文特征信息可选地指的是夜空的观测特征，可以事先从科学天文数据中获取。因此，天文特征信息不一定关联于天空中的锚点。此外，由于录制的天体视频是由一帧帧图像组成的，因此本申请的上述方法可同样适用于对采集的视频进行成像处理。因此，本申请提供的最终天文成像内容包括最终图像以用于天文摄影，以及由一个或多个最终图像组成的最终视频以用于天文录像。

根据所采集的图像、所采集图像中的天空区域、终端设备的位置和方向、以及夜空的科学天文数据，向终端设备(如数字摄像设备)的使用者提供真实场景下的天文成像内容。特别是，来自全球不同地点的观测者看到的银河系等天文天体的不同区域，通过本申请可以正确再现。此外，由于地球斜度(即倾斜度)在一年中是不断变化的，因此一年中天体会出现在设备的不同方向上。因此，通过本申请的图像数据分析，应用终端设备的位置和方向依赖信息，来提高最终图像中合成天空区域的精度。此外，本申请的方法不需要任何复杂的天文成像专用设置，也不需要用户使用任何后期处理软件，从而提高了为实用数字摄像装置采集或录制的场景提供上述精确的天文成像内容的效率。

可选地，天空数据包括关联于从采集的图像分割出的天空区域的天空区域信息。其中，从采集的图像分割出天空区域可选地指的是对包含在图像数据中的天空数据和非天空数据进行区分。可选地，上述分割是在像素水平上进行的。根据本申请的方法，对由采集的图像构成的天空区域进行分割，从而提高最终图像中的合成天空区域的精度。

可选地，天空数据包括关联于天空区域中采集到的一个或多个锚点的天空特征信息。其中，关联于图像中采集的亮星或星座的信息包含在天空特征信息中。可选地，天空特征信息包括采集的锚点的像素数据。因此，通过获取特别地关联于采集图像中的锚点的数据，以提高最终图像中合成天空区域的精度。

可选地，天文特征信息是从预先记录/预存的星空图中获取的，其中，星空图包括与天空数据对应、且可选地与采集到的一个或多个锚点中的至少一个对应的一个或多个目标锚点，以基于包括一个或多个目标锚点的图上(on-map)天空区域提供合成天空区域。其中，星空图可选地从预存的开源科学数据中获得，包括例如美国国家航空航天局(NASA，National Aeronautics and Space Administration)提供的深空星图和欧洲航天局(ESA，European Space Agency)发布的星系数据库。此外，图上天空区域指的是星空图上的天空区域，并包括一个或多个目标锚点。因此，通过本申请的方法，应用目标锚点与采集的锚点之间的对应关系，使星空图中包括有一个或多个目标锚点的图上天空区域可以被图像数据分析利用，以生成最终图像中的精确天文内容。

可选地，图像数据合成包括基于学习的算法，基于学习的算法可选地使用生成式对抗网络(GAN，Generative Adversarial Network)。可选地，基于学习的算法包括已经用训练图像数据训练过的学习型网络，从而可以为采集图像的图像数据提供预测。可选地，用科学星系图像的原始版本和降级版本训练的GAN被应用，从而GAN能够以更高的精度生成最终的星系图像。根据本申请的图像数据分析，不仅将采集的图像中所包含的天空数据，而且将设备的位置和方向相关信息提供给基于学习的网络，从而生成具有更高精确度的最终图像。

可选地，全球定位信息是从全球导航卫星系统(GNSS，global navigationsatellite system)获取的。因此，获得的终端设备的全球位置具有更高的精确度，这进一步提高了最终图像的精确度。

可选地，全球导航卫星系统包括全球定位系统(GPS，Global PositioningSystem)、增强型GPS(A-GPS，augmented GPS)、全球导航卫星系统(GLONASS，GlobalNavigation Satellite System)、北斗导航卫星系统(BDS，BeiDou Navigation SatelliteSystem)、欧盟的伽利略(GALILEO)和准天顶卫星系统(QZSS，Quasi-Zenith SatelliteSystem)中的至少一种。

可选地，全球定位信息包括从数据网络获取的粗略定位信息。其中，数据网络可选地指设备之间传输和接收数据的通信网络。特别是，在数字摄像设备不具有GNSS型传感器的情况下，本申请的方法仍然可以利用来自数据网络的粗略定位信息。因此，利用本申请的方法，在终端设备没有GNSS的情况下，仍然可以提供天空的精确最终图像。

可选地，数据网络包括全球移动通信系统(GSM，Global System for MobileCommunications)网络、广域网(WAN，Wide Area Network)、局域网(LAN，Local AreaNetwork)和互联网网络中的至少一种。

可选地，运动数据包括终端设备的姿态估计。其中，终端设备的姿态可选地包括终端设备的位置和方向。由于天空中的天体的可见部分取决于终端设备的姿态，因此，本申请的方法可以提高最终图像中呈现的天体的精确度。

可选地，运动数据是从惯性测量单元(IMU，Inertial Measurement Unit)获取的。来自IMU的姿态估计是精确且快速的，因此本申请的方法提高了生成最终图像时的效率和精确度。

可选地，IMU包括加速度计、陀螺仪、罗盘中的至少一种。

此外，根据本申请的ISP被配置为执行上述方法的步骤。

进一步地，根据本申请的终端设备包括上述的ISP以及连接到ISP上的数字图像传感器，数字图像传感器获取图像数据，并将图像数据提供给ISP作进一步处理。

附图说明

参照附图对本申请作进一步说明。附图如下：

图1是现有技术中星轨可见的示例最终图像；

图2是根据本申请的方法的一实施例；

图3是根据图2中方法步骤的详细表述；

图4是根据本申请的方法的另一实施例；

图5是根据本申请的示例最终图像；

图6是根据本申请的进一步的示例最终图像；

图7是根据本申请的一实施例的装置。

具体实施方式

图1示出了现有技术中的一个示例，其中，在最终图像中可辨认出星轨。其中，图1(b)示出了图1(a)中由正方形限定的部分的放大图像。如上所述，由于专业图像采集装置所导致的长曝光时间，尤其不希望的星体轨迹造成示例最终图像的精确度很低。

图2示出了根据本申请的方法的示意图。其中，可选地在终端设备中实现的数字天文成像方法包括以下步骤：

步骤S01：获取包括天空区域的采集图像的图像数据，可选地，从包含在终端设备中的数字摄像传感器获取；

步骤S02：从图像数据中获取天空数据；

步骤S03：获取终端设备的全球定位信息；

步骤S04：获取终端设备的运动数据；

步骤S05：获取天文特征信息；

步骤S06：对图像数据、天空数据、全球定位信息、运动数据和天文特征信息进行图像数据合成，以提供包括合成天空区域的最终图像。

此外，在获取采集图像的步骤S01完成后，步骤S02至S05可以同时或分别进行，而不对执行顺序加以限制。可选地，步骤S02至S05同时进行，从而提高提供精确的最终图像的效率。此后，根据步骤S06进行图像数据分析，从而提供最终图像。当然，上述方法可以类似地应用于包括有多帧图像的天文视频，如此通过以类似的方式处理图像，可以提供高精度的最终视频。

对于步骤S01和步骤S02，图像数据和天空数据可选地为像素的形式。图像的像素数据处理在相关领域是公知的，因此在此不再赘述。

参照步骤S03，获取、并可选地使用包括GPS、GLONASS等的GNSS获取终端设备的全球定位，这是因为智能手机和便携式数码相机设备等终端设备通常都配备有全球定位传感器。然而，对于没有这些传感器的终端设备，可以从终端设备所在的数据网络中获取并使用大致的定位信息。例如，可以利用GSM、WAN、LAN和Internet网络等通信网络来定位终端设备。对于这种移动设备的跟踪技术，相关领域已经进行了广泛的研究，因此在此不再赘述。

针对步骤S04，运动数据可选地指终端设备的姿态估计。如本技术领域公知的，姿态指的是位置和方向的组合，或者仅仅是物体的方向。可选地，在运动数据中包括终端设备的方向信息，即摄像头看向的方向。因此，根据本申请，获取数字摄像设备的方位信息，使夜空中天体的可见部分以更高的精确度呈现在最终图像中。此外，由于IMU的效率和对设备的运动不敏感，因此可选地使用IMU来获取运动数据。IMU可选地包括至少一个惯性传感器，即加速度计、陀螺仪和罗盘，它们已知是高精确度的。因此，通过根据本申请实施例的方法，进一步提高了提供最终图像的效率和精确度。

在步骤S05中，获取天文特征信息。大量公共资源提供了关于夜空中天体的预存科学数据。例如，可以仅下载并处理研究机构提供的星空图，这样就可以利用星空图来生成最终图像中的天文内容。因此，本申请提高了真实最终图像的精确度。天文特征信息可选地关联于天空中的一个或多个锚点，但不限于此。

图3示出了根据图2中本申请的方法的示意图。其中，采集的图像包括两个区域，即图像上部的天空区域和下部的非天空区域。相应地，从采集图像的图像数据中，可以获得关联于天空区域的数据部分，或者换句话说，天空数据。如上所述，对图像数据和天空数据以及全球定位信息、天文特征信息和运动数据进行图像数据合成。所提供的最终图像由其上部的合成天空部分组成，该合成天空部分与拍摄图像中的天空区域一致。

本申请的图像合成分析所提供的最终图像是真实的，这是因为合成天空区域所呈现的天文内容可以根据预存的科学星空图等提供。此外，最终图像的特征具有与终端设备的位置和方向相应的位置和方向，从而提高了合成天空区域的精确度和整体印象。

此外，图3所示的图像数据合成模块可选地包括基于学习的算法。如相关技术中公知的那样，关于提供高精确度的逼真图像的算法有几种选择。可选地，使用生成式对抗网络(GAN)来改进星系的图像，以超越传统图像增强算法的限制。例如，一个模型，即基于学习的网络，可以在两组示例图像上进行训练，第一组具有高质量的图像对象，而第二组具有故意降低质量的相同图像对象。训练可以在不同的条件下进行，例如，不同的噪声水平。训练后，基于学习的网络提供了从第二组图像中恢复的最终图像，具有很高的精确度。因此，通过在图像数据合成中采用这种训练过的基于学习的网络，进一步提高了最终图像的精确度。进一步地，将图像数据分析应用于来自各种资源的信息，包括设备的位置、相机的方向、预存的科学星系信息等，从而有效地提供真实的、高精确度的夜间星空成像内容。

图4为本申请的方法的另一实施例。图2所示的步骤S02包括以下至少一个步骤：

步骤S021：获取天空区域信息，可选地关联于从采集图像分割出的天空区域。

步骤S022：获取天空特征信息，可选地关联于天空区域中采集到的一个或多个锚点。

在步骤S021中，天空数据包括天空区域信息，该天空区域信息关联于从采集图像分割出的天空区域。通过将每个像素标记为天空像素或非天空像素，可以在像素级别上从采集的图像上分割出天空区域。此外，可以通过采用基于学习的算法来提高分割的精确度。例如，图像中天空像素和非天空像素的确定可以通过采用多个样本图像进行训练的基于学习的网络来实现。基于天空区域信息可以生成合成天空区域的内容。

此外，或者替选地，步骤S022获取天空特征信息，该天空特征信息可选地关联于采集图像的天空区域中采集到的一个或多个锚点。采集到的锚点可选地指例如实际夜空中的天狼星(Sirius)、老人星(Canopus)、大角星(Arcturus)、织女星(Vega)、五车二(Capella)和北极星(Polaris)等明亮的恒星，或者大犬座(Canis Major)、猎户座(Orion)等星座，这些星座被终端设备采集到图像中。采集到的锚点可以直接从采集图像的图像数据中获取，可选地在像素级上获取；也可以从天空数据中获取，可选地在像素级上获取。可选地，采集的锚点可以直接从包括图像数据的天空区域信息中获取。此外，采集图像中锚点的检测也可以采用基于学习的算法来实现，从而进一步提高最终图像的精确度和保真度。

随着采集图像中的一个或多个锚点被识别，本申请的方法进一步识别由天文特征信息提供的各自的目标锚点，其中目标锚点可选地与采集图像中的采集到的锚点相对应。例如，目标锚点可以在星空图上识别，因此星空图上包含该目标锚点的区域，即图上天空区域，将被图像数据合成用来生成最终图像中合成区域的天文内容。该图上天空区域既可以独立应用，也可以与步骤S021中分割出的天空区域结合使用，从而生成合成天空区域。

由于使用了科学的天文学数据来生成最终图像中的合成天空区域，因此提高了最终图像的精确度。例如，由于采用了科学绘制和预存的可用星空图，最终图像中呈现的天体保真度更高。此外，由于星空图中的图上天空区域包括与采集图像中采集到的一个或多个锚点相对应的目标锚点，因此，最终图像中使用的图上天空区域为在最终图像中呈现设备所采集的场景提供了更高的精确度。参照图5，图5(a)中箭头所指的锚点例如关联于猎户座，本申请的图像数据分析使用了这些锚点并提供了高精确度的最终图像，真实地呈现了该星座。同样地，如图6所示，图6(a)中采集图像中的锚点被用于本申请的图像数据合成，从而提供了如图6(b)所示的精确的最终图像。

此外，本申请的方法可以是硬件实现的，也可以是软件实现的。参照图7显示了实现上述方法的终端设备10。可选地，本申请的方法在处理器12中实现，例如图像信号处理器(ISP，Image Signal Processor)，或任何其它等效的媒体处理器或专用数字信号处理器。可选地，处理器10连接到图像传感器14。图像传感器14可以是电荷耦合器件(CCD，Charge-Coupled Device)传感器或互补金属氧化物半导体(CMOS，Complementary Metal OxideSemiconductor)传感器。通过图像传感器14可以获得初始图像数据，其中光波的特性被转化为电信号。可选地，来自图像传感器14的该初始图像数据经过模数转换，然后被传送到处理器12以根据本申请实施例进行处理。可选地，处理器连接到显示器16，以显示最终的天文成像内容。此外，或者替选地，连接到处理器12上的存储设备(图7中未示出)用于存储图像，从而可以在以后和/或根据需求，检索和显示采集的图像和对应的最终天文成像内容。

此外，尽管图7中未示出，但终端设备10可以包括一个或多个全球导航卫星系统(GNSS)型传感器，用于获取全球定位信息。GNSS型传感器将获取的全球定位信息传送至处理器12，以便进一步处理。可选地，GNSS型传感器也可以在终端设备10之外单独配置，并通过有线或无线方式将全球定位信息传输至终端设备10。此外，或者替选地，在终端设备10中或者在终端设备10之外单独配置数据通信单元，以利用GSM、WAN、LAN和Internet网络中的至少一种进行粗略定位信息的获取和传输。另外，在终端设备10中可以设置惯性测量单元(IMU)，用于获取终端设备10的运动数据，并进一步将姿态估计传送给处理器12进行处理。另外，也可以在终端设备10之外单独设置IMU。

设备10可以由任何种类的终端实现，例如数码相机、智能手机、平板电脑、笔记本电脑或计算机等。此外，虽然在图7中，图像传感器14、处理器12和显示器16被指示为在一个设备10中实现，但各个模块可以在多于一个设备中和/或以分布式方式实现。因此，图像传感器14可以在例如智能手机中实现拍摄。然后，由图像传感器14获取的初始图像数据可以通过通信连接传送到服务器或任何其他计算设备。服务器或其他计算设备可以包括处理器12以执行根据本申请的方法。然后，最终的天文成像内容可以被传送到智能手机、平板电脑或包括显示器16的任何其他设备，以便显示最终的天文成像内容。其中，来自服务器或其他计算设备的最终天文成像内容可以被传送到获取初始图像数据的同一设备或其他设备。可选地，最终的天文成像内容可以存储在云存储中，之后按需传送到显示设备，以显示最终的天文成像内容。

Claims (13)

1.一种计算机实现的数字天文成像方法，所述方法在终端设备上实现，并且包括：

从包含在所述终端设备中的数字摄像传感器获取包括天空区域的采集图像的图像数据；

从所述图像数据中获取天空数据；所述天空数据包括与从所述采集图像上分割的所述天空区域相关的天空区域信息；

获取所述终端设备的全球定位信息；

获取所述终端设备的运动数据；

获取天文特征信息，其中，所述天文特征信息关联于所述天空区域中的一个或多个锚点；其中，所述天文特征信息是从星空图中获取的夜空的观测特征；其中，所述星空图包括与所述天空数据对应、且与所述一个或多个锚点中的至少一个对应的一个或多个目标锚点；以及

对所述图像数据、所述天空数据、所述全球定位信息、所述运动数据和所述天文特征信息进行图像数据合成，以提供包括合成天空区域的最终图像。

2.根据权利要求1所述的方法，其特征在于，

所述天空数据包括关联于所述天空区域中采集到的所述一个或多个锚点的天空特征信息。

3.根据权利要求1中任一项所述的方法，其特征在于，

包括所述一个或多个目标锚点的图上天空区域用于生成所述合成天空区域。

4.根据权利要求1所述的方法，其特征在于，

所述图像数据合成包括基于学习的算法，所述基于学习的算法使用生成式对抗网络GAN。

5.根据权利要求1所述的方法，其特征在于，

所述全球定位信息是从全球导航卫星系统GNSS获取的。

6.根据权利要求5所述的方法，其特征在于，

所述GNSS包括全球定位系统GPS、增强型全球定位系统A-GPS、全球轨道导航系统GLONASS、北斗导航卫星系统BDS、伽利略系统GALILEO和准天顶卫星系统QZSS中的至少一种。

7.根据权利要求6所述的方法，其特征在于，

所述全球定位信息包括从数据网络获取的粗略定位信息。

8.根据权利要求7所述的方法，其特征在于，

所述数据网络包括全球移动通信系统GSM、广域网WAN、局域网LAN和互联网网络中的至少一种。

9.根据权利要求1所述的方法，其特征在于，

所述运动数据包括所述终端设备的姿态估计。

10.根据权利要求9所述的方法，其特征在于，

所述运动数据是从惯性测量单元IMU获取的。

11.根据权利要求10所述的方法，其特征在于，

所述IMU包括加速度计、陀螺仪、罗盘中的至少一种。

12.一种图像信号处理器ISP，被配置为执行根据权利要求1至11中任一项所述方法的步骤。

13.一种终端设备，包括根据权利要求12所述的ISP以及连接到所述ISP上的数字图像传感器，其中所述数字图像传感器获取所述图像数据并向所述ISP提供所述图像数据。