CN117859336A - 摄像系统、摄像终端及服务器 - Google Patents

Abstract

本发明提供一种可以实现摄像终端的低成本化及高功能化的摄像系统、摄像终端及服务器。摄像系统由摄像终端(100‑1)和服务器(200)构成，摄像终端(100‑1)具备：摄像部，包括图像传感器，并输出摄像数据；第1通信部，将从摄像部输出的摄像数据发送到服务器(200)；第1图像处理引擎(122)，对从摄像部输出的摄像数据进行图像处理；及存储器，保存由第1图像处理引擎(122)图像处理后的图像，服务器(200)具备：第2通信部，接收从摄像终端(100‑1)发送的摄像数据；及第2图像处理引擎(210)，其为对接收到的摄像数据进行图像处理并生成记录用图像的第2图像处理引擎(210)，与摄像终端(100‑1)的第1图像处理引擎(122)不同。

Description

摄像系统、摄像终端及服务器

技术领域

本发明涉及一种摄像系统、摄像终端及服务器，尤其涉及一种将由摄像终端摄像而获取的未处理数据在网络上的服务器中进行图像处理的技术。

背景技术

专利文献1中记载的数码相机系统由数码相机(数码相机一体型移动电话)和通过数码相机与互联网进行通信的服务器中心构成。

数码相机具有：摄像部；临时存储部，存储响应于快门释放构件而从摄像部输出的RAW数据；及通信构件，不压缩临时存储部的RAW数据而无线发送，服务器中心具有：通信构件，接收RAW数据；压缩构件，压缩接收到的RAW数据；及存储构件，存储压缩后的压缩信号。并且，服务器中心具有对接收到的RAW数据进行插值以创建不同颜色的数字图像信号的插值构件及白平衡调整构件。

根据该数码相机系统，由于服务器中心承担对RAW数据的图像处理等，因此能够以低成本提供高性能的数码相机。

另一方面，专利文献1中记载的数码相机系统由于始终在服务器中心中进行对RAW数据的图像处理，因此存在相机的使用便利性变差的问题。

专利文献2中提出了解决上述课题的电子设备。

专利文献2中记载的电子设备具备：处理部，处理摄像部摄像的摄像信号；通信部，将摄像部摄像的摄像信号(RAW数据)可发送到服务器；及确定部，根据摄像部的摄像设定来确定是否将RAW数据发送到服务器。

确定部在与服务器之间无法无线通信且摄像元件的温度为规定值以下的情况下，不将RAW数据发送到服务器，而与服务器之间可以无线通信，在使动态图像记录于电子设备内的记录介质的情况下，或者在摄像元件的温度超过规定值的情况下，确定将RAW数据发送到服务器。

电子设备内的第1ASIC(application specific integrated circuit：专用集成电路)在不向服务器发送RAW数据的情况下，对RAW数据进行各种图像处理。另一方面，服务器若从电子设备接收RAW数据，则由服务器的第2ASIC对接收到的RAW数据进行图像处理，生成记录用动态图像(兼作即时预览用图像)。

即，专利文献2中记载的电子设备根据与服务器的通信状况、摄像元件的发热状态等来确定是否将RAW数据发送到服务器，根据该确定，由设备内的第1ASIC进行对RAW数据的图像处理，或者由服务器的第2ASIC进行。另外，使用与电子设备的第1ASIC相等的服务器的第2ASIC。

以往技术文献

专利文献

专利文献1：日本特开2003-87618号公报

专利文献2：日本特开2019-54536号公报

发明内容

发明要解决的技术课题

本发明的技术所涉及的一种实施方式提供可以实现摄像终端的低成本化及高功能化的摄像系统、摄像终端及服务器。

用于解决技术课题的手段

第1方式所涉及的发明为一种摄像系统，其由至少一个以上的摄像终端和服务器构成，摄像终端具备：摄像部，包括图像传感器，并输出摄像数据；第1通信部，将从摄像部输出的摄像数据发送到服务器；第1图像处理引擎，对从摄像部输出的摄像数据进行图像处理；及存储器，保存由第1图像处理引擎图像处理后的图像，服务器具备：第2通信部，接收从摄像终端的第1通信部发送的摄像数据；及第2图像处理引擎，其为对接收到的摄像数据进行图像处理并生成记录用图像的第2图像处理引擎，与摄像终端的第1图像处理引擎不同。

在本发明的第2方式所涉及的摄像系统中，优选为，第2图像处理引擎根据连续接收到的摄像数据生成即时预览图像。

在本发明的第3方式所涉及的摄像系统中，优选为，服务器将由第2图像处理引擎生成的记录用图像记录于图像记录部中。

在本发明的第4方式所涉及的摄像系统中，优选为，第2图像处理引擎具有超过第1图像处理引擎的技术规格的技术规格。

在本发明的第5方式所涉及的摄像系统中，优选为，第1图像处理引擎与第2图像处理引擎的图像处理性能不同。

在本发明的第6方式所涉及的摄像系统中，优选为，相对于第2图像处理引擎，第1图像处理引擎可实施图像处理的每个像素的信息量少。

在本发明的第7方式所涉及的摄像系统中，优选为，相对于第2图像处理引擎，第1图像处理引擎的灰度的位数或处理位数不同。

在本发明的第8方式所涉及的摄像系统中，优选为，相对于第2图像处理引擎，第1图像处理引擎仅具有可实施图像处理的功能中的一部分功能。

在本发明的第9方式所涉及的摄像系统中，优选为，相对于第2图像处理引擎，第1图像处理引擎的可实施图像处理的图像的像素数少。

在本发明的第10方式所涉及的摄像系统中，优选为，相对于第2图像处理引擎，第1图像处理引擎具有热设计功率小的运算元件。

在本发明的第11方式所涉及的摄像系统中，优选为，相对于第2图像处理引擎，第1图像处理引擎具有晶体管数少的运算元件。

在本发明的第12方式所涉及的摄像系统中，优选为，相对于第2图像处理引擎，第1图像处理引擎的处理器内核的数量少。

在本发明的第13方式所涉及的摄像系统中，优选为，相对于第2图像处理引擎，第1图像处理引擎具有动作时序频率低的运算元件。

在本发明的第14方式所涉及的摄像系统中，优选为，相对于第2图像处理引擎，第1图像处理引擎具有额定动作电流值低的运算元件。

在本发明的第15方式所涉及的摄像系统中，优选为，相对于第2图像处理引擎，第1图像处理引擎的缓存存储器容量小。

在本发明的第16方式所涉及的摄像系统中，优选为，相对于第2图像处理引擎，第1图像处理引擎构成为可执行的命令数少。

在本发明的第17方式所涉及的摄像系统中，优选为，相对于第2图像处理引擎，第1图像处理引擎构成为用于执行运算命令的运算单元数少。

在本发明的第18方式所涉及的摄像系统中，优选为，第1图像处理引擎具有内置图形功能，第2图像处理引擎具有扩展图形功能。

在本发明的第19方式所涉及的摄像系统中，优选为，摄像终端若接受基于用户操作的静止图像的摄影指示，则将摄影指示信息从第1通信部发送到服务器，第2图像处理引擎若经由第2通信部接收摄影指示信息，则对连续的摄像数据中的与摄影指示信息对应的摄像数据进行图像处理，生成记录用静止图像。

在本发明的第20方式所涉及的摄像系统中，优选为，摄像终端若接受基于用户操作的动态图像的记录指示或记录结束指示，则将记录指示信息或记录结束指示信息从第1通信部发送到服务器，第2图像处理引擎若经由第2通信部接收记录指示信息或记录结束指示信息，则对从接收连续的摄像数据中的记录指示信息到接收记录结束指示信息为止的摄像数据进行图像处理，生成记录用动态图像。

在本发明的第21方式所涉及的摄像系统中，优选为，摄像终端在与服务器开始通信时，将表示摄像终端的终端信息发送到服务器，服务器若接收终端信息，则获取与接收到的终端信息对应的RAW显影信息，第2图像处理引擎进行根据获取的RAW显影信息对摄像数据进行RAW显影的图像处理。

在本发明的第22方式所涉及的摄像系统中，优选为，服务器将由第2图像处理引擎生成的即时预览图像经由第2通信部发送到摄像终端，摄像终端若经由第1通信部从服务器接收即时预览图像，则使即时预览图像显示于摄像终端的显示器上。

在本发明的第23方式所涉及的摄像系统中，优选为，第1图像处理引擎在摄像终端与服务器之间无法通信的期间运行。

在本发明的第24方式所涉及的摄像系统中，优选为，第1图像处理引擎在摄像终端与服务器之间无法通信的期间，根据从图像传感器连续输出的摄像数据生成即时预览图像，摄像终端在摄像终端与服务器之间无法通信的期间，使由第1图像处理引擎生成的即时预览图像显示于显示器上。

在本发明的第25方式所涉及的摄像系统中，优选为，摄像终端与服务器进行通信，从服务器接收记录在图像记录部中的图像中的通过用户操作来指定的图像，使接收到的图像显示于显示器上或保存于存储器中。

第26方式所涉及的发明为一种摄像系统，其由至少一个以上的摄像终端和服务器构成，摄像终端具备：摄像部，包括图像传感器，并输出摄像数据；及第1通信部，将从摄像部输出的摄像数据发送到服务器，服务器具备：第2通信部，接收从摄像终端的第1通信部发送的摄像数据；及图像处理引擎，对接收到的摄像数据进行图像处理，生成记录用图像，摄像数据的与图像传感器的一个像素对应的数据具有由模数转换电路转换的最大位数的灰度，图像处理引擎根据连续接收到的摄像数据生成即时预览图像，服务器将生成的即时预览图像经由第2通信部发送到摄像终端，摄像终端若经由第1通信部从服务器接收即时预览图像，则使即时预览图像显示于摄像终端的显示器上。

第27方式所涉及的发明为一种摄像终端，其构成第1至第25方式中任一项所述的摄像系统。

第28方式所涉及的发明为一种服务器，其构成第1至第25方式中任一项所述的摄像系统。

附图说明

图1是表示本发明所涉及的摄像系统的系统结构的图。

图2是表示构成摄像系统的摄像终端的实施方式的框图。

图3是表示构成摄像系统的服务器的实施方式的框图。

图4是表示前端LSI的一次图像处理电路的实施方式的框图。

图5是表示前端LSI的二次图像处理电路的实施方式的框图。

图6是表示本发明所涉及的摄像系统的第1实施方式的概略图。

图7是表示本发明所涉及的摄像系统的第2实施方式的概略图，是摄像终端与服务器之间的通信正常时的图。

图8是表示本发明所涉及的摄像系统的第2实施方式的概略图，是摄像终端与服务器之间无法通信时的图。

图9是表示本发明所涉及的摄像系统的第3实施方式的概略图。

图10是表示本发明所涉及的摄像系统的第4实施方式的概略图。

图11是表示摄像系统中的摄像终端的动作的流程图，是表示摄影模式时的动作的流程图。

图12是表示摄像系统中的摄像终端的动作的流程图，是表示播放模式时的动作的流程图。

图13是表示摄像系统中的服务器的动作的流程图。

具体实施方式

以下，按照附图对本发明所涉及的摄像系统、摄像终端及服务器的优选实施方式进行说明。

[摄像系统的概要]

图1是表示本发明所涉及的摄像系统的系统结构的图。

如图1所示，摄像系统1由至少一个以上的摄像终端100和服务器200构成。

摄像终端100是带通信功能的数码相机100a、内置相机的智能手机100b及其他各种带相机小器具(无人机、屋顶固定相机等)。

摄像终端100在启动中经由无线接入点310及网络300始终与服务器200连接，在摄影时将从摄像部连续输出的摄像数据发送到服务器200，在播放时接收保存在服务器200中的图像中的用户所期望的图像(播放图像)，并使播放图像显示于LCD(Liquid CrystalDisplay：液晶显示器)。另外，从摄像部输出的摄像数据是图像处理前的数据，以下，称为“RAW数据”。

并且，摄像终端100在摄影时从服务器200接收根据连续的RAW数据生成的即时预览图像，并使接收到的即时预览图像显示于EVF(Electronic View F inder：电子取景器)或LCD。

此外，摄像终端100具备在离线时也可以摄影的图像处理引擎(第1图像处理引擎)，以防备与服务器200之间无法或不易通信的情况(包括通信不稳定的情况)。

作为对摄像终端100及服务器200之间无法或不易通信的情况进行识别的方法，可以是电波强度等通信环境的检测、数据收发错误检查等通信状况的确认、检测由用户判断为通信困难的输入操作的方法中的任一种，或者也可以是其组合。

并且，在图像处理中，能够分为如缺陷校正、每个像素的灵敏度误差的校正等摄像元件固有的特性校正那样作为RAW显影时的前阶段进行的一次图像处理、以及在RAW显影时或RAW显影后进行的二次图像处理，根据本申请的实施例之一，在正常的动作状态下，通过摄像系统1的摄像终端100发送到网络300的摄像数据以“完全未进行一次图像处理的未加工的图像传感器的输出数据”或“未进行一次图像处理的一部分的数据”的状态被发送。由此，在网络上的服务器200的图像处理引擎(第2图像处理引擎)可利用的状态下，由网络上的第2图像处理引擎进行功能或性能更高的一次图像处理，能够发挥网络上的第2图像处理引擎的优点，例如，通过提高处理速度来提高连拍速度，或者通过实施更复杂且高精度的图像处理来实现画质的提高等。

作为一次图像处理进行的图像处理的内容，除了缺陷校正、每个像素的灵敏度误差的校正等以外，还进行按每个像素或每个区域来处理颜色或明度以得到优选画质的调谐处理，但详细的处理内容也包括作为技术诀窍未由制造商公布的内容。在此，是指在RAW显影之前对数字数据进行画质提高处理的所有内容。

服务器200具备与摄像终端100的第1图像处理引擎不同的第2图像处理引擎及图像记录部，经由网络300及无线接入点310与一个或多个摄像终端100之间进行双向通信，进行必要的数据交换。

服务器200从摄像终端100接收连续的RAW数据，根据连续的RAW数据由第2图像处理引擎生成即时预览图像或记录用图像，并将所生成的即时预览图像发送到摄像终端100，将记录用图像保存于服务器200的图像记录部。另外，图像记录部可以具备与具有第2图像处理引擎的服务器200在物理上不同的服务器(例如，数据服务器)。

本例的RAW数据并不限定于RAW文件格式的静止图像数据，而是RAW显影前的摄像数据。从而，“连续的RAW数据”虽然可以通过连续发送包含在RAW文件格式中的数据来实现，但更广泛地是指来自图像传感器的连续输出数据。从而，包括未以静止图像单位被文件形式化的流数据或经A/D(Analog-to-Dig ital：模拟到数字)转换的数据列在内表现为“连续的RAW数据”。

根据最典型的实施例，作为连续数据被发送的“连续的RAW数据”作为未以静止图像单位被件形式化的数据列而输入到第2图像处理引擎，由第1图像处理引擎进行图像处理和RAW显影，在转换为即时预览显示用动态图像数据格式之后，作为即时预览输出而发送。并且，为了用于记录，在由第2图像处理引擎转换为事先由用户设定的文件格式形式之后，作为静止图像或动态图像文件而输出。

连续数据例如也可以是如16位的动态图像RAW数据那样不进行一次图像处理而仅转换了比特率的连续数据。

并且，服务器200根据来自摄像终端100的请求，将保存在图像记录部中的图像作为播放图像发送到摄像终端100。

如此，通过由服务器200的第2图像处理引擎对摄像终端100的图像传感器输出进行图像处理，不仅可以实现摄像终端100的小型化、轻量化、低成本化，而且能够期待如下很多优点：消耗电力也减少；可以长时间使用；开发变得也容易；容易拓展摄像终端100的变化；即使不重新购买摄像终端100，也能够使第2图像处理引擎反映最新的升级(也能够通过机器学习来进行该升级)；能够在网络上获取第2图像处理引擎的输入(RAW数据)与输出的关系，得到用于开发更好的图像处理引擎的大量的开发数据(包括用于机器学习的学习数据)；通过共享网络上的图像处理引擎而消除浪费；可以利用价格低廉且高功能的图像处理引擎；由于能够共享图像处理引擎的外围电路(特别是使用频率低的连拍用存储器等)，因此若进行高效的共享，则实际上连拍张数的限制消失……等。

＜摄像终端＞

图2是表示构成摄像系统的摄像终端的实施方式的框图。

图2所示的摄像终端是带通信功能的数码相机100a。

如图2所示，数码相机100a具备摄像部101、传感器驱动器108、第1处理器110、存储器112、操作部114、显示控制部116、LCD118、EVF120、第1图像处理引擎122及第1通信部124。

摄像部101具有摄影透镜102、图像传感器104及AFE(Analog Front En d：模拟前端)106。

摄影透镜102可以是与相机主体一体化的透镜，也可以是相对于相机主体装卸自如的可更换透镜。

图像传感器104能够由CMOS(Complementary Metal-Oxide Semiconducto r：互补金属氧化物半导体)型彩色图像传感器构成。另外，图像传感器104并不限定于CMOS型，CCD(Charge Coupled Device：电荷耦合器件)型图像传感器。

在图像传感器104中，在由沿x方向(水平方向)及y方向(垂直方向)二维排列的光电转换元件(光电二极管)构成的多个像素上，以周期性排列(例如，拜耳排列、X-Trans(注册商标)等)配设有红色(R)、绿色(G)及蓝色(B)的滤色器，在各光电二极管上配置有微透镜。

通过摄影透镜102成像于图像传感器104的受光面上的被摄体的光学图像，通过图像传感器104转换为电信号。在图像传感器104的各像素中积蓄有与入射的光量对应的电荷，从图像传感器104读取与积蓄在各像素中的电荷量(信号电荷)对应的电信号作为图像信号。

AFE106对从图像传感器104输出的模拟图像信号实施各种模拟信号处理。AFE106包括相关双采样电路、AGC(Automatic Gain Control：自动增益控制)电路、模数转换电路(A/D转换电路)(均省略图示)。相关双采样电路对来自图像传感器104的模拟信号实施相关双采样处理，去除由信号电荷的复位引起的噪声。AGC电路放大由相关双采样电路去除了噪声的模拟信号，使得模拟信号的信号电平进入适当的范围内。A/D转换电路将在AGC电路中被增益调整的图像信号转换为数字信号。

从图像传感器104读取并从AFE106输出的数字信号是与图像传感器104的滤色器排列对应的B、G、R像素的数据(B、G、R数据)，以下，称为“RAW数据”。RAW数据是B、G、R数据对应于滤色器排列而排列的点序的马赛克图像数据。

另外，在图像传感器104是CMOS型图像传感器的情况下，AFE106通常内置于图像传感器104内。

并且，在本说明书中，基于AFE106的模拟信号处理不被称为图像处理，而是将对由A/D转换电路转换为数字信号之后的数字信号的信号处理定义为图像处理。从而，从图像传感器104(AFE106)输出的RAW数据是图像处理前的数据。

传感器驱动器108按照第1处理器110的指令进行从图像传感器104读取图像信号的控制。并且，传感器驱动器108具有电子快门功能，该电子快门功能根据来自第1处理器110的电子快门控制信号，使积蓄在图像传感器104的各像素中的电荷排出(复位)，并开始曝光。

第1处理器110由CPU(Central Processing Unit：中央处理器)等构成，按照使用操作部114的用户操作而集中控制各部分，并且进行各种处理。

并且，第1处理器110进行AF(Auto Focus：自动对焦)控制及AE(Auto maticExposure：自动曝光)控制。

在进行AF控制的情况下，第1处理器110根据数字图像信号算出AF控制所需数值。在所谓的对比度AF的情况下，例如算出规定的AF区域内的G数据的高频成分的累计值(焦点评价值)。第1处理器110在AF控制时使摄影透镜102中包括的聚焦透镜移动到焦点评价值最大的位置(即，对比度最大的位置)。另外，AF并不限定于对比度AF，例如在图像传感器104包括相位差检测用像素的情况下，可以根据相位差检测用像素的像素数据来检测散焦量，并进行使聚焦透镜移动的相位差AF以使该散焦量为零。

在进行AE控制的情况下，第1处理器110检测被摄体的明度(被摄体亮度)，算出与被摄体亮度对应的AE控制所需数值(曝光值(EV值(exposure value)))。第1处理器110根据算出的EV值从规定的程序图确定F值、快门速度及ISO灵敏度，能够进行AE控制。

另外，AF控制及AE控制分别在由操作部114设定有自动模式时自动进行，当然，在设定有手动模式时不进行AF控制及AE控制。

存储器112包括闪存存储器、ROM(Read-only Memory：只读存储器)、R AM(RandomAccess Memory：随机存取存储器)等。闪存及ROM是存储包括固件的各种程序、参数等的非易失性存储器。

RAM作为基于第1处理器110的处理的工作区域发挥功能，并且临时存储存储在非易失性存储器中的固件等。另外，第1处理器110可以内置有存储器112的一部分(RAM)。

操作部114包括电源开关、快门按钮、MENU/OK键、十字键、播放按钮等。

LCD118设置于相机主体的背面，在摄影模式时显示即时预览图像，在播放模式时播放显示已摄影的图像，除此以外，作为显示各种菜单画面的显示器发挥功能。EVF120也能够进行与LCD118相同的显示。另外，在摄影模式时，若眼睛靠近EVF120，则通过眼部传感器(未图示)的作用，自动切换为EVF120的显示，若眼睛离开，则切换为LCD118的显示。

操作部114中的MENU/OK键是操作键，其兼具作为用于进行使菜单显示于LCD118的画面上的指令的菜单按钮的功能、以及作为对选择内容的确定和执行等进行指令的OK按钮的功能。

十字键是输入上下左右四个方向的指示的操作部，作为从菜单画面中选择项目、或者指示从各菜单中选择各种设定项目的按钮发挥功能。并且，十字键的上键及下键作为摄影时的变焦开关或播放模式时的播放变焦开关发挥功能，左键及右键作为播放模式时的帧传送(正向及逆向传送)按钮发挥功能。播放按钮是用于切换为使摄影记录后的图像显示于LCD118上的播放模式的按钮。

第1图像处理引擎122在与服务器200无法通信的情况下运行。第1图像处理引擎122对从摄像部101连续读取的RAW数据进行RAW显影处理等图像处理，生成即时预览图像及记录用图像。另外，关于第1图像处理引擎122的详细内容，将进行后述。并且，也可以代替第1图像处理引擎122、或者由第1处理器110进行第1图像处理引擎122的图像处理功能的一部分。

在此，从摄像部101(图像传感器104)读取的RAW数据是以所设定的帧速率(例如，30fps、60fps等)连续读取的连续数据。另外，RAW数据中的B、G、R数据是分别具有与AFE106内的A/D转换电路的最大位数(本例中为14位)对应的灰度的数据。

第1通信部124在数码相机100a启动中经由无线接入点310及网络300始终与服务器200连接，与服务器200之间进行双向通信。第1通信部124在摄影时将图像处理前的摄像数据(RAW数据)以帧连续的连续数据的形式发送到服务器200，并且由服务器200接收通过RAW显影处理等图像处理而生成的、与连续数据(帧连续的RAW数据)对应的即时预览图像。并且，第1通信部124在播放时发送与通过用户操作来指定的播放图像有关的信息，并从服务器200接收通过用户操作来指定的图像。另外，第1通信部124将快门释放信号(摄影指示信息)、表示数码相机100a的终端信息等发送到服务器200，关于其详细内容，将进行后述。并且，第1通信部124优选为能够同时收发的全双工无线通信，但也可以使用两个以上的无线线路同时收发。并且，第1通信部124也可以是发送部与接收部不同的结构(例如，上部为光，下部为电波等)。

＜服务器＞

图3是表示构成摄像系统的服务器的实施方式的框图。

图3所示的服务器200经由网络300及无线接入点310与一个或多个摄像终端100之间进行双向通信，承担对摄像终端100的图像处理及图像记录等功能。

图3所示的服务器200具备第2通信部202、第2图像处理引擎210、第2处理器250及图像记录部260。

第2通信部202经由网络300及无线接入点310在与摄像终端100之间双向通信，从摄像终端100接收连续数据，并将与由第2图像处理引擎210生成的连续数据对应的即时预览图像发送到摄像终端100。并且，第2通信部202在摄像终端100中播放时，接收与通过用户操作来指定的播放图像有关的信息，并将与该信息对应的图像发送到摄像终端100。此外，第2通信部202从摄像终端100接收快门释放信号、表示摄像终端100的终端信息等。在本例中，通信目的地的摄像终端100是带通信功能的数码相机100a，但优选设置有多个第2通信部202，以使能够与多个摄像终端100无时滞地通信。

第2图像处理引擎210是与摄像终端100的第1图像处理引擎(本例中为带通信功能的数码相机100a的第1图像处理引擎122)不同种类的图像处理引擎，具有超过第1图像处理引擎122的技术规格的技术规格。

相反地，第1图像处理引擎122的技术规格低于第2图像处理引擎210的技术规格。

具体而言，若比较第1图像处理引擎122与第2图像处理引擎210，则以下所示的图像处理性能中的至少一个以上不同。

(1)相对于第2图像处理引擎210，第1图像处理引擎122的可实施图像处理的每个像素的信息量少。

(2)相对于第2图像处理引擎210，第1图像处理引擎122的灰度的位数或处理位数不同。例如，由第1图像处理引擎122处理的数据的灰度位数能够设为8位，由第2图像处理引擎210处理的数据的灰度位数能够设为14位。并且，基于第1图像处理引擎122的图像处理能够设为对具有8位灰度的数据的图像处理，基于第1图像处理引擎122的图像处理能够设为对具有14位灰度的数据的图像处理。

(3)相对于第2图像处理引擎210，第1图像处理引擎122仅具有可实施图像处理的功能中的一部分功能。例如，未设置有图像的压缩处理功能等。

(4)相对于第2图像处理引擎210，第1图像处理引擎122的可实施图像处理的图像的像素数少。

(5)相对于第2图像处理引擎210，第1图像处理引擎122具有热设计功率小的运算元件。即，与第2图像处理引擎210相比，第1图像处理引擎122的消耗电力小，发热量也少。

(6)相对于第2图像处理引擎210，第1图像处理引擎122具有晶体管数少的运算元件。

(7)相对于第2图像处理引擎210，第1图像处理引擎122的处理器内核的数量少。

(8)相对于第2图像处理引擎210，第1图像处理引擎122具有动作时序频率低的运算元件。

(9)相对于第2图像处理引擎210，第1图像处理引擎122具有额定动作电流值低的运算元件。

(10)相对于第2图像处理引擎210，第1图像处理引擎122的缓存存储器容量小。

(11)相对于第2图像处理引擎210，第1图像处理引擎122构成为可执行的命令数少。

(12)相对于第2图像处理引擎210，第1图像处理引擎122构成为用于执行运算命令的运算单元数少。

(13)第1图像处理引擎122具有内置图形功能，第2图像处理引擎具有扩展图形功能。

作为技术规格的差异，除了图像处理性能以外，还有可编程区域广、内部处理的灵活性不同(与图像处理性能本身的优劣不同)，架构、电路规模相同但处理规则不同，以及由此消耗电力不同，温度检测的传感功能等热对策的功能/性能不同，芯片尺寸不同且节省空间等，但并不限定于此。

另外，本例的第2图像处理引擎210具备前端LSI(Large-Scale Integra tion：大规模集成电路)239和作为其内部存储器的一次存储器240，前端LSI 239包括一次图像处理电路220及二次图像处理电路230。

前端LSI239的一次图像处理电路220输入从摄像终端100发送并由第2通信部202接收到的RAW数据的连续数据，对依次输入的各帧的RAW数据实施一次图像处理，生成可使用于RAW数据记录的RAW数据，并输出到二次图像处理电路230及一次存储器240。

图4是表示前端LSI的一次图像处理电路的实施方式的框图。

图4所示的一次图像处理电路220具备偏移处理电路221、像素缺陷校正电路222、色调校正电路223及个体差校正电路224。

第2通信部202接收到的RAW数据被添加到一次图像处理电路220的偏移处理电路221。该RAW数据中的B、G、R数据是分别具有14位灰度值的数据。

偏移处理电路221对所输入的RAW数据实施偏移处理。偏移处理电路221是校正图像传感器104的传感器输出的暗电流成分的处理部，算出与图像传感器104的被遮光的多个像素(光学黑暗区像素)对应的像素数据的平均值，进行从所输入的RAW数据减去所算出的平均值的运算。偏移处理后的RAW数据被输出到像素缺陷校正电路222。

像素缺陷校正电路222是进行图像传感器104的固有像素缺陷(划痕)的校正的校正电路。

服务器200根据摄像终端100的终端信息(例如，产品名称+序列号)将各种校正信息及RAW显影所需信息(RAW显影信息)存储于存储器(未图示)，在开始与摄像终端100通信时，通过从摄像终端100接收终端信息，能够从存储器读取并使用与该摄像终端100对应的校正信息及RAW显影信息。另外，每个摄像终端100的校正信息及RAW显影信息能够预先从摄像终端100获取，或者根据终端信息从摄像终端100的制造商的服务器下载并存储于存储器。并且，在RAW显影信息中包括图像传感器的滤色器排列、像素数、有效像素区域等信息。

像素缺陷校正电路222根据摄像终端100的终端信息来获取图像传感器104的缺陷像素的信息(缺陷像素的位置信息)，若输入与缺陷像素对应的R、G或B数据，则对该缺陷像素的位置附近的相同颜色的像素数据进行插值运算，并输出该插值运算后的像素数据，以代替与缺陷像素对应的数据。另外，在图像传感器104包括相位差检测用像素的情况下，该相位差检测用像素的位置数据也同样地进行插值运算并输出，以代替相位差检测用像素的数据。

色调校正电路223进行对图像传感器104的B、G、R的输出数据的光谱特性进行校正的颜色校正，并进行所输入的R、G、B数据的三个输入和B、G、R的三个输出的矩阵运算。若赋予3×3矩阵的矩阵系数，则能够求出根据所输入的R、G、B数据的三色数据色调校正后的B、G、R的三色数据。此时，使用与摄像终端100的终端识别信息对应的、提高颜色再现性的矩阵系数实施线性矩阵转换。

个体差校正电路224是进行与图像传感器104的个体差对应的校正的部分。在作为相同产品的摄像终端100的情况下，为了实现与成为基准的摄像终端相同的颜色再现或画质，使用与图像传感器104的每个个体的光谱灵敏度特性对应的调整值，将调整值乘以B、G、R数据，与图像传感器104的个体差无关地输出相同的颜色再现或画质的B、G、R数据。

由一次图像处理电路220处理的RAW数据输出到二次图像处理电路230及一次存储器240。另外，一次图像处理电路220对RAW数据的图像处理内容及处理顺序，并不限定于上述实施方式。并且，由一次图像处理电路220处理的RAW数据是RAW显影处理前的数据，B、G、R数据具有14位的灰度。

图5是表示前端LSI的二次图像处理电路的实施方式的框图。

图5所示的二次图像处理电路230具备WB(White Balance：白平衡)校正电路231、伽马校正电路232、去马赛克处理电路233、轮廓强调电路235、色差矩阵电路236及压缩电路237。

由一次图像处理电路220处理的RAW数据被添加到二次图像处理电路230的WB校正电路231。

WB校正电路231根据所输入的RAW数据的B、G、R数据来自动判别“晴天”、“阴天”、“阴凉处”、“灯泡”、“荧光灯”等光源的种类或摄影场景，使用根据光源的种类等预先设定的每个B、G、R数据的WB增益来放大B、G、R数据，进行白平衡校正。白平衡校正后的B、G、R数据输出到伽马校正电路232。

伽马校正电路232例如针对每个B、G、R数据具有伽马校正表，根据具有分别对应的伽马特性的伽马校正表，对所输入的B、G、R数据进行与线性数据的半色调变大的伽马特性对应的灰度校正(伽马校正)。并且，本例的伽马校正电路232将14位的B、G、R数据转换为8位的B、G、R数据。由伽马校正电路232伽马校正后的8位的B、G、R数据输出到去马赛克处理电路233。

去马赛克处理电路233根据与图像传感器104的滤色器排列对应的、作为马赛克图像数据的点序的B、G、R数据的各颜色数据，通过插值而生成图像传感器104的各像素位置上的不足的颜色数据，并同时输出各像素位置的B、G、R数据。即，去马赛克处理电路233将点序的B、G、R数据转换为同步式的B、G、R数据，并将同步化的B、G、R数据输出到YC转换电路234。

YC转换电路234将同步式的B、G、R数据转换为亮度数据(Y)和色差数据(Cr,Cb)，将亮度数据(Y)输出到轮廓强调电路235，将色差数据(Cr,Cb)输出到色差矩阵电路236。轮廓强调电路235进行强调亮度数据(Y)的轮廓部(亮度变化大的部分)的处理。色差矩阵电路236进行所输入的色差数据(Cr,Cb)与2行×2列的颜色校正矩阵系数的矩阵运算，进行用于实现良好的颜色再现性的颜色校正。

如此，二次图像处理电路230通过对RAW数据进行各种图像处理(RAW显影处理)，生成根据RAW数据可显示的图像数据。

压缩电路237对从轮廓强调电路235输出的亮度数据(Y)、以及从色差矩阵电路236输出的色差数据(Cr,Cb)实施压缩处理。在静态图像的情况下，例如以JPEG(JointPhotographic coding Experts Group：联合摄影编码专家组)形式进行压缩，在动态图像的情况下，例如以H.264形式进行压缩。压缩后的图像数据保存于一次存储器240。

并且，压缩电路237被添加有由一次图像处理电路220处理的RAW数据，压缩电路237在压缩RAW数据之后输出到一次存储器240。RAW数据的压缩优选进行可逆压缩(无损压缩)。另外，如图3所示，RAW数据可以从一次图像处理电路220直接输出到一次存储器240，不压缩(以非压缩)而保存于一次存储器240。

返回到图3，第2图像处理引擎210从摄像终端100(本例中为数码相机100a)接收RAW数据的连续数据，并将与由第2图像处理引擎210生成的连续数据对应的即时预览图像发送到数码相机100a。具体而言，将与连续数据对应的每个图像处理的各帧的图像、且由从图4所示的二次图像处理电路230的轮廓强调电路235输出的亮度数据(Y)和从色差矩阵电路236输出的色差数据(C r,Cb)、或从亮度数据(Y)及色差数据(Cr,Cb)转换的B、G、R数据组成的图像，作为即时预览图像输出到第2通信部202，并从第2通信部202经由网络300及无线接入点310发送到数码相机100a。

另外，在从数码相机100a发送连续数据之后，在服务器200中被图像处理以生成即时预览图像，直至该即时预览图像发送到数码相机100a为止的时间大部分是数据收发所需时间，但在5G(5th Generation：第五代)移动通信系统中，能够实现将从数据被发送到接收为止的延迟时间缩短至1毫秒左右的超低延迟，该部分的延迟短到人类无法感受到延迟的程度。

从而，数码相机100a能够使即时预览图像几乎实时显示于LCD118或EVF120。另外，2027年以后将导入更高速的下一代6G移动通信系统，若实现这种通信速度，则能够实现与当前的摄像终端内的总线传送速度匹敌的通信速度，摄像终端内和网络上的服务器进一步消除时滞，能够更实时显示即时预览图像。

并且，在数码相机100a中，若快门按钮被操作(若接受基于用户操作的静止图像的摄影指示)，则摄像终端100进行静止图像记录用AF控制及AE控制，将静止图像记录用RAW数据作为连续数据中的1帧而发送，并且使其插入到连续数据中而发送快门释放信号(摄影指示信息)。

另一方面，第2处理器250始终等待用户对快门按钮的操作的快门释放信号从数码相机100a发送过来，若经由第2通信部202接收快门释放信号，则第2处理器250从第2图像处理引擎210获取由快门释放信号来确定的静止图像记录用RAW数据的、由第2图像处理引擎210图像处理后的图像数据，并将其记录于图像记录部260。

第2处理器250将静止图像文件记录于图像记录部260，该静止图像文件是静止图像记录用RAW数据由第2图像处理引擎210进行RAW显影处理并具有JPEG压缩后的图像数据的图像文件，并保存于一次存储器240。在该情况下，第2处理器250优选根据数码相机100a的终端信息或用户信息记录于与终端信息等相关联的图像文件夹(图像记录部260内的文件夹)。

并且，第2处理器250将RAW文件记录于与摄像终端100的终端信息或用户信息相关联的图像记录部260内的文件夹，该RAW文件是静止图像记录用RA W数据由第2图像处理引擎210的一次图像处理电路220图像处理后的RAW数据的RAW文件，并具有保存在一次存储器240中的无损压缩或非压缩的RAW数据。

另外，第2处理器250也可以将上述静止图像文件及RAW文件中的至少一个记录于图像记录部260。

并且，数码相机100a在设定有托架摄影模式或连拍模式的情况下，以一次快门按钮操作来连续摄像多张静止图像，但在该情况下，服务器200将图像处理后的多张静止图像文件和/或RAW数据记录于图像记录部260。

此外，数码相机100a在设定有动态图像模式的情况下，若通过快门按钮的用户操作来接受动态图像的记录指示或记录结束指示，则将记录指示信息或记录结束指示信息从第1通信部124发送到服务器200。服务器200(第2图像处理引擎210)对于在从接收动态图像的记录指示信息到接收记录结束指示信息为止的期间接收到的连续数据实施动态图像记录用图像处理，使具有通过图像处理而生成的动态图像数据的动态图像文件存储于一次存储器240，第2处理器250将存储在一次存储器240中的动态图像文件记录于图像记录部260。

另一方面，摄像终端100在以播放模式启动的情况下，或者在从摄影模式切换为播放模式的情况下，也处于始终与服务器200连接的状态，若用户按照操作部114及LCD118的显示内容进行播放操作，则将与该操作内容对应的播放请求从第1通信部124输出到服务器200。

服务器200(第2处理器250)若经由第2通信部202接收播放请求，则从图像记录部260读取与播放请求对应的图像文件，将图像文件内的压缩后的图像数据进行解压缩，作为播放图像从第2通信部202发送到摄像终端100。另外，在与播放请求对应的图像文件是RAW文件的情况下，在将RAW文件的RAW数据进行RAW显影处理之后，作为播放图像从第2通信部202发送到摄像终端100。

例如，摄像终端100在以播放模式启动的情况下，或者在从摄影模式切换为播放模式的情况下，发送最新的摄影图像的播放请求，服务器200若从摄像终端100接收最新的摄影图像的播放请求，则从图像记录部260读取对应的图像文件，将图像文件内的压缩后的图像数据进行解压缩，作为播放图像从第2通信部202发送到摄像终端100。

接收到播放图像的摄像终端100经由显示控制部116使播放图像显示于LC D118。然后，若用户使用操作部114进行帧传送、帧返回等播放操作，则摄像终端100将与该播放操作对应的播放请求发送到服务器200，服务器200从图像记录部260读取与接收到的播放请求对应的图像文件，并与上述同样地将播放图像发送到摄像终端100。

并且，若摄像终端100请求记录在图像记录部260中的用户的图像文件组的缩略图像一览，则服务器200将与请求对应的缩略图像一览发送到摄像终端100。然后，接收到缩略图像一览的摄像终端100能够使缩略图像一览显示于L CD118。

用户一边查看显示于LCD118上的缩略图像一览，一边操作操作部114而选择所期望的缩略图像，由此摄像终端100能够将与所选择的缩略图像对应的图像的播放请求(附有图像文件名的播放请求)发送到服务器200。服务器200若从摄像终端100接收附有图像文件名的播放请求，则从图像记录部260读取与图像文件名对应的图像文件，并与上述同样地将播放图像发送到摄像终端100。由此，在摄像终端100的LCD118上显示与用户选择的缩略图像对应的播放图像。

此外，用户能够使用播放图像或缩略图像来确定打印订购的图像，使从摄像终端100确定的图像的打印请求(附有图像文件名的打印请求)发送到服务器200。服务器200若从摄像终端100接收带有图像文件名的打印请求，则从图像记录部260读取与图像文件名对应的图像文件并发送到未图示的打印服务器，由此能够进行打印服务。

另外，在上述例中，关于使静止图像播放的情况进行了说明，但在使动态图像播放的情况下，也能够同样地进行。

此外，用户还能够使用服务器200内的实用软件(修图软件)，一边实时确认编辑后的图像(播放图像)，一边经由网络进行追加过滤效果等图像编辑(修正、校正、加工)。

[摄像系统]

＜摄像系统的第1实施方式＞

图6是表示本发明所涉及的摄像系统的第1实施方式的概略图。

另外，在图6中，实线箭头表示摄像终端100-1与服务器200之间的通信正常时的数据流，虚线箭头表示摄像终端100-1与服务器200之间无法通信时(包括通信不稳定的情况)的数据流。并且，图6中省略了摄像终端100-1及服务器200的通信部等。

以下，关于摄像终端100-1与服务器200之间的通信正常的情况进行说明。

在该情况下，摄像终端100-1在启动中经由无线接入点310及网络300(图1)始终与服务器200连接，摄影模式时将图像处理前的RAW数据以连续数据的形式发送到服务器200。服务器200的第2图像处理引擎210的前端LSI239根据由接收到的RAW数据组成的连续数据来生成即时预览图像，服务器200将由前端LSI239生成的即时预览图像发送到摄像终端100-1。

接收到即时预览图像的摄像终端100-1在LCD118或EVF120上显示即时预览图像。

由此，用户能够一边查看即时预览图像，一边确定构图等，并按下快门按钮115进行所期望的被摄体的摄影操作。摄像终端100-1若被按下快门按钮115(若接受基于用户操作的静止图像的摄影指示)，则将从图像传感器104读取的具有14位灰度的静止图像记录用RAW数据作为连续数据中的1帧而发送，并且使其插入到连续数据中以将快门释放信号发送到服务器200。

服务器200的第2图像处理引擎210(前端LSI239)对与快门释放信号对应地接收到的静止图像记录用RAW数据实施图像处理。即，前端LSI239对接收到的静止图像记录用RAW数据进行RAW显影处理，使具有8位灰度的JPEG压缩后的具有图像数据(8位灰度)的静止图像文件存储于一次存储器240，和/或使接收到的静止图像记录用RAW数据由一次图像处理电路220(图3)图像处理后的、具有无损压缩或非压缩的RAW数据(14位灰度)的RAW文件存储于一次存储器240。

服务器200的第2处理器250将存储于一次存储器240中的具有8位灰度的静止图像文件和/或具有14位灰度的RAW文件记录于图像记录部260。

另一方面，在摄像终端100-1以播放模式启动的情况下，或者在从摄影模式切换为播放模式的情况下，若用户按照操作部114及LCD118的显示内容进行播放操作，则将与该操作内容对应的播放请求从第1通信部124输出到服务器200。

服务器200若从摄像终端100-1接收播放请求，则从图像记录部260读取与播放请求对应的图像文件，将图像文件内的压缩后的图像数据进行解压缩，并作为播放图像从第2通信部202发送到摄像终端100。另外，在与播放请求对应的图像文件是RAW文件的情况下，将RAW文件的RAW数据进行RAW显影处理之后，作为播放图像发送到摄像终端100。

接收到播放图像的摄像终端100-1经由显示控制部116使播放图像显示于LCD118。

接着，关于摄像终端100-1与服务器200之间无法通信的情况(离线时)进行说明。

在离线时，摄像终端100-1的第1图像处理引擎122运行，摄像终端100-1可以单独摄影。

从图像传感器104以规定的帧速率(例如，30fps、60fps)读取的RAW数据输出到第1图像处理引擎122。

如上所述，第1图像处理引擎122的技术规格与服务器200的第2图像处理引擎210不同，与第2图像处理引擎210相比，功能/性能有限定，电路规模也小且价格低廉。

第1图像处理引擎122将由来自图像传感器104的具有14位灰度的RAW数据组成的连续数据转换为例如具有8位灰度的RAW数据，然后，对具有8位灰度的RAW数据实施RAW显影处理等图像处理，生成即时预览图像。该即时预览图像的画质(分辨率、显示帧速率)可以比通信正常时由第2图像处理引擎210生成的即时预览图像低。

然后，若快门按钮115被按下，则第1图像处理引擎122对于在快门按钮115按下时从图像传感器104读取的静止图像记录用RAW数据实施图像处理，生成静止图像记录用图像数据，并记录于内部存储器(未图示)。

另外，若摄像终端100-1与服务器200之间正常通信，则摄像终端100-1在发送连续数据之前，将记录在第1图像处理引擎122的内部存储器中的图像数据发送到服务器200。第2图像处理引擎210对接收到的图像数据实施用于提高画质的降噪处理等图像处理。第2处理器250将图像数据文件化而成的图像文件记录于图像记录部260，该图像数据是由第2图像处理引擎210实施了图像处理的图像数据。

摄像终端100-1的第1图像处理引擎122由于是在摄像终端100-1与服务器200之间无法通信时用于应急的辅助性图像处理引擎，因此限定为电路规模非常小、只能处理具有8位灰度的数据等最小限度的必要功能，用于提高画质的降噪处理等一次图像处理部分也可以不是最新的。因此，作为电路规模，能够设为服务器200的第2图像处理引擎210的十分之一～几十分之一的成本。并且，摄像终端100-1内的第1图像处理引擎122被使用的频率在通信网络发达的地区中几乎不存在，以备万一，因此也不易发生性能上的缺点。记录最低限度的记录用图像数据，以免在临时中断通信等情况下完全无法摄影。由此，由于可以进行与摄影有关的操作和显示(即时预览图像)或图像记录，因此不会错过快门机会。在重视连拍功能的情况下，可以具备最小限度的连拍用存储器，在该情况下，虽然相对于通常的100帧连拍等，功能被限制为5帧连拍等，但是可以进行连拍。

另外，摄像终端100-1在离线时仅能够播放显示记录在第1图像处理引擎122的内部存储器中的图像，无法播放显示记录在图像记录部260中的图像。

＜摄像系统的第2实施方式＞

图7及图8是分别表示本发明所涉及的摄像系统的第2实施方式的概略图，图7示出摄像终端与服务器之间的通信正常的相关情况，图8示出摄像终端与服务器之间无法通信的相关情况(离线的情况)。

另外，在图7及图8中，对与图6所示的摄像系统的第1实施方式相同的部分标注相同的符号，并省略其详细说明。

在图7及图8所示的摄像系统的第2实施方式中，摄像终端100-2与图6所示的摄像系统的第1实施方式的摄像终端100-1不同，特别是第1图像处理引擎130不同。

摄像终端100-2的第1图像处理引擎130在离线时运行。从而，在摄像终端100-2与服务器200之间通信正常的情况下，图7及图8所示的摄像系统的第2实施方式进行与图6所示的摄像系统的第1实施方式相同的动作。

以下，关于摄像终端100-2离线的情况进行说明。

离线时运行的摄像终端100-2的第1图像处理引擎130具备前端LSI132和作为内部存储器的一次存储器134。

与服务器200的第2图像处理引擎210的前端LSI239相比，前端LSI132的技术规格低，功能/性能有限定，电路规模也小且价格低廉。

前端LSI132将由来自图像传感器104的具有14位灰度的RAW数据组成的连续数据转换为例如具有8位灰度的RAW数据，然后，对具有8位灰度的RAW数据实施RAW显影处理等图像处理，生成即时预览图像。该即时预览图像的画质(分辨率、显示帧速率)可以比通信正常时由第2图像处理引擎210的前端LSI239生成的即时预览图像低。

如图8的实线箭头所示，由前端LSI132生成的即时预览图像输出并显示于LCD118或EVF120。

然后，若快门按钮115被按下，则前端LSI132对于在快门按钮115按下时从图像传感器104读取的静止图像记录用RAW数据实施RAW显影处理及包括JP EG压缩的图像处理，并将具有JPEG压缩后的图像数据的图像文件记录于一次存储器134。

另外，由前端LSI132生成的静止图像记录用图像数据的画质(图像尺寸、分辨率、颜色再现性等中的至少一个以上)比由服务器200的前端LSI239生成的静止图像记录用图像数据低。这是因为，与具有前端LSI239的第2图像处理引擎210相比，具有前端LSI132的第1图像处理引擎130不包括例如噪声处理、缺陷校正及高画质化等图像处理，并且价格低廉。

另一方面，若摄像终端100-2与服务器200之间的通信正常，则摄像终端100-2在发送连续数据之前，将存储在第1图像处理引擎130的内部存储器即一次存储器134中的图像文件发送到服务器200。

服务器200(第2处理器250)若从摄像终端100-2接收图像文件，则将接收到的图像文件记录于图像记录部260。另外，与图6所示的第1实施方式的摄像系统同样，可以将接收到的图像文件的图像数据在第2图像处理引擎210中重新处理之后记录于图像记录部260。

＜摄像系统的第3实施方式＞

图9是表示本发明所涉及的摄像系统的第3实施方式的概略图。

另外，在图9中，对与图6所示的摄像系统的第1实施方式相同的部分标注相同的符号，并省略其详细说明。

在图9所示的摄像系统的第3实施方式中，摄像终端100-3与图6所示的摄像系统的第1实施方式的摄像终端100-1相同，特别是第1图像处理引擎140不同。

摄像终端100-3的第1图像处理引擎140在离线时运行。从而，在摄像终端100-3与服务器200之间的通信正常的情况下，图9所示的摄像系统的第3实施方式中进行与图6所示的摄像系统的第1实施方式相同的动作。

以下，关于摄像终端100-3离线的情况进行说明。

离线时运行的摄像终端100-3的第1图像处理引擎140具备存储器控制器142、作为内部存储器的一次存储器144及即时预览引擎146。

该第1图像处理引擎140具备离线时最小限度的图像处理功能。

即时预览引擎146将由来自图像传感器104的具有14位灰度的RAW数据组成的连续数据转换为例如具有8位灰度的RAW数据，然后，对具有8位灰度的RAW数据实施RAW显影处理等图像处理，生成即时预览图像。该即时预览引擎146只要能够生成取景所需最小限度画质的即时预览图像即可，例如，能够省略噪声处理、缺陷校正、高画质化等图像处理，画质(分辨率、显示帧速率)可以比由第2图像处理引擎210的前端LSI239生成的即时预览图像低。

如图9的虚线箭头所示，离线时由即时预览引擎146生成的即时预览图像输出并显示于LCD118或EVF120。

然后，若快门按钮115被按下，则存储器控制器142将在快门按钮115按下时从图像传感器104读取的具有静止图像记录用14位灰度的1帧量的RAW数据临时记录于一次存储器144。另外，在设定有托架摄影模式或连拍模式的情况下，存储器控制器142通过快门按钮115的一次快门释放操作，将从图像传感器104连续读取的静止图像记录用多帧的RAW数据临时记录于一次存储器144。并且，即时预览引擎146与快门按钮115的快门释放操作无关地连续生成即时预览图像。

另一方面，若摄像终端100-3与服务器200之间的通信正常，则摄像终端100-3在发送连续数据之前，将记录在第1图像处理引擎140的一次存储器144中的具有14位灰度的静止图像记录用RAW数据发送到服务器200。

服务器200(第2图像处理引擎210的前端LSI239)若从摄像终端100-2接收离线时摄影的静止图像记录用RAW数据，则对接收到的RAW数据实施静止图像记录用图像处理，并存储于一次存储器240。

第2处理器250将存储于一次存储器240中的具有8位灰度的静止图像文件和/或具有14位灰度的一次图像处理后的RAW文件记录于图像记录部260。

另外，对离线时摄影的静止图像记录用RAW数据的基于前端LSI239的图像处理，能够进行与对于在摄像终端100-3与服务器200之间的通信正常时对应于快门释放信号而接收到的静止图像记录用RAW数据的图像处理相同的图像处理。

＜摄像系统的第4实施方式＞

图10是表示本发明所涉及的摄像系统的第4实施方式的概略图。

另外，在图10中，对与图6所示的摄像系统的第1实施方式相同的部分标注相同的符号，并省略其详细说明。

在图10所示的摄像系统的第4实施方式中，摄像终端100-4与图6所示的摄像系统的第1实施方式的摄像终端100-1相同，特别是第1图像处理引擎150不同。

摄像终端100-4的第1图像处理引擎150在离线时运行。从而，在摄像终端100-4与服务器200之间的通信正常的情况下，图10所示的摄像系统的第4实施方式中进行与图6所示的摄像系统的第1实施方式相同的动作。

以下，关于摄像终端100-4离线的情况进行说明。

离线时运行的摄像终端100-4的第1图像处理引擎150具备前端LSI152和作为内部存储器的一次存储器154。

第1图像处理引擎150(前端LSI152)将由来自图像传感器104的具有14位灰度的RAW数据组成的连续数据转换为例如具有8位灰度的RAW数据，然后，对具有8位灰度的RAW数据实施RAW显影处理等图像处理，生成即时预览图像。该即时预览引擎146生成取景所需最小限度画质的即时预览图像即可。

如图10的虚线箭头所示，离线时由即时预览引擎146生成的即时预览图像输出并显示于LCD118或EVF120。

然后，若快门按钮115被按下，则前端LSI152对于在快门按钮115按下时从图像传感器104读取的具有静止图像记录用14位灰度的1帧量的RAW数据进行图像处理。

前端LSI152对所输入的RAW数据实施RAW显影处理及包括JPEG压缩的图像处理，并将具有JPEG压缩后的图像数据的图像文件记录于一次存储器134和/或减少所输入的RAW数据的数据量(本例中为图像尺寸)，并将减少了数据量的RAW数据记录于一次存储器134。

包括前端LSI152的第1图像处理引擎150由于是用于应急的辅助性图像处理引擎，因此限定为使电路规模非常小、只能处理一定图像尺寸(例如，4K尺寸的图像尺寸)以下的最小限度的必要功能，用于提高画质的降噪处理等一次图像处理部分也可以不是最新的。因此，作为电路规模，能够设为网络上的第2图像处理引擎210的十分之一～几十分之一的价格低廉的电路规模。

并且，摄像终端100-4的第1图像处理引擎150被使用的频率在通信网络发达的地区几乎不存在，以备万一，因此为了集中于上传至SNS(Social Netw orking Service：社交网络服务)等目的而使用，也不易发生性能上的缺点。并且，由于可以进行与摄影有关的操作和显示(即时预览图像的显示)或图像记录，因此不会错过快门机会，能够通过最小限度的附加电路(第1图像处理引擎)来解决。在重视连拍功能的情况下，只要具备最小限度的连拍用存储器即可，在该情况下，相对于通常的100帧连拍等，功能被限制为5帧连拍等，但也可以进行连拍。

另外，前端LSI152对所输入的RAW数据实施RAW显影处理及包括JPEG压缩的图像处理，但可以省略JPEG压缩。并且，在一次存储器134中记录减少了数据量的RAW数据的情况下，前端LSI152除了减小例如2K尺寸的图像尺寸以外，还能够使具有14位灰度的RAW数据的位数小于14位(例如，8位)，从而减少数据量。

另一方面，若摄像终端100-4与服务器200之间的通信正常，则摄像终端100-4在发送连续数据之前，将记录在第1图像处理引擎140的一次存储器144中的数据发送到服务器200。

服务器200(第2图像处理引擎210的前端LSI239)若从摄像终端100-4接收离线时摄影的静止图像记录用数据，则对接收到的数据实施静止图像记录用图像处理，并存储于一次存储器240。

第2处理器250将存储在一次存储器240中的图像记录于图像记录部260。

[摄像系统的作用]

图11及图12是表示摄像系统中的摄像终端的动作的流程图，图13是表示摄像系统中的服务器的动作的流程图。

另外，图11及图12所示的流程图表示图7及图8所示的摄像系统的第2实施方式的摄像终端100-2的动作顺序。并且，摄像终端100-2设为图1及图2所示的带通信功能的数码相机100a。

＜摄像终端的动作＞

在图11中，若电源开关接通，则摄像终端100-2(带通信功能的数码相机100a)首先为了始终与服务器200连接而进行网络的连接处理(步骤S10)。

接着，数码相机100a(第1处理器110)判别电源开关是否断开(步骤S12)，在电源断开的情况下(“Yes”的情况)，数码相机100a的动作结束，在电源接通的情况下(“No”的情况)，过渡到步骤S14。

在步骤S14中，判别数码相机100a的动作模式是摄影模式还是播放模式(步骤S14)。若判别为摄影模式，则过渡到步骤S16，进行摄影动作，若判别为播放模式，则过渡到图12所示的图像播放处理。

在步骤S16中，由摄像部101(图像传感器104)以规定的帧速率进行摄像，从图像传感器104读取图像处理前的RAW数据作为规定的帧速率的连续数据。

接着，数码相机100a(第1处理器110)判别在步骤S10中连接处理的网络连接状态是否稳定(步骤S18)。若判别为网络连接稳定，则数码相机100a将从图像传感器104读取的连续数据经由第1通信部124发送到服务器200(步骤S20)。

如后所述，服务器200对从数码相机100a接收到的连续数据实施RAW显影处理等图像处理以生成即时预览图像，并将所生成的即时预览图像发送到数码相机100a。

数码相机100a经由第1通信部124接收从服务器200发送的即时预览图像(步骤S22)，使接收到的即时预览图像显示于LCD118或EVF120(步骤S24)。在此，由于连续数据的发送及即时预览图像的接收的延迟短到人类无法感受到延迟的程度，因此即时预览图像能够显示于实时LCD118或EVF120。

接着，数码相机100a(第1处理器110)判别是否由用户对快门按钮115进行了快门释放操作(步骤S26)。在步骤S26中，判别为没有快门释放操作(“否”的情况)，过渡到步骤S12。由此，从步骤S12重复步骤S26的处理，显示即时预览图像。

在步骤S26中，若判别为有快门释放操作(“是”的情况)，过渡到步骤S28。在步骤S25中，数码相机100a将快门释放信号插入到连续数据中并经由第1通信部124发送到服务器200，然后过渡到步骤S12。另外，关于接收到快门释放信号的服务器200的动作将进行后述。

另一方面，在步骤S18中，若判别为网络连接不稳定(包括无法通信)，则数码相机100a可以使第1图像处理引擎130工作，将从图像传感器104读取的连续数据输出到第1图像处理引擎130。第1图像处理引擎130对所输入的连续数据实施RAW显影处理等图像处理以生成即时预览图像(步骤S30)。第1图像处理引擎130将所生成的即时预览图像输出到LCD118或EVF120并使其显示(步骤S32)。

接着，数码相机100a(第1处理器110)判别是否由用户对快门按钮115进行了快门释放操作(步骤S32)。在步骤S32中，判别为没有快门释放操作(“否”的情况)，过渡到步骤S18。由此，重复步骤S18到步骤S34的处理，显示即时预览图像。

在步骤S34中，若判别为有快门释放操作(“是”的情况)，过渡到步骤S36。在步骤S36中，第1图像处理引擎130对具有与快门释放信号对应的静止图像记录用14位灰度的RAW数据实施RAW显影处理及包括JPEG压缩的图像处理，并将具有JPEG压缩后的图像数据的图像文件保存(记录)于一次存储器134。然后，数码相机100a过渡到步骤S12。

另一方面，在步骤S14中，若判别为播放模式，则过渡到图12所示的步骤S50。在步骤S50中，数码相机100a经由第1通信部124将向播放模式的模式变更指示发送到服务器200。另外，当然，停止从数码相机100a发送连续数据。

如后所述，服务器200若接收向播放模式的模式变更指示，则对发送了模式变更指示的数码相机100a发送缩略图像一览，数码相机100a经由第1通信部124接收缩略图像一览(步骤S52)。

数码相机100a若从服务器200接收缩略图像一览，则使接收到的缩略图像一览显示于LCD118(步骤S54)。

用户一边查看显示于LCD118上的缩略图像一览，一边操作操作部114，能够选择所期望的缩略图像作为播放图像。数码相机100a判别是否接受到通过操作部114的用户操作进行的播放图像的选择指示输入(步骤S56)。

在步骤S56中，若判别为接受到播放图像的选择指示输入，则数码相机100a将与所选择的缩略图像对应的图像播放请求(附有图像文件名的播放请求)经由第1通信部124发送到服务器200(步骤S58)。服务器200若从数码相机100a接收附有图像文件名的播放请求，则从图像记录部260读取与图像文件名对应的播放图像并发送到数码相机100a。数码相机100a经由第1通信部124从服务器200接收与播放请求对应的播放图像(步骤S60)。

数码相机100a将从服务器200接收到的播放图像显示于LCD118(步骤S62)，并过渡到图11的步骤S12。

在维持播放模式的情况下，数码相机100a能够使与播放请求对应的播放图像显示于LCD118。并且，数码相机100a能够使播放图像显示于经由接口连接的外部显示器(未图示)。

＜服务器的动作＞

在图13中，若在服务器200与数码相机100a之间网络连接(步骤S102)，则数码相机100a在与服务器200开始通信时，将表示数码相机100a的终端信息发送到服务器200，服务器200经由第2通信部202接收数码相机100a的终端信息，获取终端信息(步骤S102)。

接着，服务器200判别网络连接的数码相机100a的动作模式是摄影模式还是播放模式(步骤S104)。若判别为摄影模式，则过渡到步骤S106，若判别为播放模式，则过渡到步骤S120。

在步骤S106中，从数码相机100a接收规定的帧速率的RAW数据作为连续数据。服务器200的第2图像处理引擎210对规定的帧速率的RAW数据实施RA W显影处理等图像处理以生成即时预览图像(步骤S108)。服务器200将由第2图像处理引擎210生成的即时预览图像经由第2通信部202发送到数码相机100a(步骤S110)。

接着，服务器200判别是否从数码相机100a接收到快门释放信号(步骤S112)。若接收快门释放信号(“是”的情况)，第2图像处理引擎210对连续的RAW数据中的与快门释放信号(摄影指示信息)对应的RAW数据进行图像处理，生成记录用图像(静止图像)(步骤S144)。

另外，第2图像处理引擎210在对RAW数据实施包括RAW显影处理的图像处理的情况下，根据在步骤S102中获取的终端信息，从数码相机100a的制造商的服务器获取为了对由数码相机100a摄影的RAW数据进行RAW显影而需要的信息(图像传感器104的滤色器排列、像素数、像素缺陷信息、其他参数)，或者从预先从制造商的服务器获取并存储于记录部中的信息中读取并使用对应的信息。

第2处理器250将由第2图像处理引擎210生成的记录用图像记录于图像记录部260(步骤S116)。

接着，服务器200判别与数码相机100a的网络连接是否结束(步骤S118)，在网络连接未结束的情况下，过渡到步骤S104，在网络连接未结束的情况下，结束对该数码相机100a的在服务器200中的处理。

另一方面，在步骤S104中，若判别为数码相机100a的动作模式是播放模式，则服务器200由该数码相机100a摄影，生成记录在图像记录部260中的图像的缩略图像一览，并将缩略图像一览发送到数码相机100a(步骤S120)。另外，服务器200能够根据在步骤S102中获取的终端信息来确定与图像记录部260的数码相机100a对应的图像文件夹，并根据与保存在所确定的图像文件夹中的图像文件创建与数码相机100a对应的缩略图像一览。

接着，服务器200判别从数码相机100a是否接收播放请求(附有图像文件名的播放请求)(步骤S122)，若接收播放请求，则从图像记录部260读取与该播放请求对应的播放图像，并将所读取的播放图像发送到数码相机100a(步骤S124)。

[其他]

在摄像终端100是内置相机的智能手机100b的情况下，操作部是主要包括智能手机100b的画面、画面上的触摸面板、GUI(Graphical User Interface：图形用户界面)控制器的GUI，快门释放操作能够通过触摸快门按钮的图标来进行。

并且，在本实施方式中，摄像终端中的AF控制及AE控制由摄像终端单独进行，但从摄像终端接收连续数据的服务器可以根据该连续数据生成AF控制及AE控制所需控制信息，并将所生成的控制信息发送到摄像终端以进行摄像终端中的AF控制及AE控制。

服务器在物理上并不限定于一个服务器，也可以根据服务器中的处理内容由不同的服务器进行，即使是相同的处理内容，也可以由多个服务器协作进行。

并且，在本实施方式中，例如，如数码相机100a的第1处理器110、第1图像处理引擎122、服务器200的第2处理器250、第2图像处理引擎210那样，执行各种处理的处理部(processing unit)的硬件结构是如下所示的各种处理器(processor)。各种处理器中包括执行软件(程序)以作为各种处理部发挥功能的通用的处理器即CPU(Central ProcessingUnit/中央处理器)、FPGA(Field Programmable Gate Array/现场可编程门阵列)等制造后可变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：P LD)、ASIC(Application Specific Integrated Circuit/专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路等。

一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器(例如，多个FPGA、或CPU与FPGA的组合)构成。并且，可以由一个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，第一，如以客户端、服务器等计算机为代表，存在由一个以上的CPU和软件的组合来构成一个处理器，该处理器作为多个处理部发挥功能的方式。第二，如以片上系统(System On Chip：SoC)等为代表，存在使用由一个IC(Integrated Circuit：集成电路)芯片来实现包括多个处理部的整个系统的功能的处理器的方式。如此，各种处理部作为硬件结构，使用一个以上的上述各种处理器构成。

此外，更具体而言，这些各种处理器的硬件结构是将半导体元件等电路元件组合而成的电路(circuitry)。

并且，本发明并不限定于上述实施方式，当然，在不脱离本发明的精神的范围内可以进行各种变形。

符号说明

1-摄像系统，100-摄像终端，100-1-摄像终端，100-2-摄像终端，100-3-摄像终端，100-4-摄像终端，100a-数码相机，100b-智能手机,101-摄像部，102-摄影透镜，104-图像传感器，108-传感器驱动器，110-第1处理器，112-存储器，114-操作部，115-快门按钮，116-显示控制部，118-LCD，122-第1图像处理引擎，124-第1通信部，130-第1图像处理引擎，132-前端LSI，134-一次存储器，140-第1图像处理引擎，142-存储器控制器，144-一次存储器，146-即时预览引擎，150-第1图像处理引擎，152-前端LSI，154-一次存储器，200-服务器，202-第2通信部，210-第2图像处理引擎，220-一次图像处理电路，221-偏移处理电路，222-像素缺陷校正电路，223-色调校正电路，224-个体差校正电路，230-二次图像处理电路，231-WB校正电路，232-伽马校正电路，233-去马赛克处理电路，234-YC转换电路，235-轮廓强调电路，236-色差矩阵电路，237-压缩电路，239-前端LSI，240-一次存储器，250-第2处理器，260-图像记录部，300-网络，310-无线接入点，S10～S36、S50～S62、S100～S124-步骤。

Claims (28)

1.一种摄像系统，其由至少一个以上的摄像终端和服务器构成，

所述摄像终端具备：

摄像部，包括图像传感器，并输出摄像数据；

第1通信部，将从所述摄像部输出的所述摄像数据发送到所述服务器；

第1图像处理引擎，对从所述摄像部输出的所述摄像数据进行图像处理；及

存储器，保存由所述第1图像处理引擎图像处理后的图像，

所述服务器具备：

第2通信部，接收从所述摄像终端的所述第1通信部发送的所述摄像数据；及

第2图像处理引擎，其为对所述接收到的所述摄像数据进行图像处理并生成记录用图像的第2图像处理引擎，与所述摄像终端的所述第1图像处理引擎不同。

2.根据权利要求1所述的摄像系统，其中，

所述第2图像处理引擎根据连续接收到的所述摄像数据生成即时预览图像。

3.根据权利要求1或2所述的摄像系统，其中，

所述服务器将由所述第2图像处理引擎生成的所述记录用图像记录于图像记录部中。

4.根据权利要求1至3中任一项所述的摄像系统，其中，

所述第2图像处理引擎具有超过所述第1图像处理引擎的技术规格的技术规格。

5.根据权利要求4所述的摄像系统，其中，

所述第1图像处理引擎与所述第2图像处理引擎的图像处理性能不同。

6.根据权利要求1至5中任一项所述的摄像系统，其中，

相对于所述第2图像处理引擎，所述第1图像处理引擎可实施图像处理的每个像素的信息量少。

7.根据权利要求1至5中任一项所述的摄像系统，其中，

相对于所述第2图像处理引擎，所述第1图像处理引擎的灰度的位数或处理位数不同。

8.根据权利要求1至5中任一项所述的摄像系统，其中，

相对于所述第2图像处理引擎，所述第1图像处理引擎仅具有可实施图像处理的功能中的一部分功能。

9.根据权利要求1至5中任一项所述的摄像系统，其中，

相对于所述第2图像处理引擎，所述第1图像处理引擎的可实施图像处理的图像的像素数少。

10.根据权利要求1至5中任一项所述的摄像系统，其中，

相对于所述第2图像处理引擎，所述第1图像处理引擎具有热设计功率小的运算元件。

11.根据权利要求1至5中任一项所述的摄像系统，其中，

相对于所述第2图像处理引擎，所述第1图像处理引擎具有晶体管数少的运算元件。

12.根据权利要求1至5中任一项所述的摄像系统，其中，

相对于所述第2图像处理引擎，所述第1图像处理引擎的处理器内核的数量少。

13.根据权利要求1至5中任一项所述的摄像系统，其中，

相对于所述第2图像处理引擎，所述第1图像处理引擎具有动作时序频率低的运算元件。

14.根据权利要求1至5中任一项所述的摄像系统，其中，

相对于所述第2图像处理引擎，所述第1图像处理引擎具有额定动作电流值低的运算元件。

15.根据权利要求1至5中任一项所述的摄像系统，其中，

相对于所述第2图像处理引擎，所述第1图像处理引擎的缓存存储器容量小。

16.根据权利要求1至5中任一项所述的摄像系统，其中，

相对于所述第2图像处理引擎，所述第1图像处理引擎构成为可执行的命令数少。

17.根据权利要求1至5中任一项所述的摄像系统，其中，

相对于所述第2图像处理引擎，所述第1图像处理引擎构成为用于执行运算命令的运算单元数少。

18.根据权利要求1至5中任一项所述的摄像系统，其中，

所述第1图像处理引擎具有内置图形功能，所述第2图像处理引擎具有扩展图形功能。

19.根据权利要求1至18中任一项所述的摄像系统，其中，

所述摄像终端若接受基于用户操作的静止图像的摄影指示，则将摄影指示信息从所述第1通信部发送到所述服务器，

所述第2图像处理引擎若经由所述第2通信部接收所述摄影指示信息，则对连续的所述摄像数据中的与所述摄影指示信息对应的摄像数据进行图像处理，生成记录用静止图像。

20.根据权利要求1至19中任一项所述的摄像系统，其中，

所述摄像终端若接受基于用户操作的动态图像的记录指示或记录结束指示，则将记录指示信息或记录结束指示信息从所述第1通信部发送到所述服务器，

所述第2图像处理引擎若经由所述第2通信部接收所述记录指示信息或所述记录结束指示信息，则对从接收连续的所述摄像数据中的所述记录指示信息到接收所述记录结束指示信息为止的摄像数据进行图像处理，生成记录用动态图像。

21.根据权利要求1至20中任一项所述的摄像系统，其中，

所述摄像终端在与所述服务器开始通信时，将表示所述摄像终端的终端信息发送到所述服务器，

所述服务器若接收所述终端信息，则获取与所述接收到的终端信息对应的RAW显影信息，

所述第2图像处理引擎进行根据所述获取的所述RAW显影信息对所述摄像数据进行RAW显影的图像处理。

22.根据权利要求2所述的摄像系统，其中，

所述服务器将由所述第2图像处理引擎生成的所述即时预览图像经由第2通信部发送到所述摄像终端，

所述摄像终端若经由所述第1通信部从所述服务器接收所述即时预览图像，则使所述即时预览图像显示于所述摄像终端的显示器上。

23.根据权利要求1至22中任一项所述的摄像系统，其中，

所述第1图像处理引擎在所述摄像终端与所述服务器之间无法通信的期间运行。

24.根据权利要求1至23中任一项所述的摄像系统，其中，

所述第1图像处理引擎在所述摄像终端与所述服务器之间无法通信的期间，根据从所述图像传感器连续输出的所述摄像数据生成即时预览图像，

所述摄像终端在所述摄像终端与所述服务器之间无法通信的期间，使由所述第1图像处理引擎生成的所述即时预览图像显示于显示器上。

25.根据权利要求3所述的摄像系统，其中，

所述摄像终端与所述服务器进行通信，从所述服务器接收记录在所述图像记录部中的图像中的通过用户操作来指定的图像，使所述接收到的所述图像显示于显示器上或保存于所述存储器中。

26.一种摄像系统，其由至少一个以上的摄像终端和服务器构成，

所述摄像终端具备：

摄像部，包括图像传感器，并输出摄像数据；及

第1通信部，将从所述摄像部输出的所述摄像数据发送到所述服务器，

所述服务器具备：

第2通信部，接收从所述摄像终端的所述第1通信部发送的所述摄像数据；及

图像处理引擎，对所述接收到的所述摄像数据进行图像处理，生成记录用图像，

所述摄像数据的与所述图像传感器的一个像素对应的数据具有由模数转换电路转换的最大位数的灰度，

所述图像处理引擎根据连续接收到的所述摄像数据生成即时预览图像，

所述服务器将所述生成的所述即时预览图像经由所述第2通信部发送到所述摄像终端，

所述摄像终端若经由所述第1通信部从所述服务器接收所述即时预览图像，则使所述即时预览图像显示于所述摄像终端的显示器上。

27.一种摄像终端，其构成权利要求1至26中任一项所述的摄像系统。

28.一种服务器，其构成权利要求1至26中任一项所述的摄像系统。