CN1765122A - 改进型移动相机电话 - Google Patents

改进型移动相机电话 Download PDF

Info

Publication number
CN1765122A
CN1765122A CNA038263084A CN03826308A CN1765122A CN 1765122 A CN1765122 A CN 1765122A CN A038263084 A CNA038263084 A CN A038263084A CN 03826308 A CN03826308 A CN 03826308A CN 1765122 A CN1765122 A CN 1765122A
Authority
CN
China
Prior art keywords
camera
image
phone
mobile camera
application processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA038263084A
Other languages
English (en)
Inventor
阿米特·达特塔
进一畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN1765122A publication Critical patent/CN1765122A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种移动相机电话，包括：相机模块，用于摄取图像并且提供RGB格式的数字数据；以及应用处理器，包括用于控制电话操作的CPU以及安排用于对从相机模块接收到的RGB格式的数字数据执行相机图像处理的硬件。一种利用移动相机电话记录图像的方法，包括以下步骤：在移动相机电话的第一相机部件摄取图像；将RGB格式的数字数据从移动相机电话的第一部件发送到第二应用处理部件；以及，在应用处理部件中，对RGB格式的数字数据进行图像处理以产生用于查看的图像，并且控制该图像在电话中的储存。

Description

改进型移动相机电话
技术领域
本发明的实施例涉及移动相机电话。也就是一种移动设备其可用作数字相机以及用作移动无线电通信设备。
背景技术
图1为传统移动相机电话10的示意性图解。电话10包括，作为不同部件的，光学系统和图像传感器12，相机协处理器14以及应用处理器16。光学系统和图像传感器12摄取图像并且产生代表图像的数字输出11。相机协处理器14是一个芯片，其使用一个专用优化图像处理硬件加速器处理数字数据11，以产生图像数据13。应用处理器16是电话的中央处理单元(CPU)。其控制着电话的操作以及，特别地，输入、输出以及电话上可用的用户应用。应用处理器16，例如，控制着存储设备例如SDRAM 2和多媒体存储卡4，其中可以存储图像数据13。应用处理器可以控制数字基带电路(DSP)6，该数字基带电路可被用以处理由电话10进行的通信。在另一个实现中，电话10具有另外的处理器，专用于控制数字基带电路6。
移动电话功能和移动相机功能由分离的部件执行。光学系统和图像传感器12以及相机协处理器芯片14提供移动相机功能，并且可以作为整合到电话10主体上的单独模块或芯片18被提供。应用处理器16是另一模块或芯片，其提供了移动电话功能，并且可以提供图像储存以及回放功能。
希望能够改进移动相机电话的体系结构。
发明内容
根据本发明的一个方面，提供了一种移动相机电话，包括：相机模块，用于摄取图像并且提供RAW格式的数字数据；以及应用处理器，包括用于控制电话操作的CPU以及安排用于对从相机模块接收到的RAW格式的数字数据执行相机图像处理的硬件。
根据本发明的另一个方面，提供了一种利用移动相机电话记录图像的方法，包括以下步骤：在移动相机电话的第一相机部件摄取图像；将RAW格式的数字数据从移动相机电话的第一相机部件发送到第二应用处理部件；并且，在第二应用处理部件，对RAW格式的数字数据进行图像处理以产生用于查看的图像，并且控制该图像在电话中的储存。
“RAW”格式意味着将从图像传感器，例如CMOS传感器或是CCD传感器中输出的模拟数据进行数字化而获得的数据格式。
用于查看或是储存的图像通常为RGB格式、YUV格式，或是压缩格式诸如JPEG或是TIFF。
因此本发明的实施例具有数目减少的用于相机模块的部件。现有技术的相机模块的成像协处理器的功能已经被作为硬件或是软件整合到了应用处理器中。因此减少了相机模块的尺寸和成本。
根据本发明的一些实施例，相机模块包括缩减装置，用于缩减所提供的数字数据的尺寸。这就避免了对于相机模块和应用处理器之间昂贵的宽带宽接口的需要。
附图说明
为了更好地理解本发明，现仅参考附图作为例子，其中：
图1为传统移动相机电话10的示意性图解；
图2和图3为根据本发明第一实施例的移动相机电话20的示意性图解；
图4表示了本发明一个可选实施例；以及
图5表示了本发明的又一个可选实施例。
具体实施方式
附图表示了一种移动相机电话20，包括：
相机模块28，用于摄取图像并提供RAW格式的数字数据11；以及应用处理器26，包括用于控制电话操作的CPU 26a，以及安排用于对从相机模块接收到的RAW格式的数字数据执行相机图像处理以产生图像数据13的硬件26b，该图像数据适于在数字显示器上进行查看。图像数据13在CPU 26a的控制下进行储存。
RAW格式意味着将从图像传感器，例如CMOS传感器或是CCD传感器中输出的模拟数据进行数字化而获得的数据格式。
用于查看或是储存的数据图像可以为RGB格式、YUV格式，或是压缩格式，例如JPEG或是TIFF格式。
图2和图3是根据本发明第一实施例的移动相机电话20的示意性图解。电话20包括，作为不同部件的，光学系统和图像传感器12以及应用处理器26。该应用处理器26是一个单独芯片。其具有一个用作电话20的CPU的CPU块26a，一个用作相机图像处理器的相机图像处理块26b，以及到存储装置SDRAM 2和存储卡4的接口26c。该应用处理器26可以是一个片上系统(SOC)。
光学系统和图像传感器12是相机模块28的一部分。光学系统和图像传感器12包括镜头12a、图像传感器块12b以及模数转换器(ADC)块12c。其摄取图像并产生代表图像的数字输出11。该数字输出11为Bayer数据，其为对应于使用在图像传感器12上的色彩滤镜的RGB色彩数据。“原始的”数字输出11通过经相机模块28以及应用处理器26之间的接口27。
应用处理器26利用相机图像处理块26b提供的专用的图像处理能力处理数字数据11，以产生图像数据13。应用处理器26包括电话的中央处理单元(CPU)块26a，其控制着电话的操作以及，特别是，输入、输出以及电话上可用的用户应用。应用处理器26，例如，控制着诸如SDRAM 2和多媒体存储卡4的存储设备，其中可以存储图像数据13。应用处理器还提供对数字基带电路6的某些控制，该数字基带电路可用来处理经由电话10进行的通信。
移动电话功能和移动相机功能实质上由同一个部件执行，即位于相机图像处理块26b内的应用处理器26(在另外的实施例中某些移动电话功能可以由另一处理器执行)。光学系统和图像传感器12作为简单的小而廉的模块28被提供用以整合到电话20的主体。在本实施例中，提供了移动相机图像摄取功能以及A/D转换，但是没有提供进一步的图像处理功能以构建用以在显示器上查看或是在存储器中储存的最终图像。应用处理器26提供移动相机数据处理功能以及移动电话控制功能。
应用处理器26的相机图像处理功能可以在应用处理器26内，由专用的与CPU处理器相分离的硬连接流水线(hard-wired pipeline)处理器提供，或者由可以是CPU扩展的专用可编程硬件加速器提供。可编程硬件加速器的优势在于，其可以通过编程而适于与不同的图像传感器模块28一起工作。可编程硬件加速器的一种类型是SIMD(单一指令多数据)处理加速器，其适宜相机图像处理。
图像处理可以包括：缺陷修正、增益控制、黑电平偏移匹配、白平衡、伽玛控制、CFA内插以及色彩空间转换、边界加强以及数据压缩。不必按照上面的次序执行操作。
应用处理器26的相机图像处理模块26b在图像处理操作时可以涉及CPU块26a和/或数字基带电路(DSP)6。
图4表示本发明的另一个实施例。在经过接口27被发送之前将数字数据11缩减尺寸，使得接口27的带宽变得较小。在图4的例子中，数字数据11的位深度(bit depth)从ADC 12c的输出处的10比特，减小到其通过接口27时的8比特。本例中，比特缩减是作为伽玛修正的部分由伽玛修正块30执行的。伽玛修正的图像处理功能在相机模块28中由伽玛修正块30执行，而不是由应用处理器26的相机图像处理块26b执行。
模块28执行一些有限的图像处理，然而大部分的图像处理是由应用处理器26的相机图像处理块26b完成的。模块28仍为简单且小而廉的模块并且能轻易整合到电话20的主体中。模块28提供移动相机图像摄取功能、A/D转换、数据带宽缩减，并且可以提供某些有限的图像处理功能(伽玛修正)。应用处理器26提供大部分的相机数据处理功能以构建最终图像数据以及移动电话控制功能。并且，本实施例中接口27的带宽可以小于图3所示的在前实施例中的接口的带宽。
应用处理器26的相机图像处理功能可以在应用处理器26内，由与CPU处理器相分离的专用硬连接流水线处理器提供，或者由可以是CPU扩展的专用可编程硬件加速器提供。
应用处理器26的相机图像处理块26b在图像处理操作中可以涉及CPU块26a和/或DSP 6。
图5表示对参照图4所描述的本发明的可选实施例的修改。数字数据11在通过接口11发送之前先被无损压缩块32进行无损压缩。在图5的例子中，数字数据的位深度首先从ADC 12c的输出处的10比特，通过伽玛修正块30减小到8比特。之后，经过伽玛修正后的数字数据在被作为数字数据11通过接口27发送之前由压缩块32进行无损压缩。在本例中，接口27的带宽可以小于图4所示实施例中的接口的带宽。
由应用处理器26的相机图像处理块26b执行的相机图像处理还包括在图像处理发生之前由解压缩块34在接口27处进行的无损解压缩。
模块28执行数据压缩，并且可能执行一些有限的图像处理，但是大部分的处理都由应用处理器26的相机图像处理块26b完成。模块28仍为简单且小而廉的模块，并且能轻易整合到电话20的主体中。模块28提供移动相机图像摄取功能，由无损压缩实现的数据带宽缩减，以及可以提供某些有限的图像处理功能(伽玛修正)。应用处理器26提供无损解压缩，以及至少大部分的移动相机数据处理功能，以及移动电话控制功能。
应用处理器26的相机图像处理功能可以在应用处理器26内，由与CPU处理器相分离的专用硬连接流水线处理器提供，或者由可以是CPU扩展的专用可编程硬件加速器提供。
应用处理器26的相机图像处理模块26b在图像处理操作中可以涉及CPU块26a和/或DSP 6。
模块可以被整合到电话的主体上或可以是用户可装/卸于电话主体上的。
虽然在之前的段落里参照各种例子对本发明的实施例进行了描述，但是应当理解的是，对于所给出的例子可以作出修改而不背离本发明的精神或范围。
尽管在上述的说明书中将注意力集中到了这些确信具有特殊重要性的发明特征上，然而应当理解的是，无论是否作出了特别的强调，申请人意欲对之前所提到的和/或是显示在附图中的，任何具有专利性的特征或是特征的组合寻求保护。

Claims (14)

1.一种移动相机电话，包括：
相机模块，用于摄取图像并且提供RAW格式的数字数据；以及
应用处理器，包括用于控制所述电话操作的CPU以及安排用于对从所述相机模块接收到的RAW格式的所述数字数据执行相机图像处理的硬件。
2.如权利要求1所述的移动相机电话，其中所述相机模块仅包括光学系统、图像传感器以及模数转换器，并且没有图像处理设施。
3.根据权利要求1或2的移动相机电话，其中所述数字数据为图像传感器的数字化输出。
4.根据权利要求1的移动相机电话，其中所述相机模块包括用于缩减所提供的数字数据的尺寸的缩减装置。
5.根据权利要求4的移动相机电话，其中所述缩减装置涉及位深度缩减。
6.根据权利要求4或5的移动相机电话，其中所述缩减装置涉及无损压缩，且所述应用处理器包括用于图像处理前的无损解压缩的装置。
7.根据权利要求1以及4到6的任一项的移动相机电话，其中所述相机模块进一步包括用于预定的并有限的图像处理的装置。
8.根据权利要求1以及4到7的任一项的移动相机电话，其中所述相机模块进一步包括用于在数字数据被提供给所述应用处理器之前对其进行伽玛修正的伽玛修正装置。
9.根据权利要求1以及4到8的任一项的移动相机电话，其中所述应用处理器执行除了伽玛修正之外的相机图像处理。
10.根据权利要求1以及4到6的任一项的移动相机电话，其中所述应用处理器为一个片上系统。
11.根据前述权利要求的任一项的移动相机电话，其中所述应用处理器包括用于相机图像处理的硬连接流水线处理器。
12.根据前述权利要求的任一项的移动相机电话，其中所述应用处理器包括可编程硬件加速器。
13.根据权利要求12的移动相机电话，其中所述可编程的硬件加速器是SIMD处理加速器，其被优化用于相机图像处理。
14.一种利用移动相机电话记录图像的方法，包括以下步骤：
在所述移动相机电话的第一相机部件中摄取图像；将RAW格式的数字数据从所述移动相机电话的所述第一相机部件发送到第二应用处理部件；并且，在所述第二应用处理部件中，对RAW格式的所述数字数据进行图像处理以产生用于查看的图像，并且控制该图像在所述电话中的储存。
CNA038263084A 2003-04-17 2003-04-17 改进型移动相机电话 Pending CN1765122A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2003/002018 WO2004093438A1 (en) 2003-04-17 2003-04-17 An improved mobile camera telephone

Publications (1)

Publication Number Publication Date
CN1765122A true CN1765122A (zh) 2006-04-26

Family

ID=33187203

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA038263084A Pending CN1765122A (zh) 2003-04-17 2003-04-17 改进型移动相机电话

Country Status (6)

Country Link
US (1) US20060221230A1 (zh)
EP (1) EP1614282A1 (zh)
JP (1) JP2006514501A (zh)
CN (1) CN1765122A (zh)
AU (1) AU2003232964A1 (zh)
WO (1) WO2004093438A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103327031A (zh) * 2013-07-11 2013-09-25 成都西可科技有限公司 一种基于mtp解析raw格式图像文件协议流的方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040263651A1 (en) * 2003-06-30 2004-12-30 Shin Kazunobu Method and system for printing images captured by a mobile camera telephone
JP4625685B2 (ja) * 2004-11-26 2011-02-02 株式会社東芝 固体撮像装置
KR20060088758A (ko) * 2005-02-02 2006-08-07 삼성전자주식회사 이동 통신 단말의 ｐｔｔ 화상 통신 방법 및 시스템
JP4196963B2 (ja) * 2005-03-25 2008-12-17 セイコーエプソン株式会社 電子装置及び無線通信端末
EP1798964A1 (en) * 2005-12-16 2007-06-20 STMicroelectronics (Research & Development) Limited Image sensor coprocessor
US8237830B2 (en) * 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
CN104702926B (zh) * 2007-04-11 2017-05-17 Red.Com 公司 摄像机
KR101543765B1 (ko) 2009-05-29 2015-08-11 삼성전자주식회사 카메라 유닛 및 이를 갖는 멀티미디어 정보기기
US8648932B2 (en) * 2009-08-13 2014-02-11 Olive Medical Corporation System, apparatus and methods for providing a single use imaging device for sterile environments
WO2011120014A1 (en) 2010-03-25 2011-09-29 Olive Medical Corporation System and method for providing a single use imaging device for medical applications
KR20110133699A (ko) * 2010-06-07 2011-12-14 삼성전자주식회사 휴대용 단말기의 이미지 획득 장치 및 방법
EP2708022B1 (en) 2011-05-12 2019-07-31 DePuy Synthes Products, Inc. Pixel array area optimization using stacking scheme for hybrid image sensor with minimal vertical interconnects
US20120293546A1 (en) * 2011-05-18 2012-11-22 Tomi Lahcanski Augmented-reality mobile communicator with orientation
KR101279576B1 (ko) 2011-06-15 2013-06-27 삼성테크윈 주식회사 디지털 영상 처리 장치에서의 파노라마 영상 생성 방법
US9288413B2 (en) * 2012-07-12 2016-03-15 Gopro, Inc. Image capture accelerator
WO2014018948A2 (en) 2012-07-26 2014-01-30 Olive Medical Corporation Camera system with minimal area monolithic cmos image sensor
WO2014127153A1 (en) 2013-02-14 2014-08-21 Red. Com, Inc. Video camera
EP2967286B1 (en) 2013-03-15 2021-06-23 DePuy Synthes Products, Inc. Minimize image sensor i/o and conductor counts in endoscope applications
US10517469B2 (en) 2013-03-15 2019-12-31 DePuy Synthes Products, Inc. Image sensor synchronization without input clock and data transmission clock
DE102013209940A1 (de) * 2013-05-28 2014-12-04 Conti Temic Microelectronic Gmbh Kamerasystem für Fahrzeuge
JP6399749B2 (ja) * 2013-12-19 2018-10-03 キヤノン株式会社 撮像装置および撮像システム
US10489878B2 (en) 2017-05-15 2019-11-26 Google Llc Configurable and programmable image processor unit
JP7313330B2 (ja) 2017-07-05 2023-07-24 レッド．コム，エルエルシー 電子機器でのビデオ画像データ処理

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10340128A (ja) * 1997-06-10 1998-12-22 Hitachi Ltd データ処理装置及び移動体通信端末装置
DE20080319U1 (de) * 1999-06-30 2002-05-16 Logitech Inc Videokamera, bei der die Hauptfunktionen in der Hauptrechnersoftware implementiert werden
JP4333023B2 (ja) * 2000-11-24 2009-09-16 ソニー株式会社 デジタル信号処理回路、これを用いた表示装置および液晶プロジェクタ
US6895256B2 (en) * 2000-12-07 2005-05-17 Nokia Mobile Phones Ltd. Optimized camera sensor architecture for a mobile telephone
FI109391B (fi) 2000-12-08 2002-07-15 Nokia Corp Menetelmä ja laite tiedonsiirtoon
JP3392831B2 (ja) * 2001-04-03 2003-03-31 三洋電機株式会社 折畳式通信端末装置および撮影制御方法
KR20040011275A (ko) * 2002-07-30 2004-02-05 엘지전자 주식회사 휴대용 영상단말기의 카메라 구조
US7388605B2 (en) * 2002-11-12 2008-06-17 Hewlett-Packard Development Company, L.P. Still image capturing of user-selected portions of image frames

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103327031A (zh) * 2013-07-11 2013-09-25 成都西可科技有限公司 一种基于mtp解析raw格式图像文件协议流的方法

Also Published As

Publication number Publication date
AU2003232964A1 (en) 2004-11-04
WO2004093438A1 (en) 2004-10-28
JP2006514501A (ja) 2006-04-27
EP1614282A1 (en) 2006-01-11
US20060221230A1 (en) 2006-10-05

Similar Documents

Publication Publication Date Title
CN1765122A (zh) 改进型移动相机电话
JP3096618B2 (ja) 撮像装置
US7847833B2 (en) Digital camera device providing improved methodology for rapidly taking successive pictures
US7388992B2 (en) Digital photographic device for controlling compression parameter of image data and method of deciding compression parameter value of image data
CN101031021A (zh) 图像拍摄设备、成像电路、和图像拍摄方法
WO2000075859A1 (en) Improved digital camera device and methodology for distributed processing and wireless transmission of digital images
JP5793716B2 (ja) 撮像装置
JP2008543203A (ja) 圧縮された未加工の画像を使用する画像プロセッサのための一時的画像バッファ
US20060126954A1 (en) Image compression apparatus and method capable of varying quantization parameter according to image complexity
CN1697483A (zh) 图像显示装置
KR101009108B1 (ko) 화상 처리 장치 및 화상 처리 방법
CN1638436A (zh) 在具有照相机的装置中将拍摄的图像与背景屏合成的方法
CN1276643C (zh) 图像合成装置及图像合成方法
CN1893706A (zh) 用于在移动通信终端中处理jpeg数据的方法和设备
JPWO2004004361A1 (ja) 情報端末
KR20000057992A (ko) 디지털 스틸 카메라용 화상 파이프라인 처리 시스템
EP1308888A1 (en) A method of processing digital images
KR100848589B1 (ko) 휴대용 카메라폰, 이미지 레코딩 방법 및 카메라 모듈
JP2006311435A (ja) 画像処理装置、撮像装置、画像処理システム
CN114298889A (zh) 图像处理电路和图像处理方法
CN1255984C (zh) 图象处理装置及照相机、以及图象处理方法
CN1276675C (zh) 带有摄像头的移动通信终端装置
CN1889638A (zh) 图像传感器及应用该图像传感器的计算机系统
CN2666061Y (zh) 带有摄像头的移动通信终端装置
CN1295939C (zh) 多功能图像处理器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20060426