JP2007166009A - 撮像装置、撮像画像処理方法及びプログラム - Google Patents

撮像装置、撮像画像処理方法及びプログラム Download PDF

Info

Publication number
JP2007166009A
JP2007166009A JP2005356394A JP2005356394A JP2007166009A JP 2007166009 A JP2007166009 A JP 2007166009A JP 2005356394 A JP2005356394 A JP 2005356394A JP 2005356394 A JP2005356394 A JP 2005356394A JP 2007166009 A JP2007166009 A JP 2007166009A
Authority
JP
Japan
Prior art keywords
image
imaging
correction
captured
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005356394A
Other languages
English (en)
Other versions
JP4344888B2 (ja
Inventor
Mitsusachi Akazawa
光幸 赤澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Hitachi Mobile Communications Co Ltd
Original Assignee
Casio Hitachi Mobile Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Hitachi Mobile Communications Co Ltd filed Critical Casio Hitachi Mobile Communications Co Ltd
Priority to JP2005356394A priority Critical patent/JP4344888B2/ja
Priority to US11/635,149 priority patent/US7777785B2/en
Priority to KR1020060123631A priority patent/KR100855829B1/ko
Priority to CNB200610164098XA priority patent/CN100428779C/zh
Publication of JP2007166009A publication Critical patent/JP2007166009A/ja
Application granted granted Critical
Publication of JP4344888B2 publication Critical patent/JP4344888B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4092Edge or detail enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/58Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】 被写体を略同じ撮像角度で撮像した撮像画像を台形補正処理する際の操作性の向上及び処理時間の短縮を図る。
【解決手段】本発明に係る携帯電話機によれば、CPU7は、連写モードにより連続して撮像された複数の撮像画像のうち、一の撮像画像から被写体の輪郭領域を抽出し、抽出された輪郭領域に基づいて台形補正時に使用する補正データを算出し、連続して撮像された複数の撮像画像のそれぞれに対し、この算出された補正データを用いて各撮像画像に含まれる被写体画像の歪みを補正する台形補正処理を施す。
【選択図】図3

Description

本発明は、撮像画像の台形補正処理を行う撮像装置、撮像画像処理方法及びプログラムに関する。
会議等においてホワイトボートやプロジェクターの画像を被写体として撮像を行うと、撮像角度により矩形の被写体が台形状に歪んだ画像となってしまうことがある。このような事情を考慮して、従来、撮像された画像から四角形領域を輪郭抽出し、抽出された四角形の輪郭領域の形状を矩形に補正することにより、撮像画像に含まれる被写体画像の歪みを補正する台形補正処理機能を備えた撮像装置が知られている(例えば、特許文献1参照)。
特開2005−143092号公報
ところで、連写撮像等、同一被写体をごく短い期間に連続して複数回撮像する場合、各撮像における被写体に対する撮像角度は略同じとなる。また、会議等において同じ席からホワイトボードやプロジェクターの画像を撮像した場合においても、略同じ撮像角度での撮像となる。しかしながら、従来、同一被写体を略同じ撮像角度で撮像した画像について台形補正処理を行う場合においても、一枚一枚の画像について台形補正処理実行の操作や、台形補正処理の前段で必要な四角形領域の輪郭抽出処理を行っていたので、手間がかかるとともに、処理時間がかかるという問題があった。
本発明の課題は、被写体を略同じ撮像角度で撮像した撮像画像を台形補正処理する際の操作性の向上及び処理時間の短縮を図ることである。
上記課題を解決するため、請求項1に記載の発明の撮像装置は、
被写体の光学画像を電気信号に変換して撮像画像を取得する撮像手段と、
前記撮像手段により同一の被写体について取得された複数の撮像画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された前記複数の撮像画像の何れか一の撮像画像に対して、当該一の撮像画像に含まれる被写体の輪郭領域を抽出する抽出手段と、
前記抽出手段により抽出された輪郭領域を略矩形形状に補正し、且つ該補正した際に導出された補正データを用いて、前記画像記憶手段に記憶されている同一の被写体の他の画像に対して略矩形形状に補正を行う台形補正手段と、
を備えたことを特徴としている。
請求項2に記載の発明は、請求項1に記載の発明において、
前記複数の撮像画像は、前記撮像手段により同一の被写体を連続的に撮像して得られた複数の画像であることを特徴としている。
請求項3に記載の発明は、請求項1に記載の発明において、
前記複数の撮像画像は、指定された撮像期間内に前記撮像手段により同一の被写体を略同一の撮像角度から複数回撮像して前記画像記憶手段に含まれる特定の画像記憶領域に記憶された一連の画像であることを特徴としている。
請求項4に記載の発明の撮像画像処理方法は、
被写体の光学画像を電気信号に変換して撮像画像を取得する撮像ステップと、
前記撮像ステップにより同一の被写体について取得された複数の撮像画像を記憶装置に記憶させる画像記憶ステップと、
前記画像記憶ステップにより記憶された前記複数の撮像画像の何れか一の撮像画像に対して、当該一の撮像画像に含まれる被写体の輪郭領域を抽出する抽出ステップと、
前記抽出ステップにより抽出された輪郭領域を略矩形形状に補正し、且つ該補正した際に導出された補正データを用いて、前記画像記憶ステップにより記憶された同一の被写体の他の画像に対して略矩形形状に補正を行う台形補正ステップと、
を含むことを特徴としている。
請求項5に記載の発明は、
被写体を含む光学画像を電気信号に変換して撮像画像を取得する撮像手段を備えた撮像装置を制御するためのコンピュータに、
前記撮像手段により同一の被写体について取得された複数の撮像画像を記憶装置に記憶させる画像記憶機能と、
前記画像記憶機能により記憶された前記複数の撮像画像の何れか一の撮像画像に対して、当該一の撮像画像に含まれる被写体の輪郭領域を抽出する抽出機能と、
前記抽出機能により抽出された輪郭領域を略矩形形状に補正し、且つ該補正した際に導出された補正データを用いて、前記画像記憶機能により記憶された同一の被写体の他の画像に対して略矩形形状に補正を行う台形補正機能と、
を実現させるためのプログラムであることを特徴としている。
請求項1、4、5に記載の発明によれば、同一の被写体について複数の撮像画像が取得された場合に、取得された複数の撮像画像の何れか一の撮像画像に対して、その一の撮像画像に含まれる被写体の輪郭領域を抽出し、抽出された輪郭領域を略矩形形状に補正し、且つ補正した際に導出された補正データを用いて同一の被写体について取得された他の撮像画像を略矩形形状に補正する台形補正処理を施す。従って、従来のように、一枚一枚の画像について台形補正処理実行の操作を行ったり、一枚一枚の画像について台形補正処理の前段で必要な四角形の輪郭抽出処理を行ったり補正データの導出を行ったりする必要がなくなり、台形補正処理における操作性の向上及び処理時間の短縮を図ることが可能となる。
請求項2に記載の発明によれば、同一の被写体を連続的に撮像して得られた複数の画像について台形補正処理を施す際の操作性の向上及び処理時間の短縮を図ることが可能となる。
請求項3に記載の発明によれば、指定された撮像期間内に同一の被写体を略同一の撮像角度から複数回撮像して得られた一連の画像に台形補正処理を施す際の操作性の向上及び処理時間の短縮を図ることが可能となる。
以下、図を参照して、本発明の実施の形態を詳細に説明する。
本発明の実施の形態においては、本発明に係る撮像装置を携帯電話機1に適用した場合を例にとり説明するが、デジタルカメラ、撮像機能付きのPDA(Personal Digital Assistance)等に適用してもよい。
〔第1の実施の形態〕
まず、構成を説明する。
図1に、本実施の形態における携帯電話機1の外観図を示す。
携帯電話機1は、図1に示すように本体が2分割され、その中央部に設けられた連結機構により折り畳み可能に構成されている、いわゆる折り畳み式の携帯電話機である。
携帯電話機1を開いたその正面には、図1(a)に示すように、メイン表示部8a、キー入力部9が設けられている。メイン表示部8aは、操作画面や画像等を表示するディスプレイであり、ユーザが携帯電話機1の操作時に主に使用するディスプレイである。
また、キー入力部9は、決定操作を行うための決定キー91、カーソル操作を行うための十字キー92、数字、文字等の入力を行うためのテンキー93、通話の開始及び終了を指示するためのオフフックキー(通話開始ボタン)94、オンフックキー(通話終了ボタン)95の他、カメラモード起動のためのカメラキー96、メニュー操作を行うためのメニューキー97等の各種機能キーを備えている。さらに、携帯電話機1の側面に、撮像の指示操作を行うための撮像キー98が設けられている。
また、メイン表示部8aの上部には受話スピーカ5が設けられており、キー入力部9の下部には送話マイク6が設けられている。
携帯電話機1の背面には、図1(b)に示すように、サブ表示部8b及び撮像部10の撮像レンズ10aが設けられている。サブ表示部8bは、携帯電話機1を折り畳んだ際に補助的に使用されるディスプレイである。
図2に、携帯電話機1の機能構成例を示す。
図2に示すように、携帯電話機1は、アンテナ2、無線通信部3、音声処理部4、受話スピーカ5、送話マイク6、CPU7、表示部8、キー入力部9、撮像部10、鳴音駆動部11、スピーカ12、ROM13、RAM14、メモリ15等を備える。
無線通信部3は、アンテナ2を介して図示しない無線基地局から受信した無線通信信号を復調処理し、復調したベースバンド信号(デジタル信号)から通信制御データ、音声データ、通信データ等を取得する。この音声データは、音声処理部4を介してアナログ音声信号に変換され受話スピーカ5に出力される。また、通信データは、CPU7に読み込まれ、一時記憶メモリであるRAM14に出力される。一方、送話マイク6より入力されたアナログ音声信号が音声処理部4で所定のアルゴリズムによりコード化され音声データとして無線通信部3に出力されると、無線通信部3は、音声データに通信制御データ等を付加したベースバンド信号(デジタル信号)を変調処理し、アンテナ2を介して図示しない無線基地局に送信する。
音声処理部4は、無線通信部3を介して入力された音声データをデコード(伸張処理)し、さらにアナログ音声信号に変換したのち、受話スピーカ5を介して出力する一方、送話マイク6を介して入力されたアナログ音声信号をコード化(圧縮処理)して音声データに変換して無線通信部3へ出力する。
CPU7は、ROM13に記憶されている各種プログラムの中から指定されたプログラムを読み出し、RAM14内のワークエリアに展開し、上記プログラムとの協働によって各種処理を実行し、その処理結果をRAM14の所定の領域に格納するとともに、表示部8に表示させる。
表示部8は、図1(a)に示すメイン表示部8a、図1(b)に示すサブ表示部8bを備えて構成され、CPU7からの表示指示に基づいて、各種プログラムの処理により得られた表示データを表示する。
キー入力部9は、図1(a)に示す決定キー91、十字キー92、テンキー93、オフフックキー94、オンフックキー95、カメラモード起動のためのカメラキー96、メニュー操作を行うためのメニューキー97等の各種機能キーを備えて構成され、ユーザによるキー操作に応じた操作信号をCPU7に出力する。
撮像部10は、図1(b)に示す撮像レンズ10a、CCD(Charge Coupled Device)、CMOS(Complementary Metal-Oxide Semiconductor)等の光電変換素子、A/D変換部等を備えている。撮像部10では、撮像レンズ10aにより取り込まれた光学像を光電変換素子により画像信号に変換し、この画像信号をA/D変換部によりデジタル画像データに変換し、撮像画像データを取得する。
鳴音駆動部11は、携帯電話機1の着信時等にCPU7からの鳴音指示により鳴音信号をスピーカ12に出力し、鳴音によりユーザに通話やメールの着信等を報知する。
ROM13は、CPU7により実行される各種プログラムや、プログラムの実行必要なパラメータ、データ等を記憶している。
RAM14は、CPU7により実行される各種プログラム及びこれらプログラムに係わるデータを一時的に記憶するワークエリアを形成する。
メモリ15は、電気的に内容を消去したり書き換えたりすることができる、半導体のメモリ等で構成され、CPU7から書き込まれた各種情報を記憶する。メモリ15は、画像メモリ151を有し、撮像部10において撮像された画像データや受信された画像データを画像メモリ151に記憶する。
次に、第1の実施の形態における携帯電話機1の動作について説明する。
図3は、携帯電話機1において実行される連写画像台形補正処理の流れを示すフローチャートである。当該処理は、CPU7とROM13に記憶された当該連写画像台形補正処理プログラムとの協働によるソフトウエア処理により実現される処理である。
携帯電話機1が着信待受状態であるときに、カメラキー96の操作が検出されると、ROM13に記憶された撮像用プログラムがRAM14にロードされてCPU7より実行されることによりカメラモードが起動され(ステップS1)、撮像部10による画像取り込みが開始され、取り込まれた画像(以下、スルー画像という。)がメイン表示部8aに表示される(ステップS2)。次いで、メニューキー97及びこれに続く十字キー92や決定キー91等の、連写モードへの移行を指示するキー操作が検出され(ステップS3)、撮像キー98の操作が検出されると、撮像部10において、同一被写体を予め設定された複数回数(ここでは、9枚)連続的に撮像する連写撮像が行われる(ステップS4)。
撮像部10において連写撮像により取得された一連の撮像画像の画像データは、RAM14に一時的に記憶され、メイン表示部8aの連写画像表示画面81に表示される(ステップS5)。なお、本実施の形態において、撮像部10において連写撮像により取得された一連の撮像画像の画像データを記憶する画像記憶手段をRAM14としているが、画像メモリ151に記憶することとしてもよい。
図4に、ステップS5においてメイン表示部5aに表示される連写画像表示画面81の一例を示す。図4は、例えば、連写により矩形形状の物体、例えば、ホワイトボードや書面資料等を被写体として連写撮像した場合の連写画像表示画面81を示している。図4においては、被写体を正面から撮像できず、撮像画像中の被写体が台形形状に歪んでいる。連写撮像では、一般的に、同じ撮像位置から略同一の撮像角度で同一の被写体を複数回連続して撮像するため、図4に示すように、連写により得られた撮像画像に含まれる被写体の画像は、歪みがある場合、同じように歪んだ画像となる。
連写画像表示画面81の表示後、メニューキー97及びこれに続く十字キー92や決定キー91の操作等の台形補正処理実行を指示するキー操作が検出されると(ステップS6)、台形補正処理が実行される。台形補正処理においては、まず、RAM14に一時的に記憶されている一連の撮像画像データのうち、一の撮像画像データ(ここでは、一枚目の撮像画像データとする)について、撮像画像に含まれる被写体の輪郭領域を抽出する輪郭抽出処理が施される(ステップS7)。輪郭抽出処理は、例えば直線を検出するためのテンプレートやフィルタを用いて直線認識を行い、この認識された直線の連続性を検出して四角形に閉じた形状の領域(輪郭領域)を抽出する。四角形に閉じた形状が複数存在する場合には、複数の輪郭領域が抽出される。抽出された輪郭領域(輪郭候補)は撮像画像とともにメイン表示部8aの輪郭候補表示画面82に表示される(ステップS8)。
図5に、輪郭候補表示画面82の一例を示す。図5に示す輪郭候補表示画面82においては、実線で示される輪郭候補Aと、点線で示される輪郭候補Bの2つの輪郭候補が抽出された場合を示している。十字キー92によるカーソル操作により輪郭候補のうち被写体に対応する何れか一つの輪郭候補が選択され、決定キー91により決定されると(ステップS9)、選択された輪郭候補の輪郭領域を補正基準とし、座標変換によりその補正基準の輪郭領域を略矩形形状に補正するための補正データを算出(導出)し、算出された補正データを用いて撮像画像の各画素に座標変換を行うことで、撮像画像に含まれる被写体画像の歪みを補正する台形補正処理が施される(ステップS10)。なお、ユーザが十字キー92のカーソル操作や決定キー91の操作により、補正基準となる四角形領域の四隅を選択し、選択された四隅を結ぶ輪郭を台形補正処理の基準としてもよい。
台形補正処理は、例えば、原画(撮像画像)の各画素の座標をP(x、y)、台形補正処理後の処理画像における各画素の座標をQ(x、y)としたとき、補正後の処理画像は次式により求めることができる。
Q(x、y)=P(ax+b、cy+d)・・・(1)
ここで、a、b、c、dは座標変換時の伸張の係数であり、補正基準となる四角形領域の形状に基づいて算出される補正データである。
上記の式(1)に原画の各画素の座標値P(x、y)を入力することにより、処理画像を求めることができる。また、射影変換を用いて座標変換を行う方法を用いてもよい(例えば、特開2005−115711号公報)。
輪郭候補を補正基準とした台形補正処理が施されると、台形補正処理後の処理画像がメイン表示部8aにプレビュー表示されたプレビュー画面83が表示される(ステップS11)。
図6に、プレビュー画面83の一例を示す。図6に示すプレビュー画面83から「NG」に対応するキー、即ち、メニューキー97の操作が検出されると(ステップS12;NO)、処理はステップS8に戻り、他の選択された輪郭候補に基づく台形補正処理及び台形補正処理後のプレビュー表示が行われる。プレビュー画面83から「OK」に対応するキー、即ち、決定キー91の操作が検出されると(ステップS12;YES)、ステップS9で選択された輪郭候補の輪郭データ(例えば、四隅の座標位置情報)及びこの輪郭データに基づき算出された補正データがRAM14の所定の領域に一時記憶される(ステップS13)。そして、連写撮像され、RAM14に記憶された全ての撮像画像データに対し、ステップS13で記憶された補正データを用いて台形補正処理が施され(ステップS14)、台形補正処理後の処理画像データが圧縮され、画像メモリ151に記憶され(ステップS15)、本処理は終了する。
一方、ステップS6において、台形補正処理実行を指示するキー操作ではなく、決定キー91の押下による撮像画像の保存を指示するキー操作が検出されると(ステップS6;NO)、撮像画像データのそれぞれが圧縮されて画像メモリ151に記憶され(ステップS15)、本処理は終了する。
以上説明したように、第1の実施の形態における携帯電話機1によれば、連写モードにより同一被写体を連続して複数回撮像して得られた複数の撮像画像のうち、一の撮像画像から四角形の輪郭領域を抽出し、抽出された輪郭領域に基づいて台形補正時に使用する補正データを算出し、連続して撮像された複数の撮像画像のそれぞれに対し、この算出された補正データを用いて台形補正処理を施す。従って、被写体を略同じ撮像角度で複数回連続的に撮像する連写撮像で得られた一連の撮像画像を台形補正する際に、従来のように、一枚一枚の画像について台形補正処理実行の操作を行ったり、一枚一枚の画像について台形補正処理の前段で必要な輪郭抽出処理を行ったり補正データを算出したりする必要がなくなり、台形補正処理における操作性の向上及び処理時間の短縮を図ることが可能となる。
〔第2の実施の形態〕
次に、本発明の第2の実施の形態について説明する。
第1の実施の形態では、連写撮像において撮像された複数枚の撮像画像に台形補正処理を施す場合について説明したが、第2の実施の形態は、例えば、会議室での会議中に同じ席に座りながらホワイトボードやプロジェクターの画像を撮像した場合等、指定された撮像期間内に略同じ撮像角度で撮像された一連の撮像画像に台形補正処理を施す場合について説明する。
第2の実施の形態において、携帯電話機1の構成は、図1、2で示したのと略同様であるので説明を省略し、動作について説明する。
図7は、第2の実施の形態において、携帯電話機1により実行される会議モード台形補正処理の流れを示すフローチャートである。当該処理は、CPU7とROM13に記憶された当該会議モード台形補正処理プログラムとの協働によるソフトウエア処理により実現される処理である。
携帯電話機1が着信待受状態であるときに、カメラキー96の操作が検出されると、ROM13に記憶された撮像用プログラムがRAM14にロードされてCPU7より実行されることによりカメラモードが起動され(ステップS21)、撮像部10による画像取り込みが開始され、取り込まれたスルー画像がメイン表示部8aに表示される(ステップS22)。次いで、メニューキー97及びこれに続く十字キー92や決定キー91等の、会議モードへの移行を指示するキー操作が検出されると(ステップS23)、会議モードでの一連の撮像により得られる撮像画像データを記憶するためのグループフォルダが本実施の形態の画像記憶手段としての画像メモリ151に作成される(ステップS24)。
撮像キー98の操作が検出されると、撮像部10により撮像が行われ(ステップS25)、撮像により得られた撮像画像の画像データが圧縮され、ステップS24で作成されたグループフォルダに格納される(ステップS26)。会議モード終了を指示するキー操作が検出されるまで、ステップS25、S26の処理が繰り返し実行され、撮像により得られた撮像画像データがグループフォルダに格納される。
会議モード終了を指示するキー操作が検出されると(ステップS27;YES)、ステップS24で作成されたグループフォルダに記憶されている一連の撮像画像データのうち、一の撮像画像データ(ここでは、一枚目の撮像画像データとする)について、撮像画像に含まれる被写体の輪郭領域を抽出する輪郭抽出処理が施される(ステップS28)。輪郭抽出処理は、例えば直線を検出するためのテンプレートやフィルタを用いて直線認識を行い、この認識された直線の連続性を検出して四角形に閉じた形状の輪郭領域を抽出する。四角形に閉じた形状が複数存在する場合には、複数の輪郭領域が抽出される。抽出された輪郭領域(輪郭候補)は撮像画像とともにメイン表示部8aの輪郭候補表示画面82(図5参照)に表示される(ステップS29)。
輪郭候補表示画面82において十字キー92によるカーソル操作により輪郭候補のうち被写体に対応する何れか一つの輪郭候補が選択された状態で決定キー91により決定操作が検出されると(ステップS30)、選択された輪郭候補を補正基準とし、座標変換によりその補正基準の輪郭領域を略矩形形状に補正するための補正データを算出し、算出された補正データを用いて撮像画像の各画素に座標変換を行うことで、撮像画像に含まれる被写体画像の歪みを補正する台形補正処理が施される(ステップS31)。なお、ユーザが十字キー92のカーソル操作や決定キー91の操作により、補正基準となる四角形の四隅を選択し、選択された四隅を結ぶ輪郭を台形補正処理の基準としてもよい。
輪郭候補を補正基準とした台形補正が施されると、台形補正後の処理画像がメイン表示部8aにプレビュー表示されたプレビュー画面83(図6参照)が表示される(ステップS32)。図6に示すプレビュー画面83から「NG」に対応するキー、即ち、メニューキー97の操作が検出されると(ステップS33;NO)、処理はステップS29に戻り、他の選択された輪郭候補に基づく台形補正処理及び台形補正処理後のプレビュー表示が行われる。プレビュー画面83から「OK」に対応するキー、即ち、決定キー91の操作が検出されると(ステップS33;YES)、ステップS30で選択された輪郭候補の輪郭データ(例えば、四隅の座標位置情報)及びこの輪郭データに基づき算出された補正データがRAM14の所定の領域に一時記憶される(ステップS34)。そして、ステップS24で作成されたグループフォルダ内に保存されている全ての撮像画像データに対し、ステップS34で記憶された補正データを用いて台形補正処理が施され(ステップS35)、台形補正処理後の処理画像データが圧縮され、画像メモリ151に記憶され(ステップS36)、本処理は終了する。
以上説明したように、第2の実施の形態における携帯電話機1によれば、会議モード動作中に撮像された撮像画像データを画像メモリ151に形成したグループフォルダに記憶し、このグループフォルダ内に記憶された複数の撮像画像データのうち一の撮像画像データから四角形の輪郭領域を抽出し、抽出された輪郭領域に基づいて台形補正時に使用する補正データを算出し、この算出された補正データを用いてグループフォルダ内の全ての撮像画像データに対し台形補正処理を施す。従って、会議中に同じ席に座りながらホワイトボードやプロジェクターの画像を撮像する場合等、同一の被写体を略同じ撮像角度で撮像して得られた一連の撮像画像を台形補正する際に、従来のように、一枚一枚の画像について台形補正処理実行の操作を行ったり、一枚一枚の画像について台形補正処理の前段で必要な輪郭抽出処理を行ったり補正データを算出したりする必要がなくなり、台形補正処理における操作性の向上及び処理時間の短縮を図ることが可能となる。
なお、上記実施の形態における記述内容は、本発明に係る携帯電話機1の好適な一例であり、これに限定されるものではない。
例えば、上記第1の実施の形態及び第2の実施の形態においては、抽出された複数の輪郭候補のうちユーザに選択された輪郭候補を補正基準として台形補正処理を施し、その補正結果をプレビュー表示することとしたが、抽出された全ての輪郭候補のそれぞれを補正基準とした台形補正処理を施し、その処理結果をユーザによるカーソル操作に応じて1つずつプレビュー表示していくようにしてもよい。
また、第1の実施の形態においては、本発明を連写モードでの連続撮像に適用した場合を例にとり説明したが、本発明は、動画像の撮像により連続的に撮像して得られた一連のフレーム画像を台形補正処理する場合においても適用することができる。
また、第2の実施の形態の会議モードは、会議での撮像のみならず、矩形形状の同一被写体を撮像する場合、例えば、授業中に黒板を撮像する場合等に使用することが可能である。
その他、携帯電話機1の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
本発明に係る携帯電話機1の外観を示す図である。 図1の携帯電話機1の機能的構成を示すブロック図である。 図2のCPU7により実行される連写画像台形補正処理の流れを示すフローチャートである。 連写画像表示画面81の一例を示す図である。 輪郭候補表示画面82の一例を示す図である。 プレビュー画面83の一例を示す図である。 図2のCPU7により実行される会議モード台形補正処理の流れを示すフローチャートである。
符号の説明
1 携帯電話機
2 アンテナ
3 無線通信部
4 音声処理部
5 受話スピーカ
6 送話マイク
7 CPU
8 表示部
8a メイン表示部
8b サブ表示部
9 キー入力部
10 撮像部
11 鳴音駆動部
12 スピーカ
13 ROM
14 RAM
15 メモリ
151 画像メモリ

Claims (5)

  1. 被写体の光学画像を電気信号に変換して撮像画像を取得する撮像手段と、
    前記撮像手段により同一の被写体について取得された複数の撮像画像を記憶する画像記憶手段と、
    前記画像記憶手段に記憶された前記複数の撮像画像の何れか一の撮像画像に対して、当該一の撮像画像に含まれる被写体の輪郭領域を抽出する抽出手段と、
    前記抽出手段により抽出された輪郭領域を略矩形形状に補正し、且つ該補正した際に導出された補正データを用いて、前記画像記憶手段に記憶されている同一の被写体の他の画像に対して略矩形形状に補正を行う台形補正手段と、
    を備えたことを特徴とする撮像装置。
  2. 前記複数の撮像画像は、前記撮像手段により同一の被写体を連続的に撮像して得られた複数の画像であることを特徴とする請求項1に記載の撮像装置。
  3. 前記複数の撮像画像は、指定された撮像期間内に前記撮像手段により同一の被写体を略同一の撮像角度から複数回撮像して前記画像記憶手段に含まれる特定の画像記憶領域に記憶された一連の画像であることを特徴とする請求項1に記載の撮像装置。
  4. 被写体の光学画像を電気信号に変換して撮像画像を取得する撮像ステップと、
    前記撮像ステップにより同一の被写体について取得された複数の撮像画像を記憶装置に記憶させる画像記憶ステップと、
    前記画像記憶ステップにより記憶された前記複数の撮像画像の何れか一の撮像画像に対して、当該一の撮像画像に含まれる被写体の輪郭領域を抽出する抽出ステップと、
    前記抽出ステップにより抽出された輪郭領域を略矩形形状に補正し、且つ該補正した際に導出された補正データを用いて、前記画像記憶ステップにより記憶された同一の被写体の他の画像に対して略矩形形状に補正を行う台形補正ステップと、
    を含むことを特徴とする撮像画像処理方法。
  5. 被写体を含む光学画像を電気信号に変換して撮像画像を取得する撮像手段を備えた撮像装置を制御するためのコンピュータに、
    前記撮像手段により同一の被写体について取得された複数の撮像画像を記憶装置に記憶させる画像記憶機能と、
    前記画像記憶機能により記憶された前記複数の撮像画像の何れか一の撮像画像に対して、当該一の撮像画像に含まれる被写体の輪郭領域を抽出する抽出機能と、
    前記抽出機能により抽出された輪郭領域を略矩形形状に補正し、且つ該補正した際に導出された補正データを用いて、前記画像記憶機能により記憶された同一の被写体の他の画像に対して略矩形形状に補正を行う台形補正機能と、
    を実現させるためのプログラム。
JP2005356394A 2005-12-09 2005-12-09 撮像装置、撮像画像処理方法及びプログラム Expired - Fee Related JP4344888B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005356394A JP4344888B2 (ja) 2005-12-09 2005-12-09 撮像装置、撮像画像処理方法及びプログラム
US11/635,149 US7777785B2 (en) 2005-12-09 2006-12-06 Image pickup device, picked-up image processing method, and computer-readable recording medium for performing a correction process on a picked-up image
KR1020060123631A KR100855829B1 (ko) 2005-12-09 2006-12-07 촬상 장치, 촬상 영상처리방법, 및 컴퓨터 판독가능기록매체
CNB200610164098XA CN100428779C (zh) 2005-12-09 2006-12-07 图像拾取装置及拾取图像的处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005356394A JP4344888B2 (ja) 2005-12-09 2005-12-09 撮像装置、撮像画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2007166009A true JP2007166009A (ja) 2007-06-28
JP4344888B2 JP4344888B2 (ja) 2009-10-14

Family

ID=38138870

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005356394A Expired - Fee Related JP4344888B2 (ja) 2005-12-09 2005-12-09 撮像装置、撮像画像処理方法及びプログラム

Country Status (4)

Country Link
US (1) US7777785B2 (ja)
JP (1) JP4344888B2 (ja)
KR (1) KR100855829B1 (ja)
CN (1) CN100428779C (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012121411A1 (en) * 2011-03-07 2012-09-13 Ricoh Company, Limited Video processing apparatus, video processing system, and video processing method
WO2014167675A1 (ja) * 2013-04-10 2014-10-16 株式会社 東芝 電子機器
JP2014203423A (ja) * 2013-04-10 2014-10-27 セイコーエプソン株式会社 表示制御プログラム、表示制御方法、表示装置および印刷システム
JP2017028462A (ja) * 2015-07-21 2017-02-02 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
JP2017049152A (ja) * 2015-09-03 2017-03-09 株式会社 日立産業制御ソリューションズ クラック幅計測システム
US11012608B2 (en) 2016-09-12 2021-05-18 Huawei Technologies Co., Ltd. Processing method and mobile device

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102160369B (zh) * 2008-09-15 2015-01-07 惠普开发有限公司 最低程度地处理显示的从突发捕获的图像
JP2010282294A (ja) * 2009-06-02 2010-12-16 Canon Inc 情報処理装置、情報処理方法及びプログラム
JP4856263B2 (ja) * 2009-08-07 2012-01-18 シャープ株式会社 撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
US8345106B2 (en) 2009-09-23 2013-01-01 Microsoft Corporation Camera-based scanning
CN102201053B (zh) * 2010-12-10 2013-07-24 上海合合信息科技发展有限公司 一种文本图像的切边方法
DE102011010315A1 (de) * 2011-02-03 2012-08-09 Hönigsberg & Düvel Datentechnik GmbH Erkennung von Objekten
US20140347500A1 (en) * 2013-05-22 2014-11-27 Synchronoss Technologies, Inc. Apparatus and method of document tagging by pattern matching
KR102173109B1 (ko) 2014-09-05 2020-11-02 삼성전자주식회사 디지털 영상 처리 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 처리 장치
KR102607789B1 (ko) * 2018-12-17 2023-11-30 삼성전자주식회사 이미지 처리 방법 및 그 전자 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7409111B2 (en) * 1997-10-21 2008-08-05 Canon Kabushiki Kaisha Image synthesizing system for automatically retrieving and synthesizing images to be synthesized
EP1838084A3 (en) * 1998-06-23 2007-12-26 Sharp Kabushiki Kaisha Image processing apparatus, image processing method and medium on which image processing program is recorded
JP3395832B2 (ja) * 1998-08-28 2003-04-14 ソニー株式会社 画像表示補正システム、画像表示補正装置および方法並びに画像表示装置および方法
US6538691B1 (en) 1999-01-21 2003-03-25 Intel Corporation Software correction of image distortion in digital cameras
KR100303181B1 (ko) * 1999-03-18 2001-09-26 명영철,최범영 다수의 촬상소자를 이용한 고해상도 촬영장치의 보정방법
US7313289B2 (en) * 2000-08-30 2007-12-25 Ricoh Company, Ltd. Image processing method and apparatus and computer-readable storage medium using improved distortion correction
US6963365B2 (en) 2001-02-28 2005-11-08 Hewlett-Packard Development Company, L.P. System and method for removal of digital image vertical distortion
JP2003283964A (ja) 2002-03-26 2003-10-03 Olympus Optical Co Ltd 映像表示装置
US7684096B2 (en) 2003-04-01 2010-03-23 Avid Technology, Inc. Automatic color correction for sequences of images
JP4020043B2 (ja) * 2003-08-25 2007-12-12 カシオ計算機株式会社 投影装置、投影方法及びプログラム
JP4635545B2 (ja) 2003-10-14 2011-02-23 カシオ計算機株式会社 カメラ装置、画像記録方法、プログラム及び書画カメラ
JP4363151B2 (ja) 2003-10-14 2009-11-11 カシオ計算機株式会社 撮影装置、その画像処理方法及びプログラム
JP2005122323A (ja) 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影装置、画像処理装置、撮影装置の画像処理方法及びプログラム
JP3743828B2 (ja) * 2003-10-14 2006-02-08 カシオ計算機株式会社 電子カメラ
KR100569194B1 (ko) 2003-12-19 2006-04-10 한국전자통신연구원 카메라 문서영상의 기하학적 왜곡 보정방법
US7551205B2 (en) * 2004-03-22 2009-06-23 Fujifilm Corporation Image processing method, image processing system, image processing apparatus and image processing program
JP4006601B2 (ja) * 2004-03-29 2007-11-14 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP4182937B2 (ja) * 2004-09-28 2008-11-19 カシオ計算機株式会社 撮影装置、撮影装置の画像処理方法及びプログラム
EP1768387B1 (en) * 2005-09-22 2014-11-05 Samsung Electronics Co., Ltd. Image capturing apparatus with image compensation and method therefor

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012121411A1 (en) * 2011-03-07 2012-09-13 Ricoh Company, Limited Video processing apparatus, video processing system, and video processing method
JP2012186719A (ja) * 2011-03-07 2012-09-27 Ricoh Co Ltd 映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び映像装置
US9369627B2 (en) 2011-03-07 2016-06-14 Ricoh Company, Ltd. Video processing apparatus, video processing system, and video processing method
WO2014167675A1 (ja) * 2013-04-10 2014-10-16 株式会社 東芝 電子機器
JP2014203423A (ja) * 2013-04-10 2014-10-27 セイコーエプソン株式会社 表示制御プログラム、表示制御方法、表示装置および印刷システム
JP6034486B2 (ja) * 2013-04-10 2016-11-30 株式会社東芝 電子機器
JP2017028462A (ja) * 2015-07-21 2017-02-02 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
JP2017049152A (ja) * 2015-09-03 2017-03-09 株式会社 日立産業制御ソリューションズ クラック幅計測システム
US11012608B2 (en) 2016-09-12 2021-05-18 Huawei Technologies Co., Ltd. Processing method and mobile device

Also Published As

Publication number Publication date
JP4344888B2 (ja) 2009-10-14
US7777785B2 (en) 2010-08-17
CN100428779C (zh) 2008-10-22
KR100855829B1 (ko) 2008-09-01
KR20070061404A (ko) 2007-06-13
US20070132862A1 (en) 2007-06-14
CN1984250A (zh) 2007-06-20

Similar Documents

Publication Publication Date Title
JP4344888B2 (ja) 撮像装置、撮像画像処理方法及びプログラム
JP4724890B2 (ja) 画像再生装置、画像再生方法、画像再生プログラム及び撮像装置
US8050710B2 (en) Image transmission apparatus, image transmission method and image transmission program product
US20060152578A1 (en) Method of displaying video call image
JP4662874B2 (ja) 画像処理装置、及びプログラム
KR20140106779A (ko) 이미지 촬영장치 및 방법
KR20050074034A (ko) 이미지 편집이 가능한 휴대용 단말기 및 이를 이용한이미지 편집 방법
KR101075720B1 (ko) 휴대단말기의 이미지편집 방법
JP4569459B2 (ja) 情報表示端末、情報表示方法及びプログラム
JP5638650B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP4565121B2 (ja) 撮像装置および撮影プログラム
JP4507188B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP6117880B2 (ja) 画像合成装置、画像合成方法および画像合成プログラム
JP5638564B2 (ja) 画像送信装置、画像送信方法および画像送信プログラム
JP4940695B2 (ja) テレビ電話装置、テレビ電話つき携帯端末、そのテレビ電話方法およびテレビ電話つき携帯端末の通信方法
JP2007194808A (ja) 携帯通信端末及びプログラム
KR101015753B1 (ko) 문서 이미지 전송 기능을 갖춘 이동 단말과 이를 위한문서 이미지 변환 방법
JP2005039777A (ja) 画像撮影装置及び画像撮影システム
JP2007011738A (ja) 文字処理装置
JP5459771B2 (ja) 電子機器、画像処理方法およびプログラム
KR100539791B1 (ko) 카메라를 구비한 이동 통신 단말기의 접사 수행 방법
JP5517192B2 (ja) 電子機器、画像処理方法およびプログラム
JP5300924B2 (ja) 画像送信装置、画像送信方法および画像送信プログラム
JP2005347988A (ja) ディジタル・カメラ付き携帯電話機およびその制御方法
JP2011070601A (ja) 画像管理装置、画像管理方法、及び、コンピュータプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090616

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090629

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees