JP2008053833A

JP2008053833A - 情報処理装置、画像補正用制御プログラムおよび情報処理装置の画像補正方法

Info

Publication number: JP2008053833A
Application number: JP2006225646A
Authority: JP
Inventors: Hirohito Asakura; 弘仁朝倉
Original assignee: NEC Saitama Ltd
Current assignee: NEC Saitama Ltd
Priority date: 2006-08-22
Filing date: 2006-08-22
Publication date: 2008-03-06

Abstract

【課題】カメラの姿勢が正しくない状態で撮影が行われた場合でも、補正後の画像に欠けが生じないようにしたり、水平方向以外の補正も可能にする情報処理装置を提供すること。
【解決手段】カメラによって取得した画像領域は第１の枠１５１で囲んだ領域であり、これより小さな第２の枠１５２で囲んだ画像領域がプレビューの対象となる。水平線１５７と平行な線分を有し第２の枠１５２が内接した第３の枠１５３が水平方向を補正した画像領域となる。第３の枠１５３はプレビューされた画像の全部を含んでいる。水平方向以外の補正も３軸の加速度センサの検出結果を利用することで可能になる。
【選択図】図８

Description

本発明は、携帯電話機、ＰＨＳ、ＰＤＡ、携帯型のパーソナルコンピュータのような情報処理装置、その画像補正用制御プログラムおよび情報処理装置の画像補正方法に係わり、特にカメラを付属させ、これを用いて簡易に静止画や動画を撮影することを可能にした情報処理装置、その画像補正用制御プログラムおよび情報処理装置の画像補正方法に関する。

携帯電話機、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant）等の比較的小型の情報処理装置の高機能化と共に、これらにカメラを付属させることが普通に行われるようになっている。また、カメラ自体も高解像度化および高機能化しており、メモリの大容量化と併せて、本来なら専用のカメラを持っていくような撮影場所にもカメラ付きの情報処理装置を持っていくだけで済ませることが多くなっている。

ところが、携帯電話機等の情報処理装置は、その本来的な使用目的がカメラとは異なったところにあり、また、携帯電話機のように小型化や薄型化を強く求められている装置が多い。このため、被写体や撮影範囲を迅速にチェックすることのできる簡易型のファインダや一眼レフ形式のファインダも付いておらず、ユーザは液晶表示部に表示された画像を明視距離だけ離してチェックするという形態を採っている。このため、ユーザの顔にカメラ本体を密着させて撮影するカメラ専用機と比較すると、情報処理装置が被写体に対して正しく向いていない場合も多い。

また、カメラ専用機の場合には片手でも装置本体をしっかりと保持できるように電池の収納部等の側端部近傍がほぼ円筒状に膨らんでグリップ部を形成しているが、携帯電話機のような多くの情報処理装置は平板状あるいは直方体状をしていて、手のひらに保持したり、机の上で保持するには安定しているが、手で安定した姿勢に保持する形状とはなっていない。

このため、携帯電話機等の情報処理装置で被写体を撮影するときには、手をある程度被写体方向に伸ばして液晶表示部のプレビュー画像を見ながらシャッタを押すことになり、装置本体を水平方向に正しく保ったり、被写体に正しく向き合って撮影することが困難となる。

そこで、ジャイロセンサを装置に備えることによって、カメラの傾きを補正することが、第１の提案として提案されている（たとえば特許文献１参照）。この第１の提案では、ジャイロセンサで水平方向に対するカメラの傾きを検出して、傾きのない水平角度に一致するように補正している。また、重力を利用して回転する傾き検出プレートを用いて、鉛直方向に対する左右方向の傾きを検出して、水平方向からの傾きを補正するような第２の提案も提案されている（たとえば特許文献２参照）。
特開２００４−２２８６８８号公報（第００２３段落、第００２６段落、図３）特開２００５−１７５５６３号公報（第００２２段落、第００４０段落、図４、図６）

ところが、これら第１および第２の提案によれば、カメラの水平方向に対する傾きに応じて単純にフレームの傾斜を補正処理している。このため、水平方向への傾斜の補正が行われるものの、画像の回転処理に伴って矩形表示における隅の位置の画像が除去されて、部分的な欠けが発生することになった。すなわち、プレビュー画像を見て、撮影範囲に入っていることが確認された部分が、傾きの補正される段階で欠落してしまい、補正後の画像から消えてしまっているという不都合か発生することになった。

また、これら第１および第２の提案では、画像の水平方向に対する傾きのみが補正されることになった。すでに説明したようにカメラ専用機と異なり、携帯電話機等の情報処理装置はユーザの顔に装置本体の対向箇所を密着させるようにして撮影することができない。したがって、被写体に対するカメラの受光面の傾きを調整し辛く、カメラが不用意に上向きや下向きに傾斜した状態で撮影が行われたり、カメラが同一水平位置でも左右に回転して撮影が行われる場合があった。このような場合には、被写体の画像にユーザの想定しなかったような歪が発生することになった。

そこで本発明の目的は、カメラの姿勢が正しくない状態で撮影が行われた場合でも、補正後の画像に欠けが生じないようにしたり、水平方向以外の補正も可能にする情報処理装置、その画像補正用制御プログラムおよび情報処理装置の画像補正方法を提供することにある。

請求項１記載の発明では、（イ）所定の情報処理機能を備えた装置本体と、（ロ）この装置本体の所定位置に配置され、その前方を撮影するカメラと、（ハ）このカメラの撮影時における水平方向を検出する水平方向検出手段と、（ニ）カメラの撮影した矩形状の第１の枠を外枠とする画像領域から一回り小さく各辺が第１の枠の対応する辺と平行な矩形状の第２の枠を外枠とする画像領域を切り出してプレビュー画像とするプレビュー画像切り出し手段と、（ホ）第２の枠を内部に包含し、かつ構成する枠の全範囲が第１の枠の内部に包含されており、その枠の対向する特定の２辺が平方向検出手段の検出した水平方向に平行となった矩形状の第３の枠を外枠とする画像領域を、水平方向に補正した後の画像領域として切り出す水平方向補正画像切り出し手段とを情報処理装置に具備させる。

すなわち本発明では、情報処理装置の装置本体に付属したカメラの撮影時に水平方向検出手段で水平方向を検出する。また、このカメラの撮影した矩形状の第１の枠を外枠とする画像領域から一回り小さく各辺が第１の枠の対応する辺と平行な矩形状の第２の枠を外枠とする画像領域を切り出してプレビュー画像とする。第２の枠のサイズは第１の枠のサイズよりも小さければどのようなサイズでもよいという訳ではなく、後に説明する矩形状の第３の枠との関係で生じる制限がある。水平方向補正画像切り出し手段は、第２の枠を内部に包含し、かつ構成する枠の全範囲が第１の枠の内部に包含されており、その枠の対向する特定の２辺が平方向検出手段の検出した水平方向に平行となった第３の枠を外枠とする画像領域を、水平方向に補正した後の画像領域として切り出す。これにより、第３の枠を外枠とする画像領域は水平方向が補正されているだけでなく、プレビュー画像を内包しているので、水平方向の補正後の画像はプレビュー画像に対して欠けが生じることはない。

カメラの受光面と鉛直方向とのなす角による画像の歪を補正する３次元補正手段を更に具備すれば、情報処理装置を上向きに構えたり、下向きに構えたときにも必要な場合、これらの補正を行った画像を得ることができる。

請求項６記載の発明では、カメラと加速度センサを備えた情報処理装置のコンピュータに、画像補正用制御プログラムとして、（イ）カメラの撮影時に加速度センサの検出出力を用いて水平方向を検出する水平方向検出処理と、（ロ）カメラの撮影した矩形状の第１の枠を外枠とする画像領域から一回り小さく各辺が第１の枠の対応する辺と平行な矩形状の第２の枠を外枠とする画像領域を切り出してプレビュー画像とするプレビュー画像切り出し処理と、（ハ）第２の枠を内接させ、かつ構成する枠の全範囲が第１の枠の内部に包含されており、その枠の対向する特定の２辺が水平方向検出処理で検出した水平方向に平行となった矩形状の第３の枠を外枠とする画像領域を、水平方向に補正した後の画像領域として切り出す水平方向補正画像切り出し処理とを実行させることを特徴としている。

すなわち本発明では、画像補正用制御プログラムとして、カメラの撮影時に加速度センサを用いて水平方向を検出する水平方向検出処理と、カメラの撮影した矩形状の第１の枠を外枠とする画像領域から一回り小さく各辺が第１の枠の対応する辺と平行な矩形状の第２の枠を外枠とする画像領域を切り出してプレビュー画像とするプレビュー画像切り出し処理と、第２の枠を内接させ、かつ構成する枠の全範囲が第１の枠の内部に包含されており、その枠の対向する特定の２辺が水平方向検出処理で検出した水平方向に平行となった矩形状の第３の枠を外枠とする画像領域を、水平方向に補正後の画像領域として切り出す水平方向補正画像切り出し処理とを実行させるようにしている。これにより、カメラの姿勢が水平方向に対して狂っていたような場合でも、プレビュー画像として表示された画像は補正後の画像に含まれることになる。

請求項７記載の発明では、（イ）装置本体に付属したカメラの撮影時に加速度センサの検出出力を用いて水平方向を検出する水平方向検出ステップと、（ロ）カメラの撮影した矩形状の第１の枠を外枠とする画像領域から一回り小さく各辺が第１の枠の対応する辺と平行な矩形状の第２の枠を外枠とする画像領域を切り出してプレビュー画像とするプレビュー画像切り出しステップと、（ハ）第２の枠を内接させ、かつ構成する枠の全範囲が第１の枠の内部に包含されており、その枠の対向する特定の２辺が水平方向検出ステップで検出した水平方向に平行となった矩形状の第３の枠を外枠とする画像領域を、水平方向に補正した後の画像領域として切り出す水平方向補正画像切り出しステップとを情報処理装置の画像補正方法に具備させる。

すなわち本発明では、装置本体に付属したカメラの撮影時に加速度センサの検出出力を用いて水平方向を検出し、また、カメラの撮影した矩形状の第１の枠を外枠とする画像領域から一回り小さく各辺が第１の枠の対応する辺と平行な矩形状の第２の枠を外枠とする画像領域を切り出してプレビュー画像とするようにしている。第２の枠を内接させ、かつ構成する枠の全範囲が第１の枠の内部に包含されており、その枠の対向する特定の２辺が水平方向検出ステップで検出した水平方向に平行となった矩形状の第３の枠を外枠とする画像領域を、水平方向に補正した後の画像領域として切り出すと、これはプレビュー画像をすべて含んでいることになる。

以上説明したように、本発明によれば、矩形状の第３の枠が矩形状の第１の枠に含まれる条件の下で、第３の枠の内部に含まれるサイズの矩形状の第２の枠を規定することにしたので、第２の枠の内部の画像領域をプレビュー画像の領域とすれば、第３の枠を外枠とする画像領域は水平方向が補正されているだけでなく、プレビュー画像に表示された全範囲を含んでいることになり、画像の欠落が発生しないことになる。したがって、ユーザは、プレビュー画像を確認するだけで情報処理装置の姿勢を気にすることなく、簡易に体裁の整った画像の撮影が可能になる。

以下実施例につき本発明を詳細に説明する。

図１は本発明の一実施例における携帯電話機のディスプレイとしての液晶表示部が配置された正面側を示したものである。本実施例の携帯電話機１００は、第１の筐体１０１と第２の筐体１０２を図示しないヒンジ機構で開閉自在とした折り畳み電話機としての構造を採っている。第１の筐体１０１には、ユーザインターフェイスとして液晶表示部（Liquid Crystal Display）１０４が配置されており、第２の筐体１０２には同じくユーザインターフェイスとして各種のキーを備えたキー操作部１０５が配置されている。

図２は、図１に示した携帯電話機の背面側を示したものである。携帯電話機１００の第１の筐体１０１の背面にはカメラ１０６のレンズ部分が配置されており、また第１の筐体１０１内部には加速度センサ１０７が収容されている。加速度センサ１０７は物体に加わる加速度の大きさを出力するセンサであり、ピエゾ抵抗型、静電容量型、磁気センサ型が主に使用されている。本実施例で加速度センサ１０７は、重力方向の検知に用いられるようになっている。

ところで携帯電話機１００では、液晶表示部１０４が備えられている。したがって、カメラ１０６のファインダの代わりとして液晶表示部１０４に撮影される画像をプレビュー画像として表示するのが通常である。液晶表示部１０４に表示されるプレビュー画像は、撮影範囲の目安として用いられるもので、風景や人物等の被写体をリアルタイムで表示するようになっている。このプレビュー画像は、カメラ１０６によって実際に撮影される画像の全範囲と一致するものではなく、後に具体的に説明するように、これよりも一回り小さなサイズとなっている。

カメラ１０６によって撮影された画像は、水平方向を対向する２辺とする矩形に切り取られた形で撮影画像が自動的に切り出される。そして、この切り出された画像が、携帯電話機１００内の所定のメモリに保存されるようになっている。したがって、プレビュー画像自体が傾いて撮影された画像の場合には、傾きが補正された後の画像がメモリに保存されることになるので、プレビュー画像と保存された撮影画像とでは、画像の傾きが異なることになる。

ところで、図２に示した加速度センサ１０７は、ｘ、ｙ、ｚ３軸方向の振動や衝撃といった動的加速度の検出と、傾きや重力加速度といった静的加速度の検出が可能な半導体デバイスとして構成されている。ただし、本実施例では動的加速度の検出自体を利用するのではなく、重力加速度の静的特性を使用することで重力方向を検知するようになっている。本実施例の加速度センサ１０７は、カメラ１０６の動作中は、常に重力方向を検出している。また、ユーザがキー操作部１０５を操作してシャッタを押下したときに、手ぶれが発生することがあるが、これによる動的加速度の値は重力方向ではないと判別する機能を備えている。

本実施例の加速度センサ１０７は、携帯電話機１００に搭載する位置および傾きについて次のような条件を満たしている。
（１）加速度センサ１０７のｘ軸およびｙ軸から構成される面が、カメラ１０６の図示しない結像面に配置される図示しないイメージセンサの面と互いに平行になっている。
（２）加速度センサ１０７のｘ軸およびｙ軸から構成される面が、図１に示した液晶表示部１０４の表面と平行になっている。

図３は、携帯電話機における加速度センサの３軸の方向を示したものである。また、図４に、図３で一点鎖線で示した領域１１１に配置された加速度センサを拡大して示している。本実施例では、これら図３および図４に示すように、直方体状の加速度センサ１０７の比較的面積の広い特定面１１２を構成する図で横方向の辺１１３を第１の筐体１０１の短辺１１４と平行に配置し、縦方向の辺１１５を第１の筐体１０１の長辺１１６と平行に配置している。そして、図で横方向の辺１１３の方向をｘ軸方向とし、これと直交する縦方向の辺１１５の方向をｙ軸方向としている。このとき、ｚ軸方向はカメラ１０６の光軸方向と一致する。

加速度センサ１０７は、重力を検出するセンサであり、水平方向に配置されていると出力はゼロとなるが、傾けると重力がかかって、これに応じた信号が出力される。そこで、このセンサを直交するように配置すると、水平面に対して何度傾いているか、あるいは重力方向を検出することができる。本実施例ではｘ軸およびｙ軸の値を用いて重力方向を算出する。もちろん、携帯電話機１００における加速度センサ１０７の搭載の向きによっては、検出結果を演算することで任意の２軸を使用して重力方向を算出することも可能である。また、ｘ軸、ｙ軸およびｚ軸の各座標値からカメラ１０６のイメージセンサと平行になる成分を抽出して、これにより重力方向を算出することも可能である。この場合、加速度センサ１０７の搭載の向きに制限はなくなる。

図５は、本実施例の携帯電話機の回路構成の概容を表わしたものである。携帯電話機１００は、ＣＰＵ（Central Processing Unit）１２１と制御用記憶媒体１２２を配置した主制御部１２３を備えている。制御用記憶媒体１２２には、ＣＰＵ１２１が実行する制御用プログラムが格納されていると共に、一部が作業用メモリとなっており、主制御部１２３に接続された携帯電話機１００の各部の制御を行うようになっている。

主制御部１２３に接続されたもののうち、液晶表示部１０４、キー操作部１０５、カメラ１０６および加速度センサ１０７については、すでに概容を説明した。主制御部１２３に接続された第１のメモリ１２４は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＭＲＡＭ（Magnetic Random Access Memory）等のＲＡＭ（Random Access Memory）によって構成されている。この第１のメモリ１２４には撮影画像バッファ領域１２５が設けられている。撮影画像バッファ領域１２５は、カメラ１０６が撮影した画像を一時的に格納して、画像の傾きを補正したり、各種の画像処理を行うために使用するメモリ領域である。たとえば、明るさやホワイトバランス等の補正処理が行われる際には、補正前の画像データと補正の処理の確定前の画像データが格納される。

主制御部１２３に接続された第２のメモリ１２６は、撮影後に傾きや各種の補正処理が行われた後の１枚または複数枚の撮影画像である第１〜第Ｎの撮影画像１２７₁〜１２７_Nを格納するようになっている。一度、補正処理が終了した画像データで更に補正が必要とされたものについては、第１のメモリ１２４で補正処理が行われた後、第２のメモリ１２６に格納される。第２のメモリ１２６は電池（図示せず）によってバックアップされたＲＡＭ等の不揮発性メモリによって構成されている。

主制御部１２３は、後に具体的な制御内容を示すが、液晶表示部１０４に対する画像表示、ユーザの指示に基づいたカメラ１０６への撮影要求、カメラ１０６の撮影した画像データの撮影画像バッファ領域１２５への転送、加速度センサ１０７からの座標値取得といった各種の制御を行うようになっている。図５で太い矢印１３１〜１３３は画像データの流れる方向を示している。また、主制御部１２３と、第１あるいは第２のメモリ１２４、１２６の間には制御信号１３４、１３５の伝送路も設けられている。

図６および図７は、カメラによる撮影時の処理の概容を表わしたものである。これらの図で示した処理は、図５に示した主制御部１２３内のＣＰＵが制御用記憶媒体１２２に格納された制御用プログラムを実行することによって実現する。図５と共に説明する。

まず、カメラ１０６の起動処理が行われる（図６ステップＳ２０１）。これは、具体的にはユーザがキー操作部１０５の特定のキーをカメラ１０６の起動用として操作したのを主制御部１２３が検知することによって行われる。カメラ１０６が起動すると、主制御部１２３は加速度センサ１０７の出力を用いて、カメラ１０６が水平撮影モードとなっているか否かを判別する（ステップＳ２０２）。ここで、水平撮影モードとは画像の傾斜を補正するモードであり、水平撮影モードでないとは画像の傾斜を補正しないモードである。

水平撮影モードになっていると判別された場合（ステップＳ２０２：Ｙ）、液晶表示部１０４にプレビュー画像を表示して（ステップＳ２０３）、ユーザがキー操作部１０５の所定のシャッタキーを押下するか、あるいは撮影モードを終了させる操作を行うかを待機する（ステップＳ２０４、ステップＳ２０５）。いずれの操作も行われない間（ステップＳ２０４：Ｎ、ステップＳ２０５：Ｎ）、液晶表示部１０４に表示されるプレビュー画像は、比較的短い時間を周期としてその内容が更新される（ステップＳ２０３）。ユーザは、このプレビュー画像を見て被写体の配置を確認すると共にシャッタを押すタイミングを判断する。

ユーザが所定のシャッタキーを押下すると、主制御部１２３はこれによる撮影要求を検知する（ステップＳ２０４：Ｙ）。主制御部１２３はこのときカメラ１０６から送られてきた画像データを撮影画像として第１のメモリ１２４の撮影画像バッファ領域１２５に転送する（ステップＳ２０６）。これと共に、主制御部１２３は撮影要求を受信したタイミングで加速度センサ１０７から重力方向の座標値を取得する（ステップＳ２０７）。主制御部１２３は、取得した重力方向の座標値から水平線の方向を算出する（ステップＳ２０８）。ここで水平線とは地球の重力の方向と直角に交わる直線で水平方向に引かれた直線を示している。

図８は、重力方向の座標値を用いて水平方向へ補正された画像を取得する原理を説明するためのものである。この図で最も外側に示した所定の縦横比の第１の枠１５１は、撮影画像バッファ領域１２５に格納された未加工状態の元の画像データを表わしている。また、この第１の枠１５１よりも一回り小さなサイズの第２の枠１５２は、プレビュー画像の表示のために切り出されたものである。第２の枠１５２を第１の枠１５１よりも小さなサイズとしているのは、撮影した画像に傾斜が生じているときに、傾斜を補正するように回転させた後の枠としての第３の枠１５３が第１の枠１５１の範囲内に収まるようにするためである。したがって、どの程度まで傾斜した画像を補正できるようにするかを定めた仕様によって、第１の枠１５１に対する第２の枠１５２のサイズの比が定まることになる。

今、プレビュー画像の表示のために切り出された第２の枠１５２を構成する矩形の４つの頂点が点Ａ、Ｂ、Ｃ、Ｄで表わされるものとする。また、第２の枠１５２の中心１５５を基点としたときの図５に示した加速度センサ１０７によって判別された重力方向ベクトルを矢印１５６で表わすものとする。このとき、第２の枠１５２の中心１５５を通過する水平線１５７は、矢印１５６と直角方向の線分となる。第３の枠１５３では、これを構成する４辺のうちの互いに対向するある２辺が水平線１５７と平行になる。また、第１の枠１５１および第３の枠１５３の中心は、第２の枠１５２の中心１５５と一致するようになっている。このとき、第２の枠１５２を構成する矩形の４つの頂点が第３の枠１５３を構成する４つの辺に内接するものとしたときの第３の枠１５３を構成する矩形の４つの頂点を点Ａ′、Ｂ′、Ｃ′、Ｄ′で表わすものとする。

図９は、水平方向についての補正後の画像を表わしたものである。点Ａ′、Ｂ′、Ｃ′、Ｄ′を４つの頂点とするこの切り出された矩形状の画像は、点Ａ、Ｂ、Ｃ、Ｄを４つの頂点とする矩形内の画像をすべて含んでおり、かつ矩形の縦と横の長さ(ピクセル数)の比としてのアスペクト比がこれら２つの矩形で一致している。また、点Ａ、Ｂ、Ｃ、Ｄを４つの頂点とする矩形の中心１５５は、点Ａ′、Ｂ′、Ｃ′、Ｄ′を４つの頂点とする矩形の中心と一致している。このような点Ａ′、Ｂ′、Ｃ′、Ｄ′を４つの頂点とする矩形状の画像を切り出すアルゴリズムは各種存在するが、本実施例では次のアルゴリズムを使用している。

（１）まず、水平線１５７と平行で点Ｂと接する辺を定め、この辺を切り出す画像の矩形領域の上辺とする。
（２）次に、水平線１５７と平行で点Ｄと接する辺を定め、この辺を切り出す画像の矩形領域の下辺とする。
（３）水平線１５７と垂直で、かつ、点Ｃと接する辺を定め、この辺を切り出す画像の矩形領域の右辺とする。
（４）水平線１５７と垂直で、かつ、点Ａと接する辺を定め、この辺を切り出す画像の矩形領域の右辺とする。
（５）上辺と左辺の交点を点Ａ′とし、上辺と右辺の交点を点Ｂ′とする。また、下辺と右辺の交点を点Ｃ′とし、下辺と左辺の交点を点Ｄ′とする。
（６）点Ａ′、Ｂ′、Ｃ′、Ｄ′を４つの頂点とする矩形領域の縦横比が、点Ａ、Ｂ、Ｃ、Ｄを４つの頂点とする矩形領域の縦横比と同等になるように各線分の長さを調整する。

以上の手順を踏むことで、水平線１５７が矩形領域の長辺と平行になった点Ａ′、Ｂ′、Ｃ′、Ｄ′を４つの頂点とする領域を選択する（図６ステップＳ２０９）。このようにして決定された領域の画像データは、第１のメモリ１２４から切り出されて、図５に示す第２のメモリ１２６に転送される（図６ステップＳ２１０）。

図５に示した主制御部１２３は、この後もプレビュー画像を液晶表示部１０４に表示しながら撮影が続けられるかを監視する（ステップＳ２０３〜ステップＳ２０５）。そして、シャッタキーが押されれば（ステップＳ２０４：Ｙ）、ステップＳ２０６以降の前記した処理を繰り返すことになる。また、カメラ１０６による撮影終了の操作が検出されれば（ステップＳ２０５：Ｙ）、撮影処理を終了させる（エンド）。

図７は、水平撮影モードになっていないときのカメラによる撮影処理を表わしたものである。図６のステップＳ２０１で起動処理が行われたときで、水平撮影モードになっていないと判別された場合には（ステップＳ２０２：Ｎ）、液晶表示部１０４にプレビュー画像を表示する（図７ステップＳ２１１）。この状態で、主制御部１２３は、ユーザがキー操作部１０５の所定のシャッタキーを押下するか、あるいは撮影モードを終了させる操作を行うかを待機する（ステップＳ２１２、ステップＳ２１３）。いずれの操作も行われない間（ステップＳ２１２：Ｎ、ステップＳ２１３：Ｎ）、液晶表示部１０４に表示されるプレビュー画像は、比較的短い時間を周期としてその内容が更新される（ステップＳ２１１）。ユーザは、このプレビュー画像を見て被写体の配置を確認すると共にシャッタを押すタイミングを判断する。

ユーザがシャッタキーを押下すると、主制御部１２３はこれによる撮影要求を検知する（ステップＳ２１２：Ｙ）。主制御部１２３はこのときカメラ１０６から送られてきた画像データを撮影画像として第１のメモリ１２４の撮影画像バッファ領域１２５に転送する（ステップＳ２１４）。ここまでの処理は、水平撮影モードにおけるステップＳ２０３〜ステップＳ２０６の処理と変わらない。

水平撮影モードになっていないときには、これ以後の水平方向へ補正された画像に補正する処理が不要である。したがって、次のステップＳ２１５では、図８に示した点Ａ、Ｂ、Ｃ、Ｄを４つの頂点とする領域を決定する。そして、この領域の画像データを第１のメモリ１２４から切り出して、図５に示す第２のメモリ１２６に転送させる（ステップＳ２１６）。携帯電話機１００によっては図８に示した第１の枠１５１の画像データをそのまま第２のメモリ１２６に転送させることも可能である。この場合にはステップＳ２１５の処理が不要である。

ところで、本実施例では、図７のステップＳ２１１で表示するプレビュー画像を、第１の枠１５１の画像領域とせずに第２の枠１５２の画像領域としている。これにより、プレビュー画像で液晶表示部１０４に表示された画像の一部が欠けた状態で第１〜第Ｎの撮影画像１２７₁〜１２７_Nとして第２のメモリ１２６に格納されるという不都合を解消することができる。

これに対して、ステップＳ２１１で液晶表示部１０４に第１の枠１５１の画像領域のサイズをプレビュー画像として表示し、ステップＳ２１６でこの第１の枠１５１の画像データを第２のメモリ１２６に格納するようにした場合には、カメラ１０６によって撮影された最大範囲の画像をユーザが取得することができる。プレビュー画像としてどの範囲の画像を表示させるかは、携帯電話機１００の設計者の考え方によるが、ユーザが選択できるように設計することも可能である。本実施例では、プレビュー画像として点Ａ、Ｂ、Ｃ、Ｄを４つの頂点とする矩形領域としての第２の枠１５２の画像をプレビュー画像としている。これにより、水平撮影モードで多人数の集合写真をギリギリの撮影範囲で撮ったような場合に、水平方向の修正が行われたとしても、第２の枠１５２は第３の枠１５３に内接するので、被写体の一部が欠けるといった不都合が生じることがない。

このように本実施例では、水平撮影モードに設定しておくことで、携帯電話機１００の姿勢を調整する必要なく画像の水平方向の調整が行われるために、ユーザが画像の編集ソフトを使用するといったような負荷を軽減することができる。また、は岩場や船の甲板といったような撮影が不安定な場所でも、カメラ１０６の姿勢を気にすることなく被写体に注力して撮影を行うことができる。

＜発明の変形例＞

以上説明した実施例では、加速度センサ１０７で水平線１５７（図８）の検出のみを行って、カメラ１０６によって撮影した画像が水平方向に一致するようにその切り出しを行った。これは、カメラ１０６の受光面がほぼ垂直になっていることを前提としている。

図１０は、携帯電話機のカメラが傾斜した状態で被写体を撮影している状態を表わしたものである。この変形例の携帯電話機１００Ａは、３軸の加速度センサ１０７を用いることで、カメラ１０６の受光面３０２がこのように地面に対して垂直となっていない場合の被写体３０１の画像の補正を行うことができる。もちろん、先の実施例と同様に水平方向の補正も可能である。

図１１は、この携帯電話機の回路構成の概要を示したものである。図１１で図５と同一部分には同一の符号を付しており、これらの説明を適宜省略する。携帯電話機１００Ａの第１のメモリ１２４Ａには、撮影画像バッファ領域１２５の他に、途中画像バッファ領域３１１が設けられている。途中画像バッファ領域３１１は、カメラ１０６の受光面が垂直となっていない場合の最終補正の手前の補正処理に使用するバッファ領域である。

また、第２のメモリ１２６Ａには第１〜第Ｎの撮影画像１２７₁〜１２７_Nを格納する領域の他に、回転角対応補正テーブル部３１２が設けられている。回転角対応補正テーブル部３１２は、図１０に示したカメラ１０６の受光面３０２が垂直方向に対して回転した回転角に対応した補正テーブル群を格納したものである。ここには、複数の代表的な回転角に対応する補正テーブルが備えられており、補正の際には実際の回転角から近似される回転角の補正テーブルが選択されるようになっている。補正テーブルを選択して使用するのは、画像の補正のための演算処理を簡易化して高速処理を可能にするためである。したがって、このような回転角対応補正テーブル部３１２を設ける代わりに、回転角に応じた演算を直接行うようにしてもよい。主制御部１２３Ａは、この変形例の携帯電話機１００Ａに対応する制御を行う制御プログラムを制御用記憶媒体１２２Ａに格納している。

図１２および図１３は、３次元補正モードがオンとなっているカメラが起動された場合の撮影処理の概要を表わしたものである。ここで３次元補正モードがオンとは、ユーザが予め携帯電話機１００Ａを操作して、カメラ１０６の姿勢に起因する水平方向の補正だけでなく、受光面が上下に傾いた仰角からなる回転角の補正も行う３次元補正モードを採用することを設定している状態をいう。図１１と共に説明する。なお、３次元補正モードがオフとなった状態では、図７とほぼ同様の制御が行われることになるのでその図示および説明は省略する。

３次元補正モードがオンとなっている場合、ユーザがキー操作部１０５の特定のキー操作したのを主制御部１２３Ａが検知することによってカメラ１０６が起動される（ステップＳ４０１）。この状態で液晶表示部１０４にプレビュー画像が表示される（ステップＳ４０２）。この状態で主制御部１２３Ａは、ユーザがキー操作部１０５の所定のシャッタキーを押下するか、あるいは撮影モードを終了させる操作を行うかを待機する（ステップＳ４０３、ステップＳ４０４）。いずれの操作も行われない間（ステップＳ４０３：Ｎ、ステップＳ４０４：Ｎ）、液晶表示部１０４に表示されるプレビュー画像は、比較的短い時間を周期としてその内容が更新される（ステップＳ４０２）。ユーザは、このプレビュー画像を見て被写体の配置を確認すると共にシャッタを押すタイミングを判断する。

ユーザが所定のシャッタキーを押下すると、主制御部１２３Ａはこれによる撮影要求を検知する（ステップＳ４０３：Ｙ）。主制御部１２３Ａはこのときカメラ１０６から送られてきた画像データを撮影画像として第１のメモリ１２４Ａの撮影画像バッファ領域１２５に転送する（ステップＳ４０５）。これと共に、主制御部１２３Ａは撮影要求を受信したタイミングで加速度センサ１０７から重力方向の座標値を取得する（ステップＳ４０６）。主制御部１２３Ａは、取得した重力方向の座標値から水平線の方向を算出する（ステップＳ４０７）。

図１４は、図８に対応するもので３次元の補正を行う際の前段階として水平方向の補正が行われる原理を説明するためのものである。図１１と共に説明する。今、図１０に示したビル等の直方体の被写体３０１を上向きに撮影すると、直方体の被写体３０１の前面の長方形の４隅の頂点を構成する点ａ、ｂ、ｃ、ｄが図１４のように変形したカメラ１０６の画像（第１の枠）が得られる。

このときの点Ａ、Ｂ、Ｃ、Ｄを４つの頂点とする矩形領域（第２の枠）が、液晶表示部１０４によるプレビュー画像となる。画像の中心１５５を基点としたときの加速度センサ１０７によって判別された重力方向ベクトルは矢印１５６で表わされる。これを基にして水平線１５７の検出を行い、水平線１５７が矩形領域の長辺と平行になった点Ａ′、Ｂ′、Ｃ′、Ｄ′を４つの頂点とする領域が選択されることになる（図１２ステップＳ４０８）。このようにして作成された領域（第３の枠）の画像データは、第１のメモリ１２４Ａの途中画像バッファ領域３１１に格納される（図１３ステップＳ４０９）。

この段階で、主制御部１２３Ａは加速度センサ１０７から撮影時の回転角情報を取得する（図１３ステップＳ４１０）。回転角情報とは、カメラ１０６の受光面が上下に傾いた仰角に関する情報であり、主制御部１２３Ａはこれに近似する回転角の補正テーブルを第２のメモリ１２６Ａの回転角対応補正テーブル部３１２に備えられた複数のテーブルから１つ選択する（ステップＳ４１１）。そして、この補正テーブルに示された点Ａ′、Ｂ′、Ｃ′、Ｄ′を４つの頂点とする領域の各部位の伸縮情報に基づいてこれらの部位のサイズを伸縮する（ステップＳ４１２）。

各部の伸縮の手法は各種考えることができる。たとえば、点Ａ′、Ｂ′、Ｃ′、Ｄ′を４つの頂点とする領域を、点Ａ′、Ｂ′と平行なラインで１ラインずつ補正テーブルの各部に示した値で横のライン方向に伸縮を行い、続いて点Ａ′、Ｄ′と平行なラインで１ラインずつ補正テーブルの各部に示した値で縦のライン方向に伸縮を行って、各部の歪を補正するようにする。

図１５は、このようにして得られた３次元補正後の画像データからアスペクト比を調整した点Ａ′′、Ｂ′′、Ｃ′′、Ｄ′′を４つの頂点とする矩形領域を示したものである。直方体の被写体３０１の前面の点ａ、ｂ、ｃ、ｄが長方形の頂点として補正されている（図１３ステップＳ４１３）。点Ａ′′、Ｂ′′、Ｃ′′、Ｄ′′を４つの頂点とする矩形領域を第４の枠とすると、第４の枠の画像データは第２のメモリ１２６Ａに転送されて、第１〜第Ｎの撮影画像１２７₁〜１２７_Nの１つとして格納されることになる（ステップＳ４１４）。

なお、第３の枠の画像データから第４の枠の画像データを作成する場合、第３の枠の画像データを全部包含させる形で第４の枠の画像データを作成すれば、プレビュー画像として表示された画像のすべては第４の枠の画像データに含まれることになり、画像の部分的な欠落は発生しない。ただし、この場合には第４の枠の周辺部分の画像データが、空白データとなる可能性がある。この空白領域を除去したり、できるだけ少なくしようとする場合には、点Ａ′、Ｂ′、Ｃ′、Ｄ′を４つの頂点とする領域よりも更に広範囲の領域に対して回転角に応じた補正を行うようにすればよい。もちろん、空白データが周辺部分に発生しないように点Ａ′′、Ｂ′′、Ｃ′′、Ｄ′′からなる矩形領域を、第４の枠よりも一回り小さなサイズとするように切り出してもよい。

このように本発明の変形例によれば、携帯電話機１００Ａをある程度ラフな方向に向けて撮影しても、水平方向の補正だけでなくカメラ１０６の受光面３０２（図１０）と垂直方向の傾きまで補正した画像を得ることができる。したがって、カメラとしての専用機でない携帯電話機１００Ａ等の情報処理装置であって、ハンドグリップ部が存在せず被写体に対する姿勢が狂いがちになる装置であっても、良好なフレーム構成で歪の少ない画像を取得することかできる。

以上、２つの筐体を連結した折り畳式の携帯電話機を例に挙げて説明したが、１つの筐体の携帯電話機であっても本発明を適用することができる。また、携帯電話機だけでなく、カメラを付属したあらゆる情報処理装置に対して本発明を適用することができることも当然である。

また、実施例では静止画としての画像処理を説明したが、カメラ１０６を用いて動画を撮影する場合にも本発明を同様に適用することができる。

本発明の一実施例における携帯電話機を正面側から見た斜視図である。本実施例の携帯電話機を背面側から見た斜視図である。本実施例の携帯電話機における加速度センサの３軸の方向を示した説明図である。図３で示した加速度センサを拡大して３軸の方向を示した説明図である。本実施例の携帯電話機の回路構成の概要を示すブロック図である。本実施例で水平撮影モードに設定されている場合のカメラによる撮影処理の概容を表わした流れ図である。本実施例で水平撮影モードに設定されていない場合のカメラによる撮影処理の概容を表わした流れ図である。重力方向の座標値を用いて水平方向へ補正された画像を取得する原理を示した説明図である。水平方向についての補正後の画像を表わした平面図である。本発明の変形例で携帯電話機のカメラが傾斜した状態で被写体を撮影している状態を表わした説明図である。この変形例における携帯電話機の回路構成の概要を示したブロック図である。この変形例で３次元補正モードがオンとなっているカメラが起動された場合の撮影処理の概要の一部を表わした流れ図である。この変形例で３次元補正モードがオンとなっているカメラが起動された場合の撮影処理の概要の残りの部分を表わした流れ図である。この変形例で３次元の補正を行う際の前段階として水平方向の補正が行われる原理を示した説明図である。この変形例で３次元補正後の画像データからアスペクト比を調整した矩形領域を示した説明図である。

符号の説明

１００、１００Ａ携帯電話機（情報処理装置）
１０４液晶表示部
１０５キー操作部
１０６カメラ
１０７加速度センサ
１２１ＣＰＵ
１２２、１２２Ａ制御用記憶媒体
１２３、１２３Ａ主制御部
１２４、１２４Ａ第１のメモリ
１２５撮影画像バッファ領域
１２６、１２６Ａ第２のメモリ
１２７撮影画像
１５１第１の枠（カメラによって取得された画像領域）
１５２第２の枠（プレビュー画像）
１５３第３の枠（水平方向の補正後の画像領域）
３０１被写体
３０２（カメラの）受光面
３１１途中画像バッファ領域
３１２回転角対応補正テーブル部

Claims

所定の情報処理機能を備えた装置本体と、
この装置本体の所定位置に配置され、その前方を撮影するカメラと、
このカメラの撮影時における水平方向を検出する水平方向検出手段と、
前記カメラの撮影した矩形状の第１の枠を外枠とする画像領域から一回り小さく各辺が前記第１の枠の対応する辺と平行な矩形状の第２の枠を外枠とする画像領域を切り出してプレビュー画像とするプレビュー画像切り出し手段と、
前記第２の枠を内部に包含し、かつ構成する枠の全範囲が前記第１の枠の内部に包含されており、その枠の対向する特定の２辺が前記平方向検出手段の検出した水平方向に平行となった矩形状の第３の枠を外枠とする画像領域を、水平方向に補正した後の画像領域として切り出す水平方向補正画像切り出し手段
とを具備することを特徴とする情報処理装置。
前記水平方向検出手段は、加速度センサを備え、この加速度センサの検出する重力方向と直交する方向として水平方向を検出することを特徴とする請求項１記載の情報処理装置。
前記第３の枠は前記第２の枠を内接させていることを特徴とする請求項１記載の情報処理装置。
前記水平方向補正画像切り出し手段は、前記プレビュー画像切り出し手段の切り出した第２の枠とアスペクト比が一致するように調整して第３の枠を切り出すことを特徴とする請求項１記載の情報処理装置。
前記加速度センサは３軸の加速度センサであり、前記カメラの受光面と鉛直方向とのなす角による画像の歪を補正する３次元補正手段を更に具備することを特徴とする請求項２記載の情報処理装置。
カメラと加速度センサを備えた情報処理装置のコンピュータに、
前記カメラの撮影時に前記加速度センサの検出出力を用いて水平方向を検出する水平方向検出処理と、
前記カメラの撮影した矩形状の第１の枠を外枠とする画像領域から一回り小さく各辺が前記第１の枠の対応する辺と平行な矩形状の第２の枠を外枠とする画像領域を切り出してプレビュー画像とするプレビュー画像切り出し処理と、
前記第２の枠を内接させ、かつ構成する枠の全範囲が前記第１の枠の内部に包含されており、その枠の対向する特定の２辺が前記平方向検出処理で検出した水平方向に平行となった矩形状の第３の枠を外枠とする画像領域を、水平方向に補正した後の画像領域として切り出す水平方向補正画像切り出し処理
とを実行させることを特徴とする画像補正用制御プログラム。
装置本体に付属したカメラの撮影時に加速度センサの検出出力を用いて水平方向を検出する水平方向検出ステップと、
前記カメラの撮影した矩形状の第１の枠を外枠とする画像領域から一回り小さく各辺が前記第１の枠の対応する辺と平行な矩形状の第２の枠を外枠とする画像領域を切り出してプレビュー画像とするプレビュー画像切り出しステップと、
前記第２の枠を内接させ、かつ構成する枠の全範囲が前記第１の枠の内部に包含されており、その枠の対向する特定の２辺が前記平方向検出ステップで検出した水平方向に平行となった矩形状の第３の枠を外枠とする画像領域を、水平方向に補正した後の画像領域として切り出す水平方向補正画像切り出しステップ
とを具備することを特徴とする情報処理装置の画像補正方法。