JP2007174685A - コンピュータ及び撮像システム - Google Patents

Abstract

【課題】電子スチルカメラで撮像された静止画像に対する新しい画像処理技術を提供する。
【解決手段】電子スチルカメラ１０は、被写体の静止画像に対応して画像信号を発生する電子撮像センサ１６と、被写体に対するカメラの向きを検知する方向判断部３６とを備える。方向判断部３６は被写体に対してカメラが垂直か水平かを認識する方向信号を発生する。方向信号は、静止画像とともに、取り外し可能固体メモリカード２４に出力される。コンピュータシステム２８は、取り外し可能固体メモリカード２４から方向信号と静止画像を入力し、静止画像に対する露光制御を方向信号に応じて実施する。
【選択図】図２

Description

本発明は電子スチル撮影の分野に関し、より特定的には被写体に対して様々な向きで保持できる手持ち式の電子スチルカメラの分野に関する。

テレビ画面に画像を表示する８ｍｍカムコーダ等の従来のビデオカメラでは、正方向を向いた画像を得ようとするとカメラを正水平（いわゆる「風景」方向、以下、単に風景方向と称す）に構えなければならない。カメラを垂直（いわゆる「人物」方向、以下、単に人物方向と称す）に回転させると、テレビ画面に表示される画像もカメラの回転に応じて回転する。表示画面を回転させるかまたは視聴者が画面を見る方向を変えれば画像は回転しないことになるが、これはテレビの場合は実際的な方法ではない。この画像の回転は実用上はさらに大きな問題である。なぜなら、人物方向への回転は実際には時計回りの回転と反時計回りの回転という２方向があるからである。このため、図１に示すように２つの人物方向のそれぞれで空は画面上部ではなく画面の左または右側に現れる。従来のフィルムを用いる写真撮影では、フィルム用カメラは任意の方向に回転させることができた。従って、垂直の人物カメラ方向で撮った写真を見る時には写真を回転させ、またスライドの場合はプロジェクタの中でやはりスライドの向きを回転させて見ていた。

これに対して、Ｋｏｄａｋ ＤＣ４０カメラ（発売元：イーストマン・コダック社）等の最新の電子スチルカメラでは、撮影した静止画像をユーザがコンピュータ画面上に表示することができる。フィルムを使用するカメラと同様に、かかる電子カメラは簡単に回転させることができるため、画像は水平の風景方向か、または２つの垂直人物方向のいずれかを向くように配置できる。ただし、コンピュータ画面に現れる最初の画像は常にカメラが水平位置にある場合を想定したものである。このため、人物方向に向けたカメラで撮影した画像はどれも回転していて、空（像の上部にあるべきもの）が像の上部ではなくて左か右にある。コンピュータ画像処理ソフトウェアの中には、Ａｄｏｂｅ Ｐｈｏｔｏｓｈｏｐ（商標）（発売元：アドベ社）のようにコンピュータに記憶した画像を正しい向きに回転させる機能を持つものもあるが、これにはユーザが人物方向の画像を１つずつ選択して、それぞれを時計方向または反時計方向に回転させるという手間のかかる操作を手動で行わなければならない。

また、特別な「アルバムアプリケーション」と呼ばれる自動方向転換機能が米国特許第５，２７４，４１８号に記載されている。このスチルビデオカメラは複数の画像を制御情報とともに撮影して、それらの画像をアルバムの１ページのように編集する。カメラには出力媒体に方向に関する印をつける方向検出器が備えられており、別に設けたプレーヤがこの方向データを読み取って、画像をアルバムの１ページのように正しく配置して表示するために必要に応じて画像を調整する。この撮像システムではプレーヤ中に特別なアプリケーションプログラムが必要であり、方向の修正はその特別なプレーヤを用いなければできない。つまり、方向転換はこの特別のプレーヤ中の特別なアプリケーションプログラムを用いる場合にのみ「自動」で行われることになる。

所望しないカメラの傾きを補正する別のタイプの画像処理方法もある。一例として米国特許第５，２２７，８８９号に記載されているようなビデオカメラは、例えば歩行中の撮影などのためにカメラが傾いている場合に、このカメラ全体の垂直方向の傾斜量を検知して補正する。傾きの補正は、傾斜情報に基づいて２つのフィールドメモリのアドレス指定を制御し、出力される動画像信号の傾きをリアルタイムで補正して行う。こうして所望しないカメラの向きが出力信号中で補正される。しかし突発的な傾きの補正は動画用ビデオカメラの場合は必要であるが、スチルカメラでは、出来上がったスチル写真に希望するディテールをすべて入れたい場合などに故意に傾斜した写真を撮るように操作することが多いため、前述のように連続してカメラの傾斜を補正するとこれができなくなってしまう。つまり、問題は画像の傾きといった望ましくない状況をどう制御するかではなく、人物方向などの所望する状況をどう操作するか、そしてその状況をどのように適切に修正するかということである。

本発明の課題は、電子スチルカメラで撮像された静止画像に対する新しい画像処理技術を提供することにある。

本発明のコンピュータの一態様においては、被写体に対して垂直の人物方向と水平の風景方向とを含む多様な向きに位置決めすることの可能な電子スチルカメラにより撮像された前記被写体に対する静止画像と、前記被写体に対する前記電子スチルカメラの少なくとも前記垂直方向を示す方向信号と、を入力する入力手段と、前記静止画像に対する露光制御のための画像処理を、前記方向信号に応じて行う画像処理手段と、を備える。

本発明の撮像システムの一態様においては、被写体に対して垂直の人物方向と水平の風景方向とを含む多様な向きに位置決めすることの可能な電子スチルカメラであって、前記被写体の静止画像に対応して画像信号を発生する電子撮像センサと、前記被写体に対する前記カメラの向きを検知し、前記被写体に対する前記カメラの少なくとも前記垂直方向を示す方向信号を発生する方向判断部と、前記方向信号に応答して前記画像信号を処理し、前記画像信号の方向を修正して、前記静止画像が所定の向きで出力されるようにする画像プロセッサとを備えるカメラと、前記静止画像に対する露光制御のための画像処理を、前記方向に応じて行う画像処理手段と、を備える。

本発明のこのような目的、特徴、および利点は、前掲の特許請求の範囲、および以下の好ましい実施形態の詳細な説明、ならびに添付の図面を参照することにより、一層明白に理解することができると考える。

図２に本発明に従う自動方向修正機能を用いる電子カメラ１０のブロック図を示す。このカメラは通常は、被写体１４の像を電荷結合素子（以下、ＣＣＤと称す）撮像センサ１６上に結像する手持ち式の装置である。センサ１６はＣＣＤドライバ回路１８によってクロック決めされて、被写体の静止画像に対応するアナログ画像信号を発生する。このアナログ画像信号はＡ／Ｄ変換器２０によってデジタル画像信号に変換される。露光時間の制御は、従来の絞り２３によってレンズ１２の開口を調節し、かつＣＣＤドライバ回路１８によって撮像センサ１６の従来の電子シャッターを使って行われる。（電子シャッターの代わりに機械式シャッター（図示せず）を用いてもよい。）デジタル画像信号は画像プロセッサ２２で処理されて、複数個の処理済みデジタル画像記憶用のメモリを有する取り外し可能な固体メモリカード２４などのデジタルメモリに記憶される。ＣＣＤ撮像センサ１６には、５１２本の受光素子（１本あたり受光素子７６８個）からなるＫｏｄａｋのモデルＫＡＦ−０４００ＣなどのＣＣＤセンサが用いられる。このＫＡＦ−０４００Ｃ ＣＣＤセンサでは，垂直・水平方向についての受光素子間の間隔はどちらも９ミクロンであるため、画素は正方形であり、水平アスペクト比は３：２である。

メモリカード２４は、『ＰＣカード基準２．０版』（１９９１年９月パーソナル・コンピュータ・メモリカード・インターナショナル・アソシエーション出版、所在地：米国カリフォルニア州サニィベイル）に記載されている、周知のＰＣＭＣＩＡカードインターフェイス基準に従って構成されたものが好ましい。この基準では、メモリカード２４をＰＣＭＣＩＡインタフェース２６を介してカメラ１０に結合するためのインタフェースピンの割当が規定されている。メモリカード２４はインタフェース２６から離せばカメラ１０から取り外すことができる。取り外したカード２４は同様のＰＣＭＣＩＡインタフェース３０を介してコンピュータ２８へ挿入することができる。するとコンピュータ２８中の中央処理装置３２がメモリカード２４から画像信号を読み出し、この画像信号をディスプレイ３４に送って画像をコンピュータシステム上に表示する。この代わりに、メモリカード２４に対応する固体メモリをカメラ内部に取り付け、カメラ自身をインタフェースケーブル（図示せず）につないで画像をダウンロードして表示することも可能である。どちらの場合も画像は正しく見えるように正しい向きで表示される。

本発明の一実施形態では、カメラは方向判断部３６を備える。この方向判断部３６はカメラが水平の風景方向を向いているか、または第１（時計回り）もしくは第２（反時計回り）の垂直の人物方向を向いているかどうかを判断する。（図９のところで詳しく述べるが、この方向判断部３６はカメラが上下逆さまの逆水平位置に保持されていることも判断できる。）方向判断部３６は１つ以上の方向センサ４０と、被写体に対するカメラの向きを示す方向信号を発生する論理部４２とを含む。方向信号はカメラ制御インタフェース３８に送られる。方向信号は少なくともカメラが垂直方向を向いていることを示す。（従って、この信号がない場合は水平方向を向いていることが示される。）または、カメラが垂直方向であるか水平方向であるかを積極的に示す場合もある。カメラ制御インタフェース３８はシャッターボタン４４によって合図されると、ＣＣＤドライバ１８にセンサ１６からの画像信号のクロック決めを行わせるよう命令する。同時に、インタフェース３８は方向判断部３６から画像プロセッサ２２へ方向信号を与える。画像プロセッサ２２はこの方向信号に応答して画像信号を処理し、画像信号の方向を修正することにより、静止画像を所定の向きで画像プロセッサ２２から出力してメモリカード２４に記憶し、その後、ディスプレイ３４に画像を表示する。通常は、この所定の向きはすべての画像に共通であり、画像プロセッサ２２は垂直方向の画像を水平方向の画像に変換する。注記しておくが、風景方向については画像は５１２（Ｖ）ｘ７６８（Ｈ）であるが、人物方向では記憶される画像は７６８（Ｖ）ｘ５１２（Ｈ）である。

図８には、画像の回転を求めるための信号処理アーキテクチャを概略的に示す。このアーキテクチャは画像プロセッサ２２にハードウェアまたはソフトウェアとして組み入れることができる。Ａ／Ｄ変換器２０から読み出されたデータは入力バス５０を介してランダムアクセスバッファメモリ（以下、ＲＡＭと称す）５２に結合され、ＲＡＭ５２は少なくとも１つの画像（５１２ｘ７６８画素）に対応する記憶容量を有する。方向信号は制御バス５４を介してメモリ読み出しコントローラ５６へ結合される。このコントローラ５６は画像プロセッサ２２中のコントローラ用マイクロプロセッサ５７の一部をプログラムしたものでもよいし、マイクロプロセッサ５７によって駆動されてメモリ５２への読み出しアドレス信号およびクロック信号の発生を制御する別個の専用の組み合わせ論理部であってもよい。アドレス信号およびクロック信号は、アドレスバスリンク５８および６０を介して、関連づけられた一組の行アドレスカウンタ６２および列アドレスカウンタ６４に与えられて、メモリ５２の内容へのアクセスレートおよびアクセス順序を制御する。特に、クロック信号線はカウンタ６２および６４を増分（増減信号がアサートされた場合）、または減分（増減信号がアサートされない場合）させる。米国特許第５，２７０，８３１号（発明の名称「デジタル化した画像を表示制御ファイルとともにデジタルデータベース中で記憶および再生して、画像の向きおよびアスペクト比を規定する方法」）には、ここで説明したのと同様の方向コードを自動的に使用する信号処理アーキテクチャが記載されている。この特許の内容は本明細書に引用により援用するものとする。

メモリコントローラ５６は図９に示すように画素ラスタの読み出しを制御することによってメモリ５２中の画像の向きを変える。メモリ書き込みマップ６６は方向に関係なくセンサ１６から直接取り込まれたデータを示す。カメラが水平の場合は水平読み出しマップ６８はメモリ書き込みマップ６６と同じであるが、カメラが時計回りに垂直または反時計回りに垂直方向を向いている場合は、メモリコントローラ５６はメモリ５２を、垂直（時計回り）メモリ読み出しマップ７０では左下から、垂直（反時計回り）メモリ読み出しマップ７２では右上から、順次読み出していく。図９はまた、逆水平画像、つまりカメラ１０が水平だが上下逆さまに保持されている場合に得られる画像についても示す。この場合、逆メモリ読み出しマップ７４は水平メモリ読み出しマップ６８のちょうど逆である。 （ただしこのような逆位置は故意にではなく偶発的に発生することの方が多いので、カメラ１０にはカメラが逆さまになった場合に備えてロックアウトまたは警戒機構（図示せず）を備えてもよい。）

図７には方向センサ４０の一実施形態を示す。カメラ１０には水銀を充填した２つのスイッチ８２、８４が、一方は垂直にもう一方は水平に取り付けられる。スイッチ８２、８４は、第一のスイッチコンタクト対８６と第二のスイッチコンタクト対８８とを含み、第一と第二のスイッチコンタクトの間には導電性の水銀の泡９０が閉じ込められる。この導電性の水銀の泡９０には、２つの方向センサ８２、８４のいずれか一方の２つのスイッチコンタクト８６、８８のうちの１つを閉じるように重力が働き、もう一方の方向センサのスイッチコンタクト８６、８８は両方とも開いている。このように信号が＋Ｖレベル（つまりハイレベル）になるように３つのスイッチは常に開いており、同時に信号がローレベル（つまり接地レベル）になるように１つのスイッチが閉じている。従って、どの信号がローレベルなのかがわかればカメラの向きを判断することができる。例えば、スイッチ８２のスイッチコンタクト８８が閉じている場合はカメラ１０は水平位置で保持されており、スイッチ８４のスイッチコンタクト８６または８８のどちらか一方が閉じている場合はカメラ１０は２つある人物位置のどちらかの位置で保持されている、といった具合である。スイッチの出力は論理部４２に与えられ、ここでスイッチ信号を例えば００＝水平、０１＝垂直（時計回り）、１０＝垂直（反時計回り）、という風に方向コードに変換する。

図７は方向センサの概念を表しているもので、実際には少なくともいくつかの応用では水銀を使用しない方が好ましい。また、ホトインタラプタ型のスイッチを用いることも可能である。このタイプのスイッチでは、例えば２つの人物方向を検知するためにカメラの両端にそれぞれ発光器と検出器とを設けて、カメラの向きに応じて光を遮断する球が溝に沿って引きずられる。またこの代わりに、例えば重みをつけた遮光ホィールを設けて、これをカメラ本体に取り付けた１つの発光器と２つの検出器との間で回転させることもできる。風景方向では検出器が両方共ブロックされ、各人物方向ではどちらか１つの検出器がブロックされるように、ホィールには光透過溝が設けられる。

図３には本発明のカメラの操作方法を示す。ユーザがシャッターボタン４４を押して撮影を行うと、センサ１６が露光されて画像が読み出され、画像がセンサ１６から読み出される間に方向判断部３６によってカメラ１０の向きが判断される。方向の修正が必要な場合は、画像プロセッサ２２が画像データを回転させ、回転した画像データはメモリカード２４に正しい向きで記憶される（図４参照）。図５および図６にはカメラの他の走査方法を示す。ここでは、画像データがＲＡＭメモリ５２へ書き込まれる際に、各画像とともにカメラの方向コードがヘッダに記憶される。この段階では、各画像はまだ５１２（Ｖ）ｘ７６８（Ｈ）のままであり、方向コードはこの画像を通常の風景モード（００）で表示するか、または人物方向Ｎｏ．１（０１）で撮影された場合は時計回りに回転させて表示するか、または人物方向Ｎｏ．２（１０）で撮影された場合は反時計回りに回転させて表示するかのいずれかを示す。各画像がＲＡＭ５２から読み出されると、プロセッサ５７は方向コードを検査して、カメラの向きに応じて必要ならば画像を回転させる。こうして各画像は、図６に示すように正しい向きでメモリカード２４に記憶される。このように方向コードをヘッダに記憶する実施形態の利点は、プロセッサ５７が画像の回転を始める前に、ヘッダ付きの複数の画像を取得してバッファメモリ５２に記憶できる点である。これにより、バースト方式での操作が容易になり、複数の画像を素早く撮影することができる。また、上述した米国特許第５、２７０、８３１号は、取得した画像を処理する際に画像ヘッダ中の方向情報をデコードする、プロセッサ中で用いる信号処理アーキテクチャを開示している。このアーキテクチャでは、画像は直立方向で、かつ後でコンピュータによって画面上に表示するのに正しいアスペクト比でメモリカードに記憶される。

また図６に示すように、方向コードは正しい向きの画像とともにメモリカード２４に記憶することができる。記憶された方向コードはメモリカード２４がコンピュータ２８に移され、コンピュータ２８が画像処理を行う時に有用となり得る。例えば、露光制御のための画像処理を画像の向きに応じて行うようにしてもよいし、またはコードによって画像のアスペクト比を構成しなおして、例えば境界領域のついた肖像画のような効果を得ることもできる。また、カメラには方向オン／オフスイッチ３６’を設けて、未修正の画像をメモリカードに記憶させてもよい。この場合、方向の修正はコンピュータによってのみ行われる。だがもしすべての画像をカメラ内部で修正したければ、スイッチ３６’をオンに設定し、図３に示すフロー図に従ってカメラを操作すればよい。この実施形態では、画像は必要に応じていつも回転させられており、元の向きの記録はヘッダには保存されない（上述したヘッダに方向コードを記憶させる実施形態の場合を除く）。

以上のように本発明を好ましい実施形態によって説明してきたが、当業者であれば本発明の範囲から逸脱することなく変形および修正を行うことができると考える。

なお、本願は、平成８年特許願第８１２８９号（平成８年４月３日出願）を原出願とする分割出願である。本願発明の参考態様として、以下に、原出願における特許請求の範囲の記載を転記しておく。

１． 被写体に対して垂直の人物方向と水平の風景方向とを含む多様な向きに位置決めすることの可能な電子スチルカメラであって、
前記被写体の静止画像に対応して画像信号を発生する電子撮像センサと、
前記被写体に対する前記カメラの向きを検知し、前記被写体に対する前記カメラの少なくとも前記垂直方向を示す方向信号を発生する方向判断部と、
前記方向信号に応答して前記画像信号を処理し、前記画像信号の方向を修正して、前記静止画像が所定の向きで出力されるようにする画像プロセッサとを備えるカメラ。

２． １に記載のカメラにおいて、前記方向判断部は、前記被写体に対する前記垂直方向に加えて前記水平方向も示すことを特徴とするカメラ。

３． １に記載のカメラにおいて、前記方向判断部は、前記カメラの前記垂直方向および前記水平方向に応答する方向センサを含むことを特徴とするカメラ。

４． ３に記載のカメラにおいて、前記方向判断部は、前記方向センサに応答して、前記複数の方向を示す複数の値を有する方向コードを生成する論理部を含むことを特徴とするカメラ。

５． １に記載のカメラにおいて、前記画像プロセッサは、前記画像信号を記憶するためのバッファメモリと、前記バッファメモリをアドレス指定するメモリコントローラとを含み、これにより非水平方向については書き込まれる順序と異なる順序で前記メモリが読み出され、前記画像は常に前記所定の向きで前記画像プロセッサから出力されるように、前記アドレスが読み出し周期と書き込み周期との間で変化することを特徴とするカメラ。

原出願の［発明が解決しようとする課題］の欄には、「以上のように、被写体に対して垂直の人物方向と水平の風景方向とを含む様々な方向に位置決めできる電子スチルカメルにおいて、従来の電子スチルカメラでは、特別なアプリケーションプログラムを用いずに被写体に対するカメラの向きを自動で検知して画像の方向を修正し、正しい向きの画像を出力することができなかった。」との記載がなされている。

原出願の［課題を解決するための手段］の欄には、次の記載、「より特定的には、電子スチルカメラは一対の水銀スイッチ等の方向センサを含む。この方向センサは撮影の際にユーザがカメラを正水平の風景方向に保持しているのか、または垂直の人物方向に保持しているのかを判断する。画像はカメラ内部で回転して常に同じ方向（つまり水平）で記憶される。」が含まれている。

原出願の［発明の効果］の欄には、「本発明の主たる利点は、記憶される画像が常に正しい方向を向くようにカメラ内部で画像の回転が行われるため、特別なアプリケーションプログラムを用いることなく画像をプレーヤまたはコンピュータの画面上に正しく表示することができることである。」との記載がなされている。

垂直の人物方向の画像が表示画面上に間違った向きで示される先行技術の状況を示す図である。 本発明に従う方向修正機能を有する電子スチルカメラを含む撮像システムのブロック図である。 本発明に従うカメラの操作を示すフロー図である。 本発明に従って正しい向きで記憶された画像を示す図である。 本発明に従うカメラの他の操作を示すフロー図である。 図５に示す他の操作に従って記憶された画像を示す図である。 図２に示すカメラで用いられる方向センサの一実施形態を示す図である。 画像の回転を求めるための信号処理アーキテクチャの一実施形態を示す図である。 バッファメモリを様々な方向について読み出すために図８のアーキテクチャがどのように用いられるかを示す図である。

符号の説明

１０ 電子カメラ、１２ レンズ、１４ 被写体、１６ ＣＣＤ撮像センサ、１８ ＣＣＤドライバ回路、２０ Ａ／Ｄ変換器、２２ 画像プロセッサ、２４ 取り外し可能固体メモリカード、２６，３０ ＰＣＭＣＩＡインタフェース、２８ コンピュータ、３２ 中央処理装置、３４ ディスプレイ、３６ 方向判断部、３８ カメラ制御インタフェース、４０ 方向センサ、４２ 論理部、４４ シャッターボタン、５０ 入力バス、５２ ＲＡＭバッファメモリ、５４ 制御バス、５６ メモリ読み出しコントローラ、５７ コントローラマイクロプロセッサ、５８，６０ アドレスバスリンク、 ６２ 行アドレスカウンタ、６４ 列アドレスカウンタ、６６ メモリ書き込みマップ、６８ 水平メモリ読み出しマップ、７０ 垂直（時計回り）メモリ読み出しマップ、７２ 垂直（反時計回り）メモリ読み出しマップ、７４ 反転メモリ読み出しマップ、８２，８４ 水銀スイッチ、８６，８８ スイッチコンタクト、９０ 水銀。

Claims (2)

1. 被写体に対して垂直の人物方向と水平の風景方向とを含む多様な向きに位置決めすることの可能な電子スチルカメラにより撮像された前記被写体に対する静止画像と、前記被写体に対する前記電子スチルカメラの少なくとも前記垂直方向を示す方向信号と、を入力する入力手段と、
   前記静止画像に対する露光制御のための画像処理を、前記方向信号に応じて行う画像処理手段と、
   を備えることを特徴とするコンピュータ。
2. 被写体に対して垂直の人物方向と水平の風景方向とを含む多様な向きに位置決めすることの可能な電子スチルカメラであって、前記被写体の静止画像に対応して画像信号を発生する電子撮像センサと、前記被写体に対する前記カメラの向きを検知し、前記被写体に対する前記カメラの少なくとも前記垂直方向を示す方向信号を発生する方向判断部と、前記方向信号に応答して前記画像信号を処理し、前記画像信号の方向を修正して、前記静止画像が所定の向きで出力されるようにする画像プロセッサとを備えるカメラと、
   前記静止画像に対する露光制御のための画像処理を、前記方向に応じて行う画像処理手段と、
   を備えることを特徴とする撮像システム。

Images