JP2014007508A - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP2014007508A
JP2014007508A JP2012141036A JP2012141036A JP2014007508A JP 2014007508 A JP2014007508 A JP 2014007508A JP 2012141036 A JP2012141036 A JP 2012141036A JP 2012141036 A JP2012141036 A JP 2012141036A JP 2014007508 A JP2014007508 A JP 2014007508A
Authority
JP
Japan
Prior art keywords
casing
information processing
processing apparatus
closed
housing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012141036A
Other languages
English (en)
Other versions
JP5796747B2 (ja
Inventor
Tetsuya Kuromatsu
哲也 黒松
Keiichi Tanioka
恵一 谷岡
Yasuaki Ogawa
泰明 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2012141036A priority Critical patent/JP5796747B2/ja
Priority to CN201380042839.5A priority patent/CN104541496B/zh
Priority to US14/410,484 priority patent/US9413931B2/en
Priority to PCT/JP2013/066289 priority patent/WO2013191068A1/en
Priority to TW102121512A priority patent/TWI519103B/zh
Publication of JP2014007508A publication Critical patent/JP2014007508A/ja
Application granted granted Critical
Publication of JP5796747B2 publication Critical patent/JP5796747B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1677Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for detecting open or closed state or particular intermediate positions assumed by movable parts of the enclosure, e.g. detection of display lid position with respect to main body in a laptop, detection of opening of the cover of battery compartment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00129Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a display device, e.g. CRT or LCD monitor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • H04N1/19594Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays using a television camera or a still video camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/0402Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/0436Scanning a picture-bearing surface lying face up on a support
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/0402Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/0438Scanning displays; Scanning large surfaces, e.g. projection screens, writing boards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/0402Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/0452Indicating the scanned area, e.g. by projecting light marks onto the medium

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Geometry (AREA)

Abstract

【課題】第1の筐体と第2の筐体とを閉める操作が行われるだけで、読取対象の紙媒体を鮮明に撮影して保存できるようにする。
【解決手段】タブレット端末装置は、第1の筐体13aに配置されている読取対象の紙媒体12を第2の筐体13bに設けられた撮像部6により撮影するために、第1の筐体13aと第2の筐体13bとが所定の状態まで閉じられたことを複数種の方法で検出すると、撮像部6から取得した撮影画像を閉じ状態に基づいて台形歪補正処理を行つてから記録保存する。
【選択図】 図3

Description

本発明は、紙媒体(例えば、ノートブックや書籍)に記載されている情報を撮影する撮像手段を備えた情報処理装置及びプログラムに関する。
一般に、紙媒体(例えば、ノートブックや書籍)に記載されている情報を読み取る情報処理装置としては、その紙媒体をスキャナで走査することによってイメージデータとして読み取ったり、デジタルカメラで撮影することによって撮影画像として読み取ったりするようにしている。そして、従来、紙媒体をデジタルカメラによって読み取る技術としては、例えば、第1の筐体と第2の筐体とがヒンジ部を介して回動可能(開閉可能)に取り付けられているノートパソコンにおいて、第1の筐体のキートップに資料を置き、撮像部を備えた第2の筐体がキートップの全体を撮影可能となる位置で所定時間保持されたときに、撮像部を動作させて資料の撮影を開始するようにした技術が提案されている(特許文献1参照)。
特開2011−76267号公報
しかしながら、上述した特許文献1の技術にあっては、キートップ上に置いた資料を撮影するためには、第1の筐体と第2の筐体とを所定のヒンジ角度に厳密に調整する必要があり、その角度で資料を撮影するようにしているが、上述のように所定時間保持という特別な操作を行わずに第1の筐体と第2の筐体とを完全に閉じてしまったときには、資料の撮影も行われないままとなり、また、特別な操作を行ったつもりでも、その操作が不完全であれば、資料の撮影が行われないままとなり、更には、鮮明な撮影画像であるかを目視確認しなければならず、撮り直しがきかない場合には資料を保存することができなくなってしまう。
本発明の課題は、第1の筐体と第2の筐体とを閉める操作が行われるだけで、読取対象の紙媒体を鮮明に撮影して保存できるようにすることである。
上述した課題を解決するために本発明の情報処理装置は、
第1の筐体と第2の筐体とを開閉可能に連結した情報処理装置であって、
読取対象の紙媒体が配置される前記第1の筐体に対向して前記第2の筐体に設けられた撮像手段と、
前記第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことを複数種の方法で検出する検出手段と、
前記検出手段により第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことが複数種の方法で検出された際に、前記撮像手段から撮影画像を取得する取得手段と、
前記取得手段によって取得した撮影画像を前記検出手段により検出された第1の筐体と第2の筐体との閉じ状態に基づいて歪補正処理を行う歪補正手段と、
前記歪補正手段により補正された撮影画像を記録保存する保存手段と、
を備えたことを特徴とする情報処理装置である。
上述した課題を解決するために本発明のプログラムは、
コンピュータに対して、
読取対象の紙媒体が配置される第1の筐体に対向し、かつ前記第1の筐体に開閉可能に連結されている第2の筐体に設けられた撮像手段により前記紙媒体を撮影する場合において、前記第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことを複数種の方法で検出する機能と、
前記第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことが複数種の方法で検出された際に、前記撮像手段から撮影画像を取得する機能と、
前記取得した撮影画像を前記検出された第1の筐体と第2の筐体との閉じ状態に基づいて歪補正処理を行う機能と、
前記補正された撮影画像を記録保存する機能と、
を実現させるためのプログラムである。
本発明によれば、第1の筐体と第2の筐体とを閉める操作が行われるだけで、読取対象の紙媒体を鮮明に撮影して保存することができ、簡単かつ確実な保存が可能となる。
情報処理装置として適用したカメラ付きタブレット端末装置11の基本的な構成要素を示したブロック図。 カメラ付きタブレット端末装置11、紙媒体12をバインダ13に装着した状態における外観斜視図。 バインダ13を構成する第1の筐体13aと第2の筐体13bとを閉じる際に撮像部6によって紙媒体12を撮影したときの撮影画角と紙媒体12との関係を示した図。 第1の筐体13aと第2の筐体13bとの角度を撮影画像内に映っている角度認識用マークの位置から認識する場合を説明するための図。 タブレット端末装置11の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャート。 複数の撮影画像を重ね合わせる場合に、角度認識用マークを基準にして重ね合わせることを説明するための図。 本実施形態の変形例を説明するための図で、第2の筐体13bに加速度センサ16を装着した状態を示した図。 本実施形態の変形例を説明するための図で、撮影画像を解析することにより第1の筐体13aと第2の筐体13bとの角度を検出する場合を説明するための図。
以下、図1〜図6を参照して本発明の実施形態を説明する。
本実施形態は、情報処理装置として撮像機能(デジタルカメラ)を備えたタブレット端末装置に適用した場合を例示したもので、図1は、このカメラ付きタブレット端末装置の基本的な構成要素を示したブロック図である。
タブレット端末装置は、その筐体全体が、例えば、A5サイズの携帯型情報端末装置であり、タッチ入力機能、無線通信機能などの基本機能のほか、後で詳述するが、このタブレット端末装置に接近配置されている紙媒体(例えば、ノート、リポート用紙、書籍など)を撮影することによりその紙媒体に記載されている情報(文字や図表など)を光学的に読み取る画像読取機能を備えている。なお、本実施形態において、紙媒体とは、撮影すべき情報が記載されている媒体を示すものであり、素材が紙であることを特定するものではない。即ち、本実施形態において、紙媒体とは情報が記載されている被写体を意味している。また、本実施形態において、紙媒体には、情報を電子的に表示可能な電子ペーパーも含まれる。
制御部1は、電源部(二次電池)2からの電力供給によって動作し、記憶部3内の各種のプログラムに応じてこのタブレット端末装置の全体動作を制御するもので、この制御部1には図示しないCPU(中央演算処理装置)やメモリなどが設けられている。記憶部3は、例えば、ROM、フラッシュメモリなどを有する構成で、図5に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ3aと、このタブレット端末装置が動作するために必要となる各種の情報(例えば、フラグなど)を一時的に記憶するワークメモリ3bなどを有している。なお、記憶部3は、例えば、SDカード、ICカードなど、着脱自在な可搬型メモリ(記録メディア)を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。
操作部4は、押しボタン式のキーとして、図示省略したが、電源をオン/オフさせる電源キーなどを備え、制御部1は、この操作部4から操作キーに対応して出力される入力操作信号に応じた処理を行う。タッチ表示部5は、表示パネル5aにタッチパネル5bを積層配設した構成で、表示パネル5aは、縦横比(例えば、横4:縦3)の異なる画面を有した高精細液晶ディスプレイであり、タッチパネル5bは、撮影者の指などでタッチ操作された位置を検知してその座標データを入力するタッチスクリーンを構成するもので、例えば、静電容量方式あるいは抵抗膜方式を採用しているが、その他の方式であってもよい。
撮像部6は、画像読取機能を構成するもので、図示省略したが、光学レンズからの被写体像が撮像素子(CCDやCMOSなど)に結像されることにより被写体を高精細に撮影可能なデジタルカメラ部で、撮影レンズ、撮像素子、各種のセンサ、アナログ処理部、デジタル処理部を有している。撮像部6は、オートフォーカス機能などを備え、画像読取機能の動作時に、例えば、フレームレートが秒15コマ(15fps)の連続撮影(高速撮影)が可能となっている。無線LAN(Local Area Network)通信部7は、高速大容量の通信が可能な無線通信モジュールで、最寄りの無線LANルータ(図示省略)を介してインターネットに接続可能となっている。開閉角度センサ8は、後述する開閉可能な筐体の開閉角を検出するセンサであり、制御部1は、この開閉角度センサ8によって検出された開閉角に応じて撮像部6から撮影画像を取得するようにしている。
図2は、カメラ付きタブレット端末装置11、紙媒体12をバインダ13に装着した状態における外観斜視図である。
タブレット端末装置11と紙媒体(例えば、ノート、リポート用紙、書籍)12とは、バインダ13に装着されている。バインダ13は、第1の筐体13aと第2の筐体13bとをヒンジ部13cを介して見開き状に開閉可能となるように取り付けた構成で、図示の例では、右側に第1の筐体13aが配置され、左側に第2の筐体13bが配置されている。なお、第1の筐体13aと第2の筐体13bとは、図示の場合とは逆の関係であってもよい。第1の筐体13a及び第2の筐体13bは、厚い平板状長方形(同形同大)の紙部材(厚紙)で、縦長の第1の筐体13a及び第2の筐体13bを左右に配置した状態においてヒンジ部13cを介して開閉可能に連結されている。即ち、第1の筐体13aと第2の筐体13bとは、ヒンジ部13cを回転軸として開閉可能に構成されている。
そして、第1の筐体13aと第2の筐体13bとは、図示のように180°開いた状態から第1の筐体13aの上に第2の筐体13bが重なり合う状態(完全に閉じた状態)まで開閉可能なもので、ユーザにあってはバインダ13を180°開いた状態においてタブレット端末装置11を使用したり、紙媒体12に文字や図表などを書き入れたりするようにしている。また、タブレット端末装置11及び紙媒体12を使用しないときには、第1の筐体13aと第2の筐体13bとを閉じてバインダ13を完全に閉じるようにしている。
タブレット端末装置11は、その全体が薄型の直方体で、バインダ13を構成する第2の筐体13b上に装着されていると共に、縦長の第2の筐体13bに対してタブレット端末装置11も縦長となる向きに配設されている。また、バインダ13を構成する他方の筐体(第1の筐体)13a上には、紙媒体12が配置されている。紙媒体12は、一枚のシート状の用紙であってもよいし、書籍のように冊子の状態(製本状態)であってもよい。なお、バインダ13上において、タブレット端末装置11と紙媒体12との配置関係は、上述とは逆の関係であってもよい。また、タブレット端末装置11、紙媒体12は、バインダ13に着脱可能に装着されているが、その装着の仕方は、例えば、留め具、フックを使用するなど、任意である。
このようにバインダ13の第2の筐体13bにタブレット端末装置11が装着されている状態において、タブレット端末装置11の撮像部6は、タブレット端末装置11の表面側の一端中央部(図示の例では表面左端中央部)に位置するように配設されている。また、ヒンジ部13cには開閉角度センサ8が配設されている。この開閉角度センサ8は、第1の筐体13aと第2の筐体13bとを開閉可能に連結するヒンジ部13cに設けられ、第1の筐体13aと第2の筐体13bとの開閉角度を検出するもので、例えば、ヒンジ部13cの軸(図示省略)が一定量回転する毎に2相のパルスを出力するロータリーエンコーダ、あるいはホール素子あるいは磁気抵抗素子を使用して開閉検出を行う磁気センサによって構成されている。なお、図2は、開閉角度センサ8の構成を示す概略拡大図を含み、開閉角度センサ8は、ヒンジ部13cを構成する回転軸側の円板に磁石8aを配設し、その円板に対面する円板側にホール素子8bを配設した磁気センサによって構成した場合を例示している。
また、バインダ13を構成する第1の筐体13aの表面角部には、開閉角度認識用の指標としてマーク14が装着されている。この閉じ角認識用のマーク14は、例えば、十字形の黒マークで、第1の筐体13aの上面に印刷されたものであるが、印刷に限らず、マーク付シールを貼り付けるようにしてもよい。制御部1は、開閉角度センサ8によって所定の角度、つまり、紙媒体12を撮影するのに適した角度(撮影に最適な角度)として略70°が検出された際に、撮像部6から撮影画像を取得し、その撮影画像を解析することによりマーク14を認識し、そのマークの認識結果に応じて第1の筐体13aと第2の筐体13bとが所定の状態まで閉じられたか否かを判別するようにしている。
図3は、バインダ13を構成する第1の筐体13aと第2の筐体13bとを閉じる際に撮像部6によって紙媒体12を撮影したときの撮影画角と紙媒体12との関係を示した図である。
制御部1は、開閉角度センサ8によって第1の筐体13aと第2の筐体13bとの角度(撮影に最適な角度)として略70°が検出された際に、撮像部6から撮影画像を取得するが、この撮影に最適な角度(略70°)に合わせてフォーカス、露出などの撮影条件が設定されており、その条件で撮影された画像を撮像部6から取得するようにしている。
図4は、第1の筐体13aと第2の筐体13bとの角度に応じて撮影画像内の認識用マーク14の映り具合が変化している様子を説明するための図で、その一部拡大図を含む。
開閉角度が略120°、略90°、略70°の場合での閉じ角認識用マーク14の映り具合を示し、バインダ13が次第に閉じられるにしたがって開閉角度は略120°、略90°、略70°のように変化していくが、この角度変化に応じて撮影画像内のマーク14の位置が変化し、図中、上方向へ移動するようになる。制御部1は、撮影画像内のマーク14の位置変化を認識し、その位置から所定の状態(閉じ角度:略70°)まで閉じられたか否かを判別するようにしている。この場合、撮影画像内の固定的に決められている位置(例えば、図示の例では、左角部付近)にマーク検出エリア15を設け、このマーク検出エリア15内にマーク14が収まったか否かに基づいて所定の状態(閉じ角度:略70°)まで閉じられたか否かを判別するようにしている。
このように種類の異なる複数の検出方法で第1の筐体13aと第2の筐体13bとが所定の状態(閉じ角度:略70°)まで閉じられたか否かを判別するようにしている。すなわち、開閉角度センサ8によって第1の筐体13aと第2の筐体13bとの角度(撮影に最適な角度)として略70°が検出された際に、撮像部6から撮影画像を取得して、撮影画像内の認識用マーク14の映り具合を認識し、撮影画像内の固定的に決められているマーク検出エリア15内にマーク14が収まったか否かに基づいて所定の状態(閉じ角度:略70°)まで閉じられたか否かを判別するようにしている。
次に、本実施形態におけるタブレット端末装置11の動作概念を図5に示すフローチャートを参照して説明する。ここで、このフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。
図5は、タブレット端末装置11の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、電源投入に応じて実行開始される。
先ず、制御部1は、ユーザ操作によって画像読み取りモード(動作モード)に切り換えられているかを調べ(ステップS1)、画像読み取りモード以外の他の動作モードに切り換えられているときには(ステップS1でNO)、そのモードに応じた処理へ移るが、画像読み取りモードに切り換えられているときには(ステップS1でYES)、初期化処理としてメモリなどをクリアすると共に、撮影に最適な角度(略70°)に合わせてフォーカス、露出などの撮影条件を撮像部6に設定する(ステップS2)
そして、撮像部6を動作させて撮影を開始(ステップS3)させた後、制御部1は、電源オフ操作が行われたかを調べ(ステップS4)、電源オフ操作が行われたときには(ステップS4でYES)、撮像部6を停止させると共に(ステップS5)、電源オフ処理(ステップS6)を行った後、図5のフローから抜けるが、電源オフ操作が行われなければ(ステップS4でNO)、開閉角度センサ8から第1の筐体13aと第2の筐体13bとの開閉角度を取得して(ステップS7)、その開閉角度は略70°以下であるかを調べる(ステップS8)。
いま、開閉角度が略70°以下でなければ(ステップS8でNO)、上述のステップS4に戻るが、開閉角度が略70°以下であれば(ステップS8でYES)、撮像部6から1フレーム分の撮影画像を取得し(ステップS9)、この取得画像を解析することによって閉じ角認識用マーク14を認識する(ステップS10)。そして、取得画像内のマーク14を認識すると、そのマーク14の位置は、マーク検出エリア15内に収まっているか否かに基づいて所定の状態まで閉じられたか否かの判別を行う(ステップS11)。
いま、開閉角度センサ8によって検出された開閉角度が、図4に示すように、例えば、略125°や略90°である場合には、マーク14の位置はその検出エリア15から大きく外れているために(ステップS11でNO)、所定の状態まで閉じられていない場合であると判別して、上述のステップS4に戻るが、開閉角度が略70°以下であれば(ステップS11でYES)、マーク14の位置はその検出エリア15内に収まるために所定の状態まで閉じられた場合であると判別する(ステップS11でYES)。
このようにして種類の異なる複数の検出方法によって第1の筐体13aと第2の筐体13bとが所定の状態まで閉じられたことが検出された場合には(ステップ11でYES)、その取得画像を保存候補としてワークメモリ3b内に一時記憶させる(ステップS12)。そして、この一時記憶の画像数を計数し、その値は所定数(例えば、3枚)に達したかを調べ(ステップS13)、一時記憶の画像数が所定数に達するまで上述のステップS4に戻り、以下、上述の動作を繰り返す(ステップS4〜S13)。なお、上述の所定数は、3枚に限らず、任意であり、ユーザ操作により任意に設定可能としてもよい。
これによって一時記憶の画像数が所定数に達すると(ステップS13でYES)、一時記憶の各画像を順次読み出し、各画像に対して台形歪を補正する処理を行う(ステップS14)。この場合、開閉角度が略70°に基づいてその台形歪を補正する処理を行う。なお、一時記憶した複数枚の画像を取得した際の開閉角度が夫々異なる場合に、夫々の開閉角度に応じた台形歪補正を行うようにしても良い。即ち、画像取得時の開閉角度に応じて歪補正のパラメータを変更し、開閉角度に応じた台形歪補正を行う。これによって全ての画像に対して補正処理か終わると、歪補正した各画像を重ね合わせる合成処理を行う(ステップS15)。この場合、図7に示す1枚目、2枚目、…、n枚目の各画像内に設けられている各マーク14を位置合わせの基準点として精密な位置合わせを行うことにより各画像を重ね合わせる。
これによって重ね合わせた合成画像は、記憶部3のSDカードなどに記録保存される(ステップS16)。そして、開閉角度センサ8から開閉角度を取得して(ステップS17)、バインダ13は閉じられたか、つまり開閉角度は略0°であるかを調べ(ステップS18)、バインダ13が閉じられていなければ(ステップS18でNO)、上述のステップS17に戻る。以下、バインダ13が閉じられるまでステップS17〜S18の動作を繰り返し実行する。また、バインダ13が閉じられたときには(ステップS18でYES)、撮像部6を停止させて(ステップS5)、電源オフ処理(ステップS6)を行った後、図5のフローから抜ける。
以上のように、本実施形態においてタブレット端末装置11は、第1の筐体13aに配置されている読取対象の紙媒体12を第2の筐体13bに設けられた撮像部6により撮影すると共に、第1の筐体13aと第2の筐体13bとが所定の状態まで閉じられたことを複数種の方法で検出すると、撮像部6から取得した撮影画像を歪補正してから記録保存するようにしたので、第1の筐体13aと第2の筐体13bとを閉める操作が行われるだけで、読取対象の紙媒体12を鮮明に撮影して保存することができ、簡単かつ確実な保存が可能となる。
第1の筐体13aと第2の筐体13bとを開閉可能に連結するヒンジ部13cに開閉角度センサ8を設けたので、閉じ状態を確実に検出することができる。
制御部1は、撮像部6による撮影画像を解析してその画像内に映っているマーク14を認識し、その認識結果から閉じ状態を検出するようにしたので、画像処理によって閉じ状態を検出することができる。
第1の筐体13aと第2の筐体13bとが所定の状態まで閉じられたことが検出された際に、撮像部6によって撮影された複数の撮影画像に対して歪補正処理を行い、補正した複数の撮影画像を重ね合わせて合成処理された画像を記録保存するようにしたので、より鮮明な画像を撮影して保存することができる。すなわち、複数の画像を重ね合わせることによりノイズを低減して画像の明るさをアップすることができるために各撮影時でのシャッタースピードを速くすることができ、手ブレを抑えることが可能となり、また、1フレーム毎の撮影時にゲインを変化させて撮影した各画像を重ね合わせることにより、ダイナミックレンジを広げた画像を撮影することが可能となり、より鮮明な画像を撮影して保存することができる。
なお、上述した実施形態においては、開閉角度センサ(例えは、磁気センサ)8によって開閉角度を検出するようにしたが、図7に示すように第2の筐体13b内に加速度センサ16を設けることによって第1の筐体13aと第2の筐体13bとの閉じ状態を検出するようにしてもよい。すなわち、加速度センサ16によって重力の方向を検出して、第1の筐体13aと第2の筐体13bとの相対的な姿勢(角度)から閉じ状態を検出するようにしてもよい。この場合、実装上の制約として開閉角度センサ8をヒンジ部13cに取り付けらない場合などに有効なものとなる。
なお、上述した実施形態においては、マーク14を認識することにより閉じ状態を検出するようにしたが、撮影画像を解析することによってマーク14以外の指標を認識することによって閉じ状態を検出するようにしてもよい。図8は、マーク14以外の指標を認識することによって閉じ状態を検出する場合を説明するための図である。制御部1は、撮影画像を解析することにより第1の筐体13aの端部が画角線から外れた際の端部の切れ方として、その端部の位置を認識し、その端部の切れ方(端部の位置)が所定の切れ方(位置)であるか否かに基づいて第1の筐体13aと第2の筐体13bとの閉じ状態を認識するようにしている。
図示の例は、第1の筐体13aと第2の筐体13bとの開閉角度に応じて第1の筐体13aの外郭線の映り具合が変化する様子を示した図で、第1の筐体13aの外郭線を示す実線は、閉じ角度が略70°の場合を示し、一点破線は、閉じ角度が略90°の場合を示し、二点破線は、閉じ角度が略125°の場合を示している。このように第1の筐体13aの端部が撮像部6の画角から外れた際の端部の切れ方、つまり、第1の筐体13aの端部と画角線とが交差する位置は、開閉角度に応じて変化するようになる。この場合、撮影画像の縦方向において、開閉角度が略70°、略90°、略125°の順にその縦方向中央部に近づくようになるため、その位置から第1の筐体13aと第2の筐体13bとの開閉角度を検出することが可能となる。
上述した実施形態においては、情報処理装置としてタブレット端末装置11に適用した場合を示したが、これに限らず、カメラ機能付きパーソナルコンピュータ・PDA(個人向け携帯型情報通信機器)・デジタルカメラ・音楽プレイヤーなどであってもよく、勿論、デジタルカメラ自体であってもよい。
また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
(付記)
(請求項1)
請求項1に記載の発明は、
第1の筐体と第2の筐体とを開閉可能に連結した情報処理装置であって、
読取対象の紙媒体が配置される前記第1の筐体に対向して前記第2の筐体に設けられた撮像手段と、
前記第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことを複数種の方法で検出する検出手段と、
前記検出手段により第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことが複数種の方法で検出された際に、前記撮像手段から撮影画像を取得する取得手段と、
前記取得手段によって取得した撮影画像を前記検出手段により検出された第1の筐体と第2の筐体との閉じ状態に基づいて歪補正処理を行う歪補正手段と、
前記歪補正手段により補正された撮影画像を記録保存する保存手段と、
を備えたことを特徴とする情報処理装置である。
(請求項2)
請求項2に記載の発明は、請求項1に記載の情報処理装置において、
前記検出手段は、そのいずれか一つの検出方法として、前記第1の筐体と前記第2の筐体とを開閉可能に連結するヒンジ部に設けられていて前記第1の筐体と前記第2の筐体との角度を検出する方法を含む、
ことを特徴とする情報処理装置である。
(請求項3)
請求項3に記載の発明は、請求項1あるいは請求項2に記載の情報処理装置において、
前記複数の検出手段は、そのいずれか一つの検出方法として、前記撮像手段による撮影画像を解析してその画像内に映っている所定の指標を認識し、その認識結果から前記第1の筐体と前記第2の筐体との閉じ状態を検出する方法を含む、
ことを特徴とする情報処理装置である。
(請求項4)

請求項4に記載の発明は、請求項1〜請求項3のいずれかに記載の情報処理装置において、
前記複数の検出手段は、そのいずれか一つの検出方法として、前記第1の筐体と前記第2の筐体との相対的な姿勢から前記第1の筐体と前記第2の筐体との閉じ状態を検出する方法を含む、
ことを特徴とする情報処理装置である。
(請求項5)
請求項5に記載の発明は、請求項1〜請求項4のいずれかに記載の情報処理装置において、
前記取得手段は、前記検出手段により第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことが検出された際に、前記撮像手段によって撮影された複数の撮影画像を順次取得し、
前記歪補正手段は、前記取得手段によって取得した複数の撮影画像を前記検出手段により検出された第1の筐体と第2の筐体との閉じ状態に基づいてそれぞれ歪補正処理を行い、
前記歪補正手段により補正された複数の撮影画像を重ね合わせる合成処理を行う合成手段を更に備え、
前記保存手段は、前記合成手段により合成処理された画像を記録保存する、
ようにしたことを特徴とする情報処理装置である。
(請求項6)
請求項6に記載の発明は、請求項1〜請求項5のいずれかに記載の情報処理装置において、
前記取得手段は、第1の筐体と前記第2の筐体との開閉角度が複数の異なる開閉角度である際に、夫々の開閉角度で前記撮像手段から撮影画像を取得し、
前記歪補正手段は、第1の筐体と前記第2の筐体との開閉角度に応じた歪補正処理を行う、
ようにしたことを特徴とする情報処理装置である。
(請求項7)
請求項7に記載の発明は、
コンピュータに対して、
読取対象の紙媒体が配置される第1の筐体に対向し、かつ前記第1の筐体に開閉可能に連結されている第2の筐体に設けられた撮像手段により前記紙媒体を撮影する場合において、前記第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことを複数種の方法で検出する機能と、
前記第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことが複数種の方法で検出された際に、前記撮像手段から撮影画像を取得する機能と、
前記取得した撮影画像を前記検出された第1の筐体と第2の筐体との閉じ状態に基づいて歪補正処理を行う機能と、
前記補正された撮影画像を記録保存する機能と、
を実現させるためのプログラムである。
1 制御部
3 記憶部
3a プログラムメモリ
4 操作部
5 タッチ表示部
6 撮像部
8 開閉角度センサ
11 タブレット端末装置
12 紙媒体
13 バインダ
13a 第1の筐体
13b 第2の筐体
14 閉じ角認識用マーク
15 マーク検出エリア
16 加速度センサ

Claims (7)

  1. 第1の筐体と第2の筐体とを開閉可能に連結した情報処理装置であって、
    読取対象の紙媒体が配置される前記第1の筐体に対向して前記第2の筐体に設けられた撮像手段と、
    前記第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことを複数種の方法で検出する検出手段と、
    前記検出手段により第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことが複数種の方法で検出された際に、前記撮像手段から撮影画像を取得する取得手段と、
    前記取得手段によって取得した撮影画像を前記検出手段により検出された第1の筐体と第2の筐体との閉じ状態に基づいて歪補正処理を行う歪補正手段と、
    前記歪補正手段により補正された撮影画像を記録保存する保存手段と、
    を備えたことを特徴とする情報処理装置。
  2. 前記検出手段は、そのいずれか一つの検出方法として、前記第1の筐体と前記第2の筐体とを開閉可能に連結するヒンジ部に設けられていて前記第1の筐体と前記第2の筐体との角度を検出する方法を含む、
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記複数の検出手段は、そのいずれか一つの検出方法として、前記撮像手段による撮影画像を解析してその画像内に映っている所定の指標を認識し、その認識結果から前記第1の筐体と前記第2の筐体との閉じ状態を検出する方法を含む、
    ことを特徴とする請求項1あるいは請求項2に記載の情報処理装置。
  4. 前記複数の検出手段は、そのいずれか一つの検出方法として、前記第1の筐体と前記第2の筐体との相対的な姿勢から前記第1の筐体と前記第2の筐体との閉じ状態を検出する方法を含む、
    ことを特徴とする請求項1〜請求項3のいずれかに記載の情報処理装置。
  5. 前記取得手段は、前記検出手段により第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことが検出された際に、前記撮像手段によって撮影された複数の撮影画像を順次取得し、
    前記歪補正手段は、前記取得手段によって取得した複数の撮影画像を前記検出手段により検出された第1の筐体と第2の筐体との閉じ状態に基づいてそれぞれ歪補正処理を行い、
    前記歪補正手段により補正された複数の撮影画像を重ね合わせる合成処理を行う合成手段を更に備え、
    前記保存手段は、前記合成手段により合成処理された画像を記録保存する、
    ようにしたことを特徴とする請求項1〜請求項4のいずれかに記載の情報処理装置。
  6. 前記取得手段は、第1の筐体と前記第2の筐体との開閉角度が複数の異なる開閉角度である際に、夫々の開閉角度で前記撮像手段から撮影画像を取得し、
    前記歪補正手段は、第1の筐体と前記第2の筐体との開閉角度に応じた歪補正処理を行う、
    ようにしたことを特徴とする請求項1〜請求項5のいずれかに記載の情報処理装置。
  7. コンピュータに対して、
    読取対象の紙媒体が配置される第1の筐体に対向し、かつ前記第1の筐体に開閉可能に連結されている第2の筐体に設けられた撮像手段により前記紙媒体を撮影する場合において、前記第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことを複数種の方法で検出する機能と、
    前記第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことが複数種の方法で検出された際に、前記撮像手段から撮影画像を取得する機能と、
    前記取得した撮影画像を前記検出された第1の筐体と第2の筐体との閉じ状態に基づいて歪補正処理を行う機能と、
    前記補正された撮影画像を記録保存する機能と、
    を実現させるためのプログラム。
JP2012141036A 2012-06-22 2012-06-22 情報処理装置及びプログラム Active JP5796747B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012141036A JP5796747B2 (ja) 2012-06-22 2012-06-22 情報処理装置及びプログラム
CN201380042839.5A CN104541496B (zh) 2012-06-22 2013-06-06 信息处理装置和计算机可读存储介质
US14/410,484 US9413931B2 (en) 2012-06-22 2013-06-06 Information processing apparatus and computer-readable storage medium
PCT/JP2013/066289 WO2013191068A1 (en) 2012-06-22 2013-06-06 Information processing apparatus and computer-readable storage medium
TW102121512A TWI519103B (zh) 2012-06-22 2013-06-18 資訊處理裝置及資訊處理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012141036A JP5796747B2 (ja) 2012-06-22 2012-06-22 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2014007508A true JP2014007508A (ja) 2014-01-16
JP5796747B2 JP5796747B2 (ja) 2015-10-21

Family

ID=48703764

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012141036A Active JP5796747B2 (ja) 2012-06-22 2012-06-22 情報処理装置及びプログラム

Country Status (5)

Country Link
US (1) US9413931B2 (ja)
JP (1) JP5796747B2 (ja)
CN (1) CN104541496B (ja)
TW (1) TWI519103B (ja)
WO (1) WO2013191068A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015143694A1 (en) * 2014-03-28 2015-10-01 Intel Corporation Rotation sensor device
US20170084154A1 (en) * 2015-09-23 2017-03-23 Ali Kord Posture Monitor
US9823093B2 (en) 2015-11-06 2017-11-21 Microsoft Technology Licensing, Llc Folding angle sensing of a foldable device
TWI648657B (zh) * 2017-10-23 2019-01-21 群光電子股份有限公司 鍵盤裝置及系統操作方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090144574A1 (en) * 2007-12-03 2009-06-04 Hui-Jen Tseng Method and Device for Controlling Operation of a Portable Electronic Device
JP2009260819A (ja) * 2008-04-18 2009-11-05 Pfu Ltd ノート型情報処理装置、および、射影変換パラメータ算出方法
JP2009265692A (ja) * 2008-04-21 2009-11-12 Pfu Ltd ノート型情報処理装置、および、画像読取方法
JP2011076267A (ja) * 2009-09-29 2011-04-14 Nec Personal Products Co Ltd 情報処理装置、資料撮影方法、プログラム及び記録媒体
US20120015671A1 (en) * 2009-07-31 2012-01-19 Lada Henry F Method and system for locating a notebook computer

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2840093B1 (fr) * 2002-05-27 2006-02-10 Real Eyes 3D Procede de numerisation par camera avec correction de la deformation et amelioration de la resolution
TWM316414U (en) * 2006-12-25 2007-08-01 Wistron Corp Portable electronic device
TWI354198B (en) * 2008-04-18 2011-12-11 Primax Electronics Ltd Notebook computer and method of capturing document
CN101561695A (zh) * 2008-04-18 2009-10-21 致伸科技股份有限公司 笔记本电脑
US20120001999A1 (en) * 2010-07-01 2012-01-05 Tandberg Telecom As Apparatus and method for changing a camera configuration in response to switching between modes of operation
JP5954158B2 (ja) * 2012-07-24 2016-07-20 カシオ計算機株式会社 電子機器
JP6098784B2 (ja) * 2012-09-06 2017-03-22 カシオ計算機株式会社 画像処理装置及びプログラム
JP5975281B2 (ja) * 2012-09-06 2016-08-23 カシオ計算機株式会社 画像処理装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090144574A1 (en) * 2007-12-03 2009-06-04 Hui-Jen Tseng Method and Device for Controlling Operation of a Portable Electronic Device
JP2009260819A (ja) * 2008-04-18 2009-11-05 Pfu Ltd ノート型情報処理装置、および、射影変換パラメータ算出方法
JP2009265692A (ja) * 2008-04-21 2009-11-12 Pfu Ltd ノート型情報処理装置、および、画像読取方法
US20120015671A1 (en) * 2009-07-31 2012-01-19 Lada Henry F Method and system for locating a notebook computer
JP2011076267A (ja) * 2009-09-29 2011-04-14 Nec Personal Products Co Ltd 情報処理装置、資料撮影方法、プログラム及び記録媒体

Also Published As

Publication number Publication date
JP5796747B2 (ja) 2015-10-21
CN104541496B (zh) 2017-09-22
US9413931B2 (en) 2016-08-09
US20150326758A1 (en) 2015-11-12
TWI519103B (zh) 2016-01-21
TW201406129A (zh) 2014-02-01
CN104541496A (zh) 2015-04-22
WO2013191068A1 (en) 2013-12-27

Similar Documents

Publication Publication Date Title
JP6942940B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5754653B2 (ja) 画像制御装置及びプログラム
US8988745B2 (en) Image processing apparatus for processing photographed images
JP5796747B2 (ja) 情報処理装置及びプログラム
US9092669B2 (en) Image processing apparatus for processing photographed images
JP5930194B2 (ja) 端末装置及びプログラム
JP6149905B2 (ja) 情報処理装置及びプログラム
JP6019885B2 (ja) 情報処理装置及びプログラム
TWI596421B (zh) 攝像裝置及攝像方法
JP6024330B2 (ja) 情報処理装置及びプログラム
JP5962975B2 (ja) 情報処理装置及びプログラム
JP5565855B2 (ja) 撮像装置及びプログラム
JP6337934B2 (ja) 情報処理装置及びプログラム
JP5907017B2 (ja) 情報処理装置及びプログラム
JP2015008417A (ja) 撮像装置
JP6176382B2 (ja) 情報処理装置及びプログラム
JP5799911B2 (ja) 情報処理装置及びプログラム
JP6025031B2 (ja) 画像処理装置及びプログラム
KR20130061510A (ko) 디지털 영상 처리장치 및 이를 포함하는 디지털 촬영장치
JP2008042568A (ja) 移動体通信端末、および、プログラム
JP2015181275A (ja) 画像制御装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150805

R150 Certificate of patent or registration of utility model

Ref document number: 5796747

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150